Przejdź do głównej zawartości

gradient_descent

ważne

Temat będzie się powtarzał w przyszłości, GD to ważny algorytm. Zrozum, jak działa algorytm spadku gradientu i do czego jest wykorzystywany w uczeniu maszynowym.

czym jest gradient descent?​

  • Algorytm optymalizacyjny używany do znajdowania minimum funkcji (np. błędu).
  • W ML: służy do "uczenia" modeli przez minimalizację funkcji kosztu.
  • Działa iteracyjnie: poprawia parametry modelu krok po kroku.

jak działa? ⭐​

  • Oblicz gradient (pochodną) funkcji kosztu względem parametrów.
  • Zmień parametry w kierunku przeciwnym do gradientu ("w dół" zbocza).
  • Powtarzaj aż do osiągnięcia minimum lub spełnienia warunku stopu.

przykładowy kod (Python, 1D)​

# Minimalizacja f(x) = (x-3)^2
x = 0.0
learning_rate = 0.1
for i in range(20):
    grad = 2 * (x - 3)
    x = x - learning_rate * grad
    print(f"Iteracja {i}: x = {x:.3f}")

praktyczne ćwiczenia​

  • Zaimplementuj gradient descent dla funkcji kwadratowej.
  • Zmień learning rate i zobacz, jak wpływa na szybkość zbieżności.
  • Przetestuj na funkcji z minimum globalnym i lokalnym.

dobre praktyki​

  • Dobierz odpowiedni learning rate (zbyt duży = niestabilność, zbyt mały = wolna zbieżność).
  • Stosuj normalizację danych.
  • Monitoruj wartość funkcji kosztu w trakcie uczenia.

polecane źródła​