Przejdź do głównej zawartości

learning_rate

czym jest learning rate? ⭐​

  • To parametr określający wielkość kroku podczas aktualizacji wag w algorytmach optymalizacji (np. gradient descent).
  • Zbyt duży learning rate: model "przeskakuje" minimum, nie uczy się stabilnie.
  • Zbyt mały learning rate: model uczy się bardzo wolno.

jak dobrać learning rate?​

  • Najczęściej dobiera się eksperymentalnie (testując różne wartości).
  • Typowe wartości: 0.1, 0.01, 0.001 (ale zależy od problemu i danych).
  • Można stosować harmonogramy (learning rate schedule), np. zmniejszać learning rate w trakcie uczenia.

przykładowy kod (Python)​

learning_rates = [1, 0.1, 0.01, 0.001]
for lr in learning_rates:
    # uruchom gradient descent z danym learning rate
    ...

praktyczne ćwiczenia ⭐​

  • Przetestuj różne wartości learning rate na tym samym problemie.
  • Zobacz, jak zmienia się liczba iteracji do zbieżności.
  • Narysuj wykres wartości funkcji kosztu w zależności od learning rate.

dobre praktyki​

  • Zacznij od wartości 0.01 lub 0.001 i eksperymentuj.
  • Obserwuj, czy funkcja kosztu maleje stabilnie.
  • Stosuj harmonogramy learning rate w większych projektach.

polecane źródła​