czym jest overfitting?
- Model "uczy się na pamięć" dane treningowe, przez co nie radzi sobie z nowymi danymi. Tzn. linia jest zbyt dopasowana.
- Bardzo niskie błędy na treningu, wysokie na testach.
- Często przy zbyt złożonych modelach lub zbyt małej ilości danych.
czym jest underfitting?
- Model jest zbyt prosty, nie potrafi uchwycić zależności w danych. Tzn. linia jest za mało dopasowana.
- Wysokie błędy zarówno na treningu, jak i na testach.
- Często przy zbyt prostych modelach lub złym doborze cech.
jak rozpoznać? ⭐
- Porównaj błąd na zbiorze treningowym i testowym.
- Overfitting: duża różnica między błędami.
- Underfitting: oba błędy wysokie.
jak unikać?
- Overfitting: więcej danych, regularizacja, uproszczenie modelu, wczesne zatrzymanie (early stopping).
- Underfitting: bardziej złożony model, lepsze cechy, dłuższy trening.
praktyczne ćwiczenia
- Sprawdź, jak działa bardzo prosty model (np. linia prosta) i bardzo złożony model (np. krzywa) na tych samych danych.
- Zobacz, czy model lepiej przewiduje dane, jeśli jest bardziej skomplikowany.
- W przyszłych lekcjach aby uniknąć tych zjawisk dodamy regularyzację.
polecane źródła