Jak rozpoznać underfitting?
Oba wyniki są niskie, a różnica między nimi mała. Przewodnik scikit-learn podaje tę regułę wprost: „If the training score and the validation score are both low, the estimator will be underfitting” (przewodnik scikit-learn 1.9.1 o krzywych walidacji, dostęp 16 listopada 2026). Mała różnica między wynikiem treningowym a testowym nie dowodzi, że model jest dobry: może oznaczać, że nauczył się zbyt mało, by miał co stracić. Krzywa uczenia daje drugi sygnał. Gdy wraz ze wzrostem zbioru treningowego wyniki treningowy i walidacyjny zbiegają się na niskim poziomie, ten sam przewodnik konkluduje: „we will probably not benefit much from more training data”. Porównaj też model z trywialnym punktem odniesienia, takim jak przewidywanie średniej lub klasy większościowej: model, który ledwie go bije, jest niedouczony albo jego dane wejściowe niosą mało sygnału.
Jak wygląda przykład underfittingu?
Klasyczny przypadek to prosta dopasowana do krzywej. Przykład w scikit-learn dopasowuje wielomiany trzech stopni do 30 zaszumionych próbek krzywej cosinusa i ocenia każdy 10-krotną walidacją krzyżową (przykład scikit-learn o underfittingu i overfittingu, wersja 1.9.1, dostęp 16 listopada 2026):
| Stopień wielomianu | Średni błąd walidacji (MSE) | Diagnoza |
|---|---|---|
| 1 (linia prosta) | 0,408 | Niedouczenie |
| 4 | 0,0432 | Dobre dopasowanie |
| 15 | 1,83e+08 | Przeuczenie |
Słowami autorów przykładu linia prosta „is not sufficient to fit the training samples”. Błąd niedouczonej prostej jest prawie dziesięć razy większy niż przy dobrym dopasowaniu i żaden wybór nachylenia ani wyrazu wolnego nie wygnie prostej w krzywą. Model stopnia 15 zawodzi w przeciwną stronę, goniąc każdy zaszumiony punkt.
Overfitting a underfitting: na czym polega różnica?
Underfitting zawodzi zarówno na danych treningowych, jak i na nowych, a overfitting tylko na nowych danych.
| Niedouczenie | Dobre dopasowanie | Przeuczenie | |
|---|---|---|---|
| Błąd treningowy | Wysoki | Niski | Bardzo niski |
| Błąd walidacyjny | Wysoki | Niski | Wysoki |
| Różnica trening a walidacja | Mała | Mała | Duża |
| Obciążenie i wariancja | Wysokie obciążenie | Równowaga | Wysoka wariancja |
| Czy więcej danych pomaga? | Rzadko | Trochę | Zwykle |
| Pierwsza poprawka | Dodaj pojemność lub cechy | Wdróż i monitoruj | Regularyzuj, uprość, dodaj dane |
Przeuczony model zapamiętuje szum; niedouczony przeocza sygnał. Wybór modelu to szukanie miejsca między tymi skrajnościami, a trzeba go prowadzić na odłożonych danych, nigdy na wyniku treningowym, z użyciem podziałów, które opisuje walidacja modelu.
Jak naprawić niedouczony model?
Daj modelowi więcej miejsca na naukę, mniej więcej w kolejności rosnącego kosztu:
- Lepsze dane wejściowe: feature engineering często naprawia model liniowy szybciej niż większy model: składnik kwadratowy, iloraz albo flaga dnia tygodnia mogą odsłonić wzorzec, którego model nie umiał wyrazić.
- Większa pojemność: więcej składników wielomianu, głębsze drzewa, więcej warstw albo boosting, który trenuje modele sekwencyjnie, by zmniejszyć obciążenie (zobacz bagging a boosting).
- Słabsza regularyzacja: zbyt wysoka kara w regularyzacji spłaszcza wagi, aż wzorzec znika.
- Dłuższy trening: jeśli strata treningowa wciąż spada, gdy przebieg się kończy, zatrzymał się za wcześnie; early stopping powinien zadziałać na plateau wyniku walidacyjnego, a nie po stałej, małej liczbie epok.
- Ustawienia optymalizatora: zbyt niski współczynnik uczenia w spadku gradientowym może zostawić wysoką stratę na koniec treningu i wyglądać jak niedouczenie.
Zbieranie większej ilości danych to standardowe lekarstwo, które zwykle nie pomaga, bo model, który nie potrafi dopasować się do wierszy, które ma, nie dopasuje się też do kolejnych takich samych.
Czy duże modele językowe mogą być niedouczone?
Duże modele językowe też mogą być niedouczone, a w dużej skali objawia się to niedotrenowaniem. Badanie Chinchilla stwierdziło, że „current large language models are significantly undertrained”: model o 70 mld parametrów, wytrenowany na około czterech razy większej ilości danych niż Gopher o 280 mld parametrów, przy tym samym budżecie obliczeniowym, przewyższył Gophera w wielu zadaniach docelowych (Hoffmann i in., 2022, dostęp 16 listopada 2026). Lekcja przenosi się na mniejsze projekty: zanim sięgniesz po większy model, sprawdź, czy obecny dostał wystarczająco dużo sygnału treningowego. To samo sprawdzenie dotyczy fine-tuningu, gdzie zbyt mała liczba kroków może zostawić model, który wciąż odpowiada w dawnym stylu.