Underfitting: co to jest, przykład i jak naprawić niedouczenie

Podstawy LLMModele i inferencjaOpublikowano Autor: Simon Budziak

Underfitting, czyli niedouczenie, to sytuacja, w której model jest zbyt prosty, by nauczyć się wzorca w danych treningowych. Wypada słabo zarówno na przykładach, na których się uczył, jak i na nowych danych, co jest znakiem wysokiego obciążenia (bias). Poprawki są odwrotne niż przy przeuczeniu: większa pojemność, lepsze cechy, dłuższy trening lub słabsza regularyzacja.

Jak rozpoznać underfitting?

Oba wyniki są niskie, a różnica między nimi mała. Przewodnik scikit-learn podaje tę regułę wprost: „If the training score and the validation score are both low, the estimator will be underfitting” (przewodnik scikit-learn 1.9.1 o krzywych walidacji, dostęp 16 listopada 2026). Mała różnica między wynikiem treningowym a testowym nie dowodzi, że model jest dobry: może oznaczać, że nauczył się zbyt mało, by miał co stracić. Krzywa uczenia daje drugi sygnał. Gdy wraz ze wzrostem zbioru treningowego wyniki treningowy i walidacyjny zbiegają się na niskim poziomie, ten sam przewodnik konkluduje: „we will probably not benefit much from more training data”. Porównaj też model z trywialnym punktem odniesienia, takim jak przewidywanie średniej lub klasy większościowej: model, który ledwie go bije, jest niedouczony albo jego dane wejściowe niosą mało sygnału.

Jak wygląda przykład underfittingu?

Klasyczny przypadek to prosta dopasowana do krzywej. Przykład w scikit-learn dopasowuje wielomiany trzech stopni do 30 zaszumionych próbek krzywej cosinusa i ocenia każdy 10-krotną walidacją krzyżową (przykład scikit-learn o underfittingu i overfittingu, wersja 1.9.1, dostęp 16 listopada 2026):

Stopień wielomianu Średni błąd walidacji (MSE) Diagnoza
1 (linia prosta) 0,408 Niedouczenie
4 0,0432 Dobre dopasowanie
15 1,83e+08 Przeuczenie

Słowami autorów przykładu linia prosta „is not sufficient to fit the training samples”. Błąd niedouczonej prostej jest prawie dziesięć razy większy niż przy dobrym dopasowaniu i żaden wybór nachylenia ani wyrazu wolnego nie wygnie prostej w krzywą. Model stopnia 15 zawodzi w przeciwną stronę, goniąc każdy zaszumiony punkt.

Overfitting a underfitting: na czym polega różnica?

Underfitting zawodzi zarówno na danych treningowych, jak i na nowych, a overfitting tylko na nowych danych.

Niedouczenie Dobre dopasowanie Przeuczenie
Błąd treningowy Wysoki Niski Bardzo niski
Błąd walidacyjny Wysoki Niski Wysoki
Różnica trening a walidacja Mała Mała Duża
Obciążenie i wariancja Wysokie obciążenie Równowaga Wysoka wariancja
Czy więcej danych pomaga? Rzadko Trochę Zwykle
Pierwsza poprawka Dodaj pojemność lub cechy Wdróż i monitoruj Regularyzuj, uprość, dodaj dane

Przeuczony model zapamiętuje szum; niedouczony przeocza sygnał. Wybór modelu to szukanie miejsca między tymi skrajnościami, a trzeba go prowadzić na odłożonych danych, nigdy na wyniku treningowym, z użyciem podziałów, które opisuje walidacja modelu.

Jak naprawić niedouczony model?

Daj modelowi więcej miejsca na naukę, mniej więcej w kolejności rosnącego kosztu:

Zbieranie większej ilości danych to standardowe lekarstwo, które zwykle nie pomaga, bo model, który nie potrafi dopasować się do wierszy, które ma, nie dopasuje się też do kolejnych takich samych.

Czy duże modele językowe mogą być niedouczone?

Duże modele językowe też mogą być niedouczone, a w dużej skali objawia się to niedotrenowaniem. Badanie Chinchilla stwierdziło, że „current large language models are significantly undertrained”: model o 70 mld parametrów, wytrenowany na około czterech razy większej ilości danych niż Gopher o 280 mld parametrów, przy tym samym budżecie obliczeniowym, przewyższył Gophera w wielu zadaniach docelowych (Hoffmann i in., 2022, dostęp 16 listopada 2026). Lekcja przenosi się na mniejsze projekty: zanim sięgniesz po większy model, sprawdź, czy obecny dostał wystarczająco dużo sygnału treningowego. To samo sprawdzenie dotyczy fine-tuningu, gdzie zbyt mała liczba kroków może zostawić model, który wciąż odpowiada w dawnym stylu.

To hasło przygotowano z pomocą AI.

Najczęściej zadawane pytania

Czy underfitting to wysokie obciążenie czy wysoka wariancja?

Wysokie obciążenie (bias). Niedouczony model popełnia ten sam systematyczny błąd niezależnie od tego, jaką próbkę treningową zobaczy, więc jego predykcje są stabilne, ale konsekwentnie błędne. Wysoka wariancja to strona przeuczenia.

Czy więcej danych treningowych naprawia underfitting?

Rzadko. Jeśli model nie potrafi dopasować się do danych, które już ma, kolejne wiersze tego samego rodzaju niewiele zmienią; najpierw dodaj pojemność lub lepsze cechy, a potem ponownie sprawdź krzywą uczenia.

Podsumuj tę stronę w

Przeszkol zespół, aby sam to zbudował