Early stopping: co to jest, patience i ustawienia domyślne

Podstawy LLMModele i inferencjaOpublikowano Autor: Simon Budziak

Early stopping, czyli wczesne zatrzymywanie, to reguła treningu, która przerywa uczenie modelu, gdy jego wynik walidacyjny przestaje się poprawiać. Po każdej epoce lub ewaluacji sprawdza metrykę na danych odłożonych, czeka ustaloną liczbę sprawdzeń zwaną patience, a potem zatrzymuje trening i najlepiej przywraca najlepsze wagi, co ogranicza overfitting i oszczędza moc obliczeniową.

Jak działa early stopping?

Trening przebiega w rundach, a po każdej rundzie model jest oceniany na danych walidacyjnych, na których się nie uczy. Pętla zapamiętuje najlepszy wynik i wagi, które go dały. Każda runda bez poprawy zwiększa licznik o jeden; gdy licznik osiągnie wartość patience, trening się kończy. Podręcznik Deep Learning nazywa tę metodę „probably the most commonly used form of regularization in deep learning”, czyli prawdopodobnie najczęściej stosowaną formą regularyzacji w deep learningu (Goodfellow, Bengio i Courville, podrozdział 7.8, dostęp 16 listopada 2026). W odróżnieniu od innych metod regularyzacji nie zmienia niczego w funkcji straty, a ten sam rozdział pokazuje, że dla prostego modelu liniowego z błędem kwadratowym, trenowanego spadkiem gradientu, jest ona równoważna karze L2. Early stopping zamienia liczbę kroków treningu w hiperparametr dobierany na danych walidacyjnych.

Czym jest patience w early stopping?

Patience to liczba sprawdzeń bez poprawy, jaką trening toleruje, zanim się zatrzyma. min_delta to najmniejsza zmiana, która liczy się jako poprawa. Sprawdzenie nie zawsze oznacza epokę: w PyTorch Lightning patience „counts the number of validation checks with no improvement, and not the number of training epochs”, czyli liczy walidacje bez poprawy, a nie epoki treningu, więc check_val_every_n_epoch=10 przy patience=3 daje co najmniej 40 epok (dokumentacja Lightning 2.6.6, dostęp 16 listopada 2026). Żadna wartość patience nie pasuje do każdego modelu. Dobieraj patience do tego, jak bardzo zaszumiona jest krzywa walidacyjna: skacząca metryka potrzebuje więcej sprawdzeń, zanim plateau okaże się prawdziwe.

Jak implementują to Keras, PyTorch i inne biblioteki?

Większość bibliotek treningowych udostępnia early stopping jako callback lub flagę z własnymi ustawieniami domyślnymi.

Biblioteka API Domyślne patience Co warto wiedzieć
Keras 3 EarlyStopping, monitoruje val_loss 0 restore_best_weights=False
PyTorch Lightning 2.6.6 EarlyStopping, monitor jest wymagany 3 sprawdzenia Liczy sprawdzenia walidacyjne, nie epoki
Hugging Face Transformers 5.23 EarlyStoppingCallback 1 ewaluacja Wymaga load_best_model_at_end i metric_for_best_model
scikit-learn 1.9.1 MLPClassifier(early_stopping=True) 10 epok (n_iter_no_change) Domyślnie wyłączony; odkłada 10% danych do walidacji
XGBoost 3.4.2 xgboost.train(early_stopping_rounds=...) Wyłączony (None) Zwraca ostatnią iterację, a nie najlepszą

Ustawienia domyślne: dostęp 16 listopada 2026. Dwie z tych bibliotek domyślnie zachowują ostatni model, a nie najlepszy: Keras, chyba że ustawisz restore_best_weights=True, oraz xgboost.train, którego dokumentacja odsyła po najlepszy model do callbacku lub wycinania modelu (model slicing). Bez przywracania wag model, który wdrażasz, jest patience sprawdzeń za swoim najlepszym punktem.

Kiedy używać early stopping?

Przy każdym iteracyjnym treningu, który ma odłożony zbiór walidacyjny: w sieciach neuronowych, w drzewach z gradient boostingiem i przy fine-tuningu na małym wewnętrznym zbiorze danych, gdzie kilka epok może przechylić model w overfitting. Dwie przestrogi. Zbiór walidacyjny decyduje teraz o momencie zatrzymania, więc nie daje już nieobciążonego oszacowania; końcowy model oceniaj na osobnym zbiorze testowym, jak opisuje hasło walidacja modelu. A zbyt niskie patience zatrzymuje model na chwilowym plateau i zostawia go w stanie underfittingu. Early stopping uzupełnia inne metody regularyzacji, a nie je zastępuje.

To hasło przygotowano z pomocą AI.

Najczęściej zadawane pytania

Co oznaczają 3 epoki w early stopping?

Epoka to jedno pełne przejście przez dane treningowe. Patience równe 3 epokom oznacza, że trening zatrzymuje się po trzech kolejnych ewaluacjach bez poprawy monitorowanej metryki.

Czy early stopping to forma regularyzacji?

Tak. Ogranicza to, jak mocno trening może dopasować model do danych treningowych, a w przypadku prostego modelu liniowego trenowanego spadkiem gradientu działa jak kara L2 nałożona na wagi.

Podsumuj tę stronę w

Przeszkol zespół, aby sam to zbudował