Jak działa early stopping?
Trening przebiega w rundach, a po każdej rundzie model jest oceniany na danych walidacyjnych, na których się nie uczy. Pętla zapamiętuje najlepszy wynik i wagi, które go dały. Każda runda bez poprawy zwiększa licznik o jeden; gdy licznik osiągnie wartość patience, trening się kończy. Podręcznik Deep Learning nazywa tę metodę „probably the most commonly used form of regularization in deep learning”, czyli prawdopodobnie najczęściej stosowaną formą regularyzacji w deep learningu (Goodfellow, Bengio i Courville, podrozdział 7.8, dostęp 16 listopada 2026). W odróżnieniu od innych metod regularyzacji nie zmienia niczego w funkcji straty, a ten sam rozdział pokazuje, że dla prostego modelu liniowego z błędem kwadratowym, trenowanego spadkiem gradientu, jest ona równoważna karze L2. Early stopping zamienia liczbę kroków treningu w hiperparametr dobierany na danych walidacyjnych.
Czym jest patience w early stopping?
Patience to liczba sprawdzeń bez poprawy, jaką trening toleruje, zanim się zatrzyma. min_delta to najmniejsza zmiana, która liczy się jako poprawa. Sprawdzenie nie zawsze oznacza epokę: w PyTorch Lightning patience „counts the number of validation checks with no improvement, and not the number of training epochs”, czyli liczy walidacje bez poprawy, a nie epoki treningu, więc check_val_every_n_epoch=10 przy patience=3 daje co najmniej 40 epok (dokumentacja Lightning 2.6.6, dostęp 16 listopada 2026). Żadna wartość patience nie pasuje do każdego modelu. Dobieraj patience do tego, jak bardzo zaszumiona jest krzywa walidacyjna: skacząca metryka potrzebuje więcej sprawdzeń, zanim plateau okaże się prawdziwe.
Jak implementują to Keras, PyTorch i inne biblioteki?
Większość bibliotek treningowych udostępnia early stopping jako callback lub flagę z własnymi ustawieniami domyślnymi.
| Biblioteka | API | Domyślne patience | Co warto wiedzieć |
|---|---|---|---|
| Keras 3 | EarlyStopping, monitoruje val_loss |
0 | restore_best_weights=False |
| PyTorch Lightning 2.6.6 | EarlyStopping, monitor jest wymagany |
3 sprawdzenia | Liczy sprawdzenia walidacyjne, nie epoki |
| Hugging Face Transformers 5.23 | EarlyStoppingCallback |
1 ewaluacja | Wymaga load_best_model_at_end i metric_for_best_model |
| scikit-learn 1.9.1 | MLPClassifier(early_stopping=True) |
10 epok (n_iter_no_change) |
Domyślnie wyłączony; odkłada 10% danych do walidacji |
| XGBoost 3.4.2 | xgboost.train(early_stopping_rounds=...) |
Wyłączony (None) |
Zwraca ostatnią iterację, a nie najlepszą |
Ustawienia domyślne: dostęp 16 listopada 2026. Dwie z tych bibliotek domyślnie zachowują ostatni model, a nie najlepszy: Keras, chyba że ustawisz restore_best_weights=True, oraz xgboost.train, którego dokumentacja odsyła po najlepszy model do callbacku lub wycinania modelu (model slicing). Bez przywracania wag model, który wdrażasz, jest patience sprawdzeń za swoim najlepszym punktem.
Kiedy używać early stopping?
Przy każdym iteracyjnym treningu, który ma odłożony zbiór walidacyjny: w sieciach neuronowych, w drzewach z gradient boostingiem i przy fine-tuningu na małym wewnętrznym zbiorze danych, gdzie kilka epok może przechylić model w overfitting. Dwie przestrogi. Zbiór walidacyjny decyduje teraz o momencie zatrzymania, więc nie daje już nieobciążonego oszacowania; końcowy model oceniaj na osobnym zbiorze testowym, jak opisuje hasło walidacja modelu. A zbyt niskie patience zatrzymuje model na chwilowym plateau i zostawia go w stanie underfittingu. Early stopping uzupełnia inne metody regularyzacji, a nie je zastępuje.