Wie funktioniert Early Stopping?
Das Training läuft in Runden, und nach jeder Runde wird das Modell auf Validierungsdaten bewertet, auf denen es nicht trainiert. Die Schleife merkt sich den besten Wert und die Gewichte, die ihn erzielt haben. Jede Runde ohne Verbesserung erhöht einen Zähler um eins; erreicht der Zähler den Patience-Wert, endet das Training. Das Lehrbuch Deep Learning nennt es „probably the most commonly used form of regularization in deep learning“ (Goodfellow, Bengio und Courville, Abschnitt 7.8, abgerufen am 16. November 2026). Anders als andere Regularisierung ändert es nichts an der Verlustfunktion, und für ein einfaches lineares Modell mit quadratischem Fehler, trainiert mit Gradientenverfahren, zeigt dasselbe Kapitel, dass es einem L2-Strafterm entspricht. Early Stopping macht die Zahl der Trainingsschritte zu einem Hyperparameter, der auf Validierungsdaten gewählt wird.
Was ist Patience beim Early Stopping?
Patience gibt an, wie viele Prüfungen ohne Verbesserung das Training hinnimmt, bevor es stoppt. min_delta ist die kleinste Änderung, die als Verbesserung zählt. Eine Prüfung ist nicht immer eine Epoche: In PyTorch Lightning zählt Patience laut Dokumentation „the number of validation checks with no improvement, and not the number of training epochs“, sodass check_val_every_n_epoch=10 mit patience=3 mindestens 40 Epochen läuft (Lightning 2.6.6 docs, abgerufen am 16. November 2026). Kein Patience-Wert passt für jedes Modell. Legen Sie die Patience danach fest, wie stark die Validierungskurve rauscht: Eine sprunghafte Metrik braucht mehr Prüfungen, bevor ein Plateau echt ist.
Wie setzen Keras, PyTorch und andere Bibliotheken es um?
Die meisten Trainingsbibliotheken liefern Early Stopping als Callback oder Flag mit eigenen Standardwerten.
| Bibliothek | API | Standard-Patience | Wichtiges Detail |
|---|---|---|---|
| Keras 3 | EarlyStopping, überwacht val_loss |
0 | restore_best_weights=False |
| PyTorch Lightning 2.6.6 | EarlyStopping, monitor ist Pflicht |
3 Prüfungen | Zählt Validierungsprüfungen, keine Epochen |
| Hugging Face Transformers 5.23 | EarlyStoppingCallback |
1 Evaluation | Braucht load_best_model_at_end und metric_for_best_model |
| scikit-learn 1.9.1 | MLPClassifier(early_stopping=True) |
10 Epochen (n_iter_no_change) |
Standardmäßig aus; hält 10 % zur Validierung zurück |
| XGBoost 3.4.2 | xgboost.train(early_stopping_rounds=...) |
Aus (None) |
Gibt die letzte Iteration zurück, nicht die beste |
Standardwerte abgerufen am 16. November 2026. Zwei dieser Bibliotheken behalten standardmäßig das letzte Modell, nicht das beste: Keras, solange nicht restore_best_weights=True gesetzt ist, und xgboost.train, dessen Dokumentation für das beste Modell auf einen Callback oder Model Slicing verweist. Ohne Wiederherstellung liegt das Modell, das Sie ausliefern, patience Prüfungen hinter seinem besten Stand.
Wann sollten Sie Early Stopping einsetzen?
Bei jedem iterativen Training mit zurückgehaltenem Validierungsset: neuronale Netze, Gradient-Boosted Trees und Fine-Tuning auf einem kleinen internen Datensatz, wo schon wenige Epochen ins Overfitting kippen können. Zwei Vorbehalte. Das Validierungsset entscheidet jetzt, wann gestoppt wird, und ist damit keine unverzerrte Schätzung mehr; beurteilen Sie das finale Modell auf einem separaten Testset, wie es Modellvalidierung beschreibt. Und eine zu niedrige Patience stoppt ein Modell während eines vorübergehenden Plateaus und lässt es im Underfitting zurück. Early Stopping ergänzt andere Regularisierung, statt sie zu ersetzen.