Was ist Early Stopping? Patience und Standardwerte erklärt

LLM-GrundlagenModelle und InferenzVeröffentlicht Von Simon Budziak

Early Stopping ist eine Trainingsregel, die ein Modell anhält, sobald sich sein Validierungswert nicht mehr verbessert. Sie prüft nach jeder Epoche oder Evaluation eine Metrik auf zurückgehaltenen Daten, wartet eine festgelegte Zahl von Prüfungen ab, die Patience, stoppt dann und stellt idealerweise die besten Gewichte wieder her. Das begrenzt Overfitting und spart Rechenzeit.

Wie funktioniert Early Stopping?

Das Training läuft in Runden, und nach jeder Runde wird das Modell auf Validierungsdaten bewertet, auf denen es nicht trainiert. Die Schleife merkt sich den besten Wert und die Gewichte, die ihn erzielt haben. Jede Runde ohne Verbesserung erhöht einen Zähler um eins; erreicht der Zähler den Patience-Wert, endet das Training. Das Lehrbuch Deep Learning nennt es „probably the most commonly used form of regularization in deep learning“ (Goodfellow, Bengio und Courville, Abschnitt 7.8, abgerufen am 16. November 2026). Anders als andere Regularisierung ändert es nichts an der Verlustfunktion, und für ein einfaches lineares Modell mit quadratischem Fehler, trainiert mit Gradientenverfahren, zeigt dasselbe Kapitel, dass es einem L2-Strafterm entspricht. Early Stopping macht die Zahl der Trainingsschritte zu einem Hyperparameter, der auf Validierungsdaten gewählt wird.

Was ist Patience beim Early Stopping?

Patience gibt an, wie viele Prüfungen ohne Verbesserung das Training hinnimmt, bevor es stoppt. min_delta ist die kleinste Änderung, die als Verbesserung zählt. Eine Prüfung ist nicht immer eine Epoche: In PyTorch Lightning zählt Patience laut Dokumentation „the number of validation checks with no improvement, and not the number of training epochs“, sodass check_val_every_n_epoch=10 mit patience=3 mindestens 40 Epochen läuft (Lightning 2.6.6 docs, abgerufen am 16. November 2026). Kein Patience-Wert passt für jedes Modell. Legen Sie die Patience danach fest, wie stark die Validierungskurve rauscht: Eine sprunghafte Metrik braucht mehr Prüfungen, bevor ein Plateau echt ist.

Wie setzen Keras, PyTorch und andere Bibliotheken es um?

Die meisten Trainingsbibliotheken liefern Early Stopping als Callback oder Flag mit eigenen Standardwerten.

Bibliothek API Standard-Patience Wichtiges Detail
Keras 3 EarlyStopping, überwacht val_loss 0 restore_best_weights=False
PyTorch Lightning 2.6.6 EarlyStopping, monitor ist Pflicht 3 Prüfungen Zählt Validierungsprüfungen, keine Epochen
Hugging Face Transformers 5.23 EarlyStoppingCallback 1 Evaluation Braucht load_best_model_at_end und metric_for_best_model
scikit-learn 1.9.1 MLPClassifier(early_stopping=True) 10 Epochen (n_iter_no_change) Standardmäßig aus; hält 10 % zur Validierung zurück
XGBoost 3.4.2 xgboost.train(early_stopping_rounds=...) Aus (None) Gibt die letzte Iteration zurück, nicht die beste

Standardwerte abgerufen am 16. November 2026. Zwei dieser Bibliotheken behalten standardmäßig das letzte Modell, nicht das beste: Keras, solange nicht restore_best_weights=True gesetzt ist, und xgboost.train, dessen Dokumentation für das beste Modell auf einen Callback oder Model Slicing verweist. Ohne Wiederherstellung liegt das Modell, das Sie ausliefern, patience Prüfungen hinter seinem besten Stand.

Wann sollten Sie Early Stopping einsetzen?

Bei jedem iterativen Training mit zurückgehaltenem Validierungsset: neuronale Netze, Gradient-Boosted Trees und Fine-Tuning auf einem kleinen internen Datensatz, wo schon wenige Epochen ins Overfitting kippen können. Zwei Vorbehalte. Das Validierungsset entscheidet jetzt, wann gestoppt wird, und ist damit keine unverzerrte Schätzung mehr; beurteilen Sie das finale Modell auf einem separaten Testset, wie es Modellvalidierung beschreibt. Und eine zu niedrige Patience stoppt ein Modell während eines vorübergehenden Plateaus und lässt es im Underfitting zurück. Early Stopping ergänzt andere Regularisierung, statt sie zu ersetzen.

Dieser Eintrag wurde mit AI-Unterstützung verfasst.

Häufig gestellte Fragen

Was bedeuten 3 Epochen beim Early Stopping?

Eine Epoche ist ein vollständiger Durchlauf durch die Trainingsdaten. Eine Patience von 3 Epochen heißt, dass das Training nach drei aufeinanderfolgenden Evaluationen ohne Verbesserung der überwachten Metrik stoppt.

Ist Early Stopping eine Form der Regularisierung?

Ja. Es begrenzt, wie weit sich das Training an die Trainingsdaten anpassen kann, und bei einem einfachen linearen Modell, das mit Gradientenverfahren trainiert wird, wirkt es wie ein L2-Strafterm auf die Gewichte.

Diese Seite zusammenfassen mit

Ihr Team schulen, damit es das selbst baut