Wie erkennt man Underfitting?
Beide Werte sind niedrig, und der Abstand zwischen ihnen ist klein. Der scikit-learn-Leitfaden formuliert die Regel direkt: „If the training score and the validation score are both low, the estimator will be underfitting“ (scikit-learn 1.9.1, Leitfaden zu Validierungskurven, abgerufen am 16. November 2026). Ein kleiner Abstand zwischen Training und Test beweist kein gutes Modell: Er kann bedeuten, dass das Modell zu wenig gelernt hat, um überhaupt etwas verlieren zu können. Die Lernkurve liefert ein zweites Signal. Laufen Trainings- und Validierungswerte mit wachsender Trainingsmenge auf einem niedrigen Niveau zusammen, folgert derselbe Leitfaden: „we will probably not benefit much from more training data.“ Vergleichen Sie außerdem mit einer trivialen Baseline, etwa der Vorhersage des Mittelwerts oder der Mehrheitsklasse: Ein Modell, das sie kaum schlägt, ist unterangepasst, oder seine Eingaben tragen wenig Signal.
Was ist ein Beispiel für Underfitting?
Eine Gerade, die an eine Kurve angepasst wird, ist der Lehrbuchfall. Das scikit-learn-Beispiel passt Polynome dreier Grade an 30 verrauschte Stichproben einer Kosinuskurve an und bewertet jedes per 10-facher Kreuzvalidierung (scikit-learn-Beispiel zu Underfitting vs. Overfitting, Version 1.9.1, abgerufen am 16. November 2026):
| Polynomgrad | Mittlerer Validierungsfehler (MSE) | Diagnose |
|---|---|---|
| 1 (Gerade) | 0,408 | Underfitting |
| 4 | 0,0432 | Gute Anpassung |
| 15 | 1.83e+08 | Overfitting |
Mit den Worten des Beispiels ist die Gerade „not sufficient to fit the training samples“. Der Fehler der unterangepassten Geraden ist fast zehnmal so groß wie der der guten Anpassung, und keine Wahl von Steigung oder Achsenabschnitt kann eine Gerade zu einer Kurve biegen. Das Modell vom Grad 15 scheitert in die andere Richtung und jagt jedem verrauschten Punkt hinterher.
Overfitting vs. Underfitting: Was ist der Unterschied?
Underfitting versagt bei Trainingsdaten und neuen Daten gleichermaßen, Overfitting nur bei neuen Daten.
| Underfitting | Gute Anpassung | Overfitting | |
|---|---|---|---|
| Trainingsfehler | Hoch | Niedrig | Sehr niedrig |
| Validierungsfehler | Hoch | Niedrig | Hoch |
| Abstand Training zu Validierung | Klein | Klein | Groß |
| Bias und Varianz | Hoher Bias | Ausgewogen | Hohe Varianz |
| Helfen mehr Daten? | Selten | Ein wenig | Meistens |
| Erste Abhilfe | Kapazität oder Merkmale ergänzen | Ausliefern und überwachen | Regularisieren, vereinfachen, Daten ergänzen |
Overfitting lernt Rauschen auswendig; Underfitting übersieht das Signal. Modellauswahl ist eine Suche zwischen beiden, und sie muss auf zurückgehaltenen Daten laufen, nie auf dem Trainingswert, mit den Aufteilungen, die Modellvalidierung beschreibt.
Wie behebt man Underfitting?
Geben Sie dem Modell mehr Raum zum Lernen, grob nach Kosten geordnet:
- Bessere Eingaben: Feature Engineering hilft einem linearen Modell oft schneller als ein größeres Modell. Ein quadrierter Term, ein Verhältnis oder ein Wochentags-Flag kann ein Muster sichtbar machen, das das Modell vorher nicht ausdrücken konnte.
- Mehr Kapazität: mehr Polynomterme, tiefere Bäume, mehr Schichten oder Boosting, das Modelle nacheinander trainiert, um den Bias zu senken (siehe Bagging vs. Boosting).
- Weniger Regularisierung: Ein zu hoch angesetzter Strafterm bei der Regularisierung drückt die Gewichte so stark, dass das Muster verschwindet.
- Längeres Training: Sinkt der Trainingsverlust am Ende des Laufs noch, wurde zu früh aufgehört; Early Stopping sollte bei einem Plateau der Validierung greifen, nicht nach einer festen, kleinen Zahl von Epochen.
- Optimierer-Einstellungen: Eine zu niedrige Lernrate beim Gradientenverfahren kann den Verlust am Ende des Trainings hoch lassen und wie Underfitting aussehen.
Mehr Daten zu sammeln ist die Standardabhilfe, die meist nicht hilft, denn ein Modell, das die vorhandenen Zeilen nicht abbilden kann, bildet auch mehr davon nicht ab.
Können große Sprachmodelle underfitten?
Auch große Sprachmodelle können unterangepasst sein, und im großen Maßstab zeigt sich das als Untertraining. Die Chinchilla-Studie kam zu dem Schluss, dass „current large language models are significantly undertrained“: Ein Modell mit 70 Milliarden Parametern, trainiert auf etwa viermal so vielen Daten wie Gopher mit 280 Milliarden Parametern, übertraf Gopher bei gleichem Rechenbudget in vielen nachgelagerten Aufgaben (Hoffmann et al., 2022, abgerufen am 16. November 2026). Die Lehre gilt auch für kleinere Projekte: Prüfen Sie, ob ein Modell genug Trainingssignal gesehen hat, bevor Sie zu einem größeren greifen. Dieselbe Prüfung gilt beim Fine-Tuning, wo zu wenige Schritte ein Modell hinterlassen können, das noch in seinem alten Stil antwortet.