Wie funktioniert Ensemble Learning?
Ensembles trainieren mehrere Basismodelle und führen ihre Ausgaben zusammen. Laut dem Leitfaden von scikit-learn kombinieren Ensemble-Methoden „the predictions of several base estimators built with a given learning algorithm in order to improve generalizability / robustness over a single estimator“ (scikit-learn 1.9.1, Leitfaden zu Ensembles, abgerufen am 16. November 2026). Vielfalt ist der ganze Mechanismus: Mitglieder, die auf unterschiedlichen Stichproben, Merkmalen oder Algorithmen trainiert wurden, machen unterschiedliche Fehler, und eine Abstimmung hebt die Fehler auf, die sie nicht teilen. Ein Ensemble aus identischen Modellen ist ein einziges Modell, das mehrmals läuft.
Welche Ensemble-Methoden gibt es?
Vier Familien decken in der Praxis fast jedes Ensemble ab.
| Methode | Wie die Mitglieder trainiert werden | Wie die Ausgaben kombiniert werden | Reduziert vor allem | scikit-learn-Klasse |
|---|---|---|---|---|
| Bagging | Parallel, jedes auf einer Bootstrap-Stichprobe | Abstimmung oder Mittelwert | Varianz | BaggingClassifier, RandomForestClassifier |
| Boosting | Nacheinander, jedes auf den Fehlern des vorherigen | Gewichtete Summe | Bias | HistGradientBoostingClassifier, AdaBoostClassifier |
| Stacking | Verschiedene Algorithmen auf denselben Daten | Ein finales Modell lernt die Kombination | Bias | StackingClassifier |
| Voting | Verschiedene Algorithmen auf denselben Daten | Mehrheitslabel oder gemittelte Wahrscheinlichkeiten | Varianz | VotingClassifier |
Derselbe Leitfaden merkt an, dass Bagging am besten mit starken, komplexen Modellen wie voll ausgewachsenen Bäumen funktioniert, Boosting dagegen meist mit schwachen wie flachen Bäumen. Stacking trainiert seinen finalen Schätzer auf Out-of-Sample-Vorhersagen, die mit cross_val_predict erzeugt werden, damit er nicht aus den auswendig gelernten Antworten der Mitglieder lernt. Für tabellarische Daten ist Gradient Boosting das Ensemble, das man zuerst ausprobiert; die Histogramm-Varianten „can be orders of magnitude faster“, sobald die Stichprobe Zehntausende von Beispielen erreicht. Außerhalb von scikit-learn sind XGBoost, LightGBM und CatBoost die gängigen Boosting-Bibliotheken.
Funktionieren Ensembles mit großen Sprachmodellen?
Ja, meist zur Inferenzzeit statt beim Training. Self-Consistency zieht mehrere Chain-of-Thought-Antworten aus einem Modell und behält die häufigste Endantwort, was laut den Autoren die Genauigkeit auf GSM8K um 17,9 % steigerte (Wang et al., arXiv:2203.11171, ICLR 2023, abgerufen am 16. November 2026). Bei der Bewertung schnitt ein Gremium kleinerer Judges aus verschiedenen Modellfamilien besser ab als ein einzelner großer Judge, zeigte weniger modellinternen Bias und war „over seven times less expensive“ (Verga et al., arXiv:2404.18796, April 2024, abgerufen am 16. November 2026). Eine Jury aus Judges verschiedener Anbieter ist ein Ensemble gegen Judge Bias und damit ein günstiges Upgrade für LLM-as-a-Judge. Eine Mixture of Experts ist etwas anderes: ein einziges, gemeinsam trainiertes Modell, das jedes Token weiterleitet.
Wann lohnt sich ein Ensemble nicht?
Wenn die Mitglieder denselben blinden Fleck haben oder das Budget es nicht trägt. Fünf LLM-Aufrufe kosten fünfmal so viel wie einer und warten auf den langsamsten, also gehört ein Ensemble zu Entscheidungen, bei denen ein Fehler mehr kostet als die zusätzlichen Aufrufe. Es erschwert auch die Erklärung, weil kein einzelnes Modell die Antwort verantwortet. Uneinigkeit unter den Mitgliedern ist selbst ein nützliches Signal: Eine hohe Streuung ist eine günstige Form der Unsicherheitsschätzung, und Uneinigkeit ist der richtige Auslöser für eine Prüfung durch einen Menschen, während Einigkeit über einen gemeinsamen Fehler trotzdem durchrutscht.