Ensemble Learning: Was ist das? Bagging, Boosting und Stacking

LLM-GrundlagenModelle und InferenzVeröffentlicht Von Simon Budziak

Ensemble Learning kombiniert mehrere Modelle, damit ihre gemeinsame Vorhersage jedes einzelne übertrifft. Die Mitglieder stimmen ab, werden gemittelt oder speisen ein finales Modell, und der Gewinn entsteht daraus, dass sich ihre Fehler unterscheiden: Liegt eines falsch, liegen die anderen oft richtig. Random Forests, Gradient Boosting und Gremien aus LLM-Judges sind Ensembles.

Wie funktioniert Ensemble Learning?

Ensembles trainieren mehrere Basismodelle und führen ihre Ausgaben zusammen. Laut dem Leitfaden von scikit-learn kombinieren Ensemble-Methoden „the predictions of several base estimators built with a given learning algorithm in order to improve generalizability / robustness over a single estimator“ (scikit-learn 1.9.1, Leitfaden zu Ensembles, abgerufen am 16. November 2026). Vielfalt ist der ganze Mechanismus: Mitglieder, die auf unterschiedlichen Stichproben, Merkmalen oder Algorithmen trainiert wurden, machen unterschiedliche Fehler, und eine Abstimmung hebt die Fehler auf, die sie nicht teilen. Ein Ensemble aus identischen Modellen ist ein einziges Modell, das mehrmals läuft.

Welche Ensemble-Methoden gibt es?

Vier Familien decken in der Praxis fast jedes Ensemble ab.

Methode Wie die Mitglieder trainiert werden Wie die Ausgaben kombiniert werden Reduziert vor allem scikit-learn-Klasse
Bagging Parallel, jedes auf einer Bootstrap-Stichprobe Abstimmung oder Mittelwert Varianz BaggingClassifier, RandomForestClassifier
Boosting Nacheinander, jedes auf den Fehlern des vorherigen Gewichtete Summe Bias HistGradientBoostingClassifier, AdaBoostClassifier
Stacking Verschiedene Algorithmen auf denselben Daten Ein finales Modell lernt die Kombination Bias StackingClassifier
Voting Verschiedene Algorithmen auf denselben Daten Mehrheitslabel oder gemittelte Wahrscheinlichkeiten Varianz VotingClassifier

Derselbe Leitfaden merkt an, dass Bagging am besten mit starken, komplexen Modellen wie voll ausgewachsenen Bäumen funktioniert, Boosting dagegen meist mit schwachen wie flachen Bäumen. Stacking trainiert seinen finalen Schätzer auf Out-of-Sample-Vorhersagen, die mit cross_val_predict erzeugt werden, damit er nicht aus den auswendig gelernten Antworten der Mitglieder lernt. Für tabellarische Daten ist Gradient Boosting das Ensemble, das man zuerst ausprobiert; die Histogramm-Varianten „can be orders of magnitude faster“, sobald die Stichprobe Zehntausende von Beispielen erreicht. Außerhalb von scikit-learn sind XGBoost, LightGBM und CatBoost die gängigen Boosting-Bibliotheken.

Funktionieren Ensembles mit großen Sprachmodellen?

Ja, meist zur Inferenzzeit statt beim Training. Self-Consistency zieht mehrere Chain-of-Thought-Antworten aus einem Modell und behält die häufigste Endantwort, was laut den Autoren die Genauigkeit auf GSM8K um 17,9 % steigerte (Wang et al., arXiv:2203.11171, ICLR 2023, abgerufen am 16. November 2026). Bei der Bewertung schnitt ein Gremium kleinerer Judges aus verschiedenen Modellfamilien besser ab als ein einzelner großer Judge, zeigte weniger modellinternen Bias und war „over seven times less expensive“ (Verga et al., arXiv:2404.18796, April 2024, abgerufen am 16. November 2026). Eine Jury aus Judges verschiedener Anbieter ist ein Ensemble gegen Judge Bias und damit ein günstiges Upgrade für LLM-as-a-Judge. Eine Mixture of Experts ist etwas anderes: ein einziges, gemeinsam trainiertes Modell, das jedes Token weiterleitet.

Wann lohnt sich ein Ensemble nicht?

Wenn die Mitglieder denselben blinden Fleck haben oder das Budget es nicht trägt. Fünf LLM-Aufrufe kosten fünfmal so viel wie einer und warten auf den langsamsten, also gehört ein Ensemble zu Entscheidungen, bei denen ein Fehler mehr kostet als die zusätzlichen Aufrufe. Es erschwert auch die Erklärung, weil kein einzelnes Modell die Antwort verantwortet. Uneinigkeit unter den Mitgliedern ist selbst ein nützliches Signal: Eine hohe Streuung ist eine günstige Form der Unsicherheitsschätzung, und Uneinigkeit ist der richtige Auslöser für eine Prüfung durch einen Menschen, während Einigkeit über einen gemeinsamen Fehler trotzdem durchrutscht.

Dieser Eintrag wurde mit AI-Unterstützung verfasst.

Häufig gestellte Fragen

Ist ein Random Forest ein Ensemble?

Ja. Ein Random Forest ist Bagging über Entscheidungsbäume, wobei jede Aufteilung nur eine zufällige Teilmenge der Merkmale betrachtet. So weichen die Bäume stärker voneinander ab, und ihr Mittelwert wird stabiler.

Ist Mixture of Experts eine Ensemble-Methode?

Nicht im üblichen Sinn. Eine Mixture of Experts trainiert ihre Experten gemeinsam innerhalb eines Modells, und ein Router schickt jedes Token an einige wenige davon. Ein Ensemble dagegen kombiniert getrennte Modelle, die jeweils eine vollständige Vorhersage liefern.

Diese Seite zusammenfassen mit

Ihr Team schulen, damit es das selbst baut