Ensemble learning: co to jest, bagging, boosting, stacking i LLM

Podstawy LLMModele i inferencjaOpublikowano Autor: Simon Budziak

Uczenie zespołowe (ensemble learning) to łączenie kilku modeli tak, by ich wspólna predykcja była lepsza niż każdego z nich osobno. Modele głosują, uśredniają wyniki albo zasilają model końcowy, a zysk bierze się z tego, że mylą się w różnych miejscach: gdy jeden się myli, inne często nie. Lasy losowe, gradient boosting i panele sędziów LLM to zespoły.

Jak działa uczenie zespołowe?

Zespół trenuje kilka modeli bazowych i łączy ich wyniki. Przewodnik scikit-learn definiuje metody zespołowe jako łączenie „the predictions of several base estimators built with a given learning algorithm in order to improve generalizability / robustness over a single estimator” (przewodnik scikit-learn 1.9.1 o metodach zespołowych, dostęp 16 listopada 2026). Cały mechanizm opiera się na różnorodności: modele trenowane na różnych próbkach, cechach lub algorytmach popełniają różne błędy, a głosowanie znosi te, których nie dzielą. Zespół identycznych modeli to jeden model uruchomiony kilka razy.

Jakie są główne metody zespołowe?

Cztery rodziny obejmują niemal każdy zespół spotykany w praktyce.

Metoda Jak trenowane są modele Jak łączone są wyniki Głównie redukuje Klasa scikit-learn
Bagging Równolegle, każdy na próbce bootstrapowej Głosowanie lub średnia Wariancję BaggingClassifier, RandomForestClassifier
Boosting Sekwencyjnie, każdy na błędach poprzedniego Suma ważona Obciążenie (bias) HistGradientBoostingClassifier, AdaBoostClassifier
Stacking Różne algorytmy na tych samych danych Model końcowy uczy się, jak je łączyć Obciążenie (bias) StackingClassifier
Głosowanie Różne algorytmy na tych samych danych Etykieta większości lub uśrednione prawdopodobieństwa Wariancję VotingClassifier

Ten sam przewodnik zauważa, że bagging działa najlepiej z mocnymi, złożonymi modelami, takimi jak w pełni rozrośnięte drzewa, a boosting zwykle najlepiej ze słabymi, takimi jak płytkie drzewa. Stacking trenuje model końcowy na predykcjach spoza próby uzyskanych przez cross_val_predict, więc nie uczy się na odpowiedziach, które modele bazowe zapamiętały. Dla danych tabelarycznych gradient boosting to pierwszy zespół, który warto wypróbować; wersje oparte na histogramach „can be orders of magnitude faster”, gdy liczba próbek sięga dziesiątek tysięcy. Poza scikit-learn popularnymi bibliotekami do boostingu są XGBoost, LightGBM i CatBoost.

Czy metody zespołowe działają z dużymi modelami językowymi?

Tak, głównie w czasie inferencji, a nie treningu. Self-consistency pobiera z jednego modelu kilka odpowiedzi z łańcuchem rozumowania i zostawia najczęstszą odpowiedź końcową, co według autorów podniosło dokładność na GSM8K o 17,9% (Wang i in., arXiv:2203.11171, ICLR 2023, dostęp 16 listopada 2026). Przy ocenianiu panel mniejszych sędziów z różnych rodzin modeli wypadł lepiej niż jeden duży sędzia, wykazał mniejsze obciążenie wewnątrz modelu i był „over seven times less expensive” (Verga i in., arXiv:2404.18796, kwiecień 2024, dostęp 16 listopada 2026). Ława sędziów od różnych dostawców to zespół przeciw stronniczości sędziego, co czyni z niej tanie ulepszenie podejścia LLM-as-a-judge. Mixture of experts to coś innego: jeden model, trenowany wspólnie, który kieruje każdy token do wybranych ekspertów.

Kiedy zespół się nie opłaca?

Gdy modele mają ten sam martwy punkt albo gdy budżet tego nie udźwignie. Pięć wywołań LLM kosztuje pięć razy tyle co jedno i czeka na najwolniejsze, więc zespół ma sens przy decyzjach, w których błąd kosztuje więcej niż dodatkowe wywołania. Utrudnia też wyjaśnianie, bo żaden pojedynczy model nie jest właścicielem odpowiedzi. Sama niezgoda między modelami jest użytecznym sygnałem: duży rozrzut to tania forma szacowania niepewności, a niezgoda to właściwy wyzwalacz przeglądu przez człowieka, choć zgoda co do wspólnego błędu nadal przejdzie niezauważona.

To hasło przygotowano z pomocą AI.

Najczęściej zadawane pytania

Czy las losowy to metoda zespołowa?

Tak. Las losowy to bagging na drzewach decyzyjnych, w którym przy każdym podziale brany jest pod uwagę tylko losowy podzbiór cech, więc drzewa bardziej się od siebie różnią, a ich średnia jest stabilniejsza.

Czy mixture of experts to metoda zespołowa?

Nie w zwykłym sensie. W mixture of experts eksperci są trenowani wspólnie wewnątrz jednego modelu, a router kieruje każdy token do kilku z nich, natomiast zespół łączy osobne modele, z których każdy daje pełną predykcję.

Podsumuj tę stronę w

Przeszkol zespół, aby sam to zbudował