Batch size: co to jest rozmiar partii w uczeniu maszynowym

Podstawy LLMModele i inferencjaOpublikowano Autor: Simon Budziak

Batch size, czyli rozmiar partii, to liczba przykładów treningowych, które model przetwarza, zanim raz zaktualizuje swoje wagi. Małe partie dają zaszumione, ale częste aktualizacje i mieszczą się w małej pamięci, a duże dają stabilniejsze aktualizacje i lepiej wykorzystują sprzęt, kosztem pamięci i czasem generalizacji.

Jak łączą się rozmiar partii, iteracje i epoki?

Trening przechodzi po danych wiele razy. Jeden przebieg po każdym przykładzie to epoka. Wewnątrz epoki dane są dzielone na partie, a każda partia daje jedną aktualizację wag, zwaną iteracją lub krokiem. Liczba iteracji na epokę to rozmiar zbioru podzielony przez rozmiar partii.

Zbiór Rozmiar partii Aktualizacji na epokę
10 000 przykładów 10 000 (pełna partia) 1
10 000 przykładów 100 (mini-partia) 100
10 000 przykładów 1 (stochastyczny) 10 000

To pokrętło stoi za trzema odmianami gradientu prostego: pełnym, mini-partiowym i stochastycznym. Większość praktycznego treningu to mini-partie.

Co się dzieje przy małej, a co przy dużej partii?

Mała partia Duża partia
Estymata gradientu Zaszumiona Gładka
Aktualizacji na epokę Dużo Mało
Potrzebna pamięć Mała Duża
Wykorzystanie sprzętu Słabe na GPU Dobre dzięki równoległości
Ryzyko Niestabilna krzywa straty Osiada w ostrzejszych minimach, które mogą generalizować gorzej

Małe partie dodają szum, który może pomagać. Szum z małych partii działa jak łagodna regularyzacja, co może zmniejszyć przeuczenie. Duża partia kończy epokę szybciej na GPU, ale często wymaga wyższego współczynnika uczenia i fazy rozgrzewki, by trenować równie dobrze.

Jak dobrać rozmiar partii?

Zacznij od 32 lub 64, potem zwiększ go do największej wartości, na jaką pozwala pamięć, i obserwuj stratę walidacyjną, a nie tylko treningową. Zmieniając rozmiar partii, zmień też współczynnik uczenia, bo właściwy rozmiar kroku zależy od tego, jak zaszumiona jest każda aktualizacja. Jeśli limitem jest pamięć, akumulacja gradientów uruchamia kilka małych partii i stosuje jedną aktualizację, dając dużą efektywną partię. Obserwuj stratę walidacyjną, a nie tylko treningową. Połącz ten wybór z wczesnym zatrzymaniem, żeby dodatkowe epoki nie zapamiętywały danych treningowych.

Czy rozmiar partii znaczy to samo w czasie inferencji?

Rozmiar partii znaczy w inferencji coś innego. Tam batching grupuje kilka żądań, żeby sprzęt obsłużył je razem, co zwiększa przepustowość, ale dodaje czas oczekiwania na żądanie. To kompromis serwowania między kosztem a opóźnieniem, odrębny od treningu. O tym, czym serwowanie różni się od treningu, piszemy w haśle inferencja.

To hasło przygotowano z pomocą AI.

Najczęściej zadawane pytania

Od jakiego rozmiaru partii zacząć?

32 to częsty punkt wyjścia, a kolejne wartości do wypróbowania to 64, 128 i 256. Używaj największego rozmiaru, który mieści się w pamięci bez pogorszenia wyników walidacji, i dostrój ponownie współczynnik uczenia, gdy go zmieniasz.

Czym różni się batch size od epoki?

Batch size to liczba przykładów przechodzących przez model na jedną aktualizację wag. Epoka to jeden pełny przebieg po całym zbiorze treningowym, który wymaga liczby aktualizacji równej rozmiarowi zbioru podzielonemu przez rozmiar partii.

Podsumuj tę stronę w

Przeszkol zespół, aby sam to zbudował