Jak łączą się rozmiar partii, iteracje i epoki?
Trening przechodzi po danych wiele razy. Jeden przebieg po każdym przykładzie to epoka. Wewnątrz epoki dane są dzielone na partie, a każda partia daje jedną aktualizację wag, zwaną iteracją lub krokiem. Liczba iteracji na epokę to rozmiar zbioru podzielony przez rozmiar partii.
| Zbiór | Rozmiar partii | Aktualizacji na epokę |
|---|---|---|
| 10 000 przykładów | 10 000 (pełna partia) | 1 |
| 10 000 przykładów | 100 (mini-partia) | 100 |
| 10 000 przykładów | 1 (stochastyczny) | 10 000 |
To pokrętło stoi za trzema odmianami gradientu prostego: pełnym, mini-partiowym i stochastycznym. Większość praktycznego treningu to mini-partie.
Co się dzieje przy małej, a co przy dużej partii?
| Mała partia | Duża partia | |
|---|---|---|
| Estymata gradientu | Zaszumiona | Gładka |
| Aktualizacji na epokę | Dużo | Mało |
| Potrzebna pamięć | Mała | Duża |
| Wykorzystanie sprzętu | Słabe na GPU | Dobre dzięki równoległości |
| Ryzyko | Niestabilna krzywa straty | Osiada w ostrzejszych minimach, które mogą generalizować gorzej |
Małe partie dodają szum, który może pomagać. Szum z małych partii działa jak łagodna regularyzacja, co może zmniejszyć przeuczenie. Duża partia kończy epokę szybciej na GPU, ale często wymaga wyższego współczynnika uczenia i fazy rozgrzewki, by trenować równie dobrze.
Jak dobrać rozmiar partii?
Zacznij od 32 lub 64, potem zwiększ go do największej wartości, na jaką pozwala pamięć, i obserwuj stratę walidacyjną, a nie tylko treningową. Zmieniając rozmiar partii, zmień też współczynnik uczenia, bo właściwy rozmiar kroku zależy od tego, jak zaszumiona jest każda aktualizacja. Jeśli limitem jest pamięć, akumulacja gradientów uruchamia kilka małych partii i stosuje jedną aktualizację, dając dużą efektywną partię. Obserwuj stratę walidacyjną, a nie tylko treningową. Połącz ten wybór z wczesnym zatrzymaniem, żeby dodatkowe epoki nie zapamiętywały danych treningowych.
Czy rozmiar partii znaczy to samo w czasie inferencji?
Rozmiar partii znaczy w inferencji coś innego. Tam batching grupuje kilka żądań, żeby sprzęt obsłużył je razem, co zwiększa przepustowość, ale dodaje czas oczekiwania na żądanie. To kompromis serwowania między kosztem a opóźnieniem, odrębny od treningu. O tym, czym serwowanie różni się od treningu, piszemy w haśle inferencja.