Wie hängen Batch-Größe, Iterationen und Epochen zusammen?
Das Training durchläuft die Daten viele Male. Ein Durchlauf über jedes Beispiel ist eine Epoche. Innerhalb einer Epoche werden die Daten in Batches geschnitten, und jeder Batch erzeugt ein Gewichts-Update, Iteration oder Schritt genannt. Iterationen pro Epoche entsprechen der Datensatzgröße geteilt durch die Batch-Größe.
| Datensatz | Batch-Größe | Updates pro Epoche |
|---|---|---|
| 10.000 Beispiele | 10.000 (Full Batch) | 1 |
| 10.000 Beispiele | 100 (Mini-Batch) | 100 |
| 10.000 Beispiele | 1 (stochastisch) | 10.000 |
Das ist der Regler hinter den drei Varianten des Gradientenverfahrens: Batch, Mini-Batch und stochastisch. Das meiste praktische Training ist Mini-Batch.
Was passiert bei kleinem und bei großem Batch?
| Kleiner Batch | Großer Batch | |
|---|---|---|
| Gradientenschätzung | Verrauscht | Glatt |
| Updates pro Epoche | Viele | Wenige |
| Speicherbedarf | Niedrig | Hoch |
| Hardware-Auslastung | Schlecht auf einer GPU | Gut, durch Parallelität |
| Risiko | Instabile Loss-Kurve | Landet in schärferen Minima, die schlechter generalisieren können |
Kleine Batches bringen Rauschen, das helfen kann. Das Rauschen kleiner Batches wirkt wie ein milder Regularisierer, was Überanpassung verringern kann. Ein großer Batch schließt eine Epoche auf einer GPU schneller ab, braucht aber oft eine höhere Lernrate und eine Warm-up-Phase, um genauso gut zu trainieren.
Wie wählen Sie eine Batch-Größe?
Beginnen Sie bei 32 oder 64, erhöhen Sie dann auf den größten Wert, den Ihr Speicher zulässt, und beobachten Sie den Validierungs-Loss, nicht nur den Trainings-Loss. Ändern Sie die Lernrate, wenn Sie die Batch-Größe ändern, denn die richtige Schrittweite hängt davon ab, wie verrauscht jedes Update ist. Ist der Speicher die Grenze, führt Gradient Accumulation mehrere kleine Batches aus und wendet ein Update an, was einen großen effektiven Batch ergibt. Beobachten Sie den Validierungs-Loss, nicht nur den Trainings-Loss. Kombinieren Sie die Wahl mit Early Stopping, damit zusätzliche Epochen nicht die Trainingsdaten auswendig lernen.
Ist die Batch-Größe zur Inferenzzeit dasselbe?
Bei der Inferenz bedeutet die Batch-Größe etwas anderes. Dort fasst Batching mehrere Anfragen zusammen, damit die Hardware sie gemeinsam bedient, was den Durchsatz erhöht, aber die Wartezeit pro Anfrage verlängert. Das ist ein Zielkonflikt zwischen Kosten und Latenz im Betrieb, getrennt vom Training. Wie sich der Betrieb vom Training unterscheidet, steht unter Inferenz.