Was ist die Batch-Größe im Machine Learning? Wahl und Effekt

LLM-GrundlagenModelle und InferenzVeröffentlicht Von Simon Budziak

Die Batch-Größe ist die Zahl der Trainingsbeispiele, die ein Modell verarbeitet, bevor es seine Gewichte einmal aktualisiert. Kleine Batches liefern verrauschte, aber häufige Updates und brauchen wenig Speicher, große Batches liefern stabilere Updates und nutzen die Hardware besser, auf Kosten von Speicher und manchmal der Generalisierung.

Wie hängen Batch-Größe, Iterationen und Epochen zusammen?

Das Training durchläuft die Daten viele Male. Ein Durchlauf über jedes Beispiel ist eine Epoche. Innerhalb einer Epoche werden die Daten in Batches geschnitten, und jeder Batch erzeugt ein Gewichts-Update, Iteration oder Schritt genannt. Iterationen pro Epoche entsprechen der Datensatzgröße geteilt durch die Batch-Größe.

Datensatz Batch-Größe Updates pro Epoche
10.000 Beispiele 10.000 (Full Batch) 1
10.000 Beispiele 100 (Mini-Batch) 100
10.000 Beispiele 1 (stochastisch) 10.000

Das ist der Regler hinter den drei Varianten des Gradientenverfahrens: Batch, Mini-Batch und stochastisch. Das meiste praktische Training ist Mini-Batch.

Was passiert bei kleinem und bei großem Batch?

Kleiner Batch Großer Batch
Gradientenschätzung Verrauscht Glatt
Updates pro Epoche Viele Wenige
Speicherbedarf Niedrig Hoch
Hardware-Auslastung Schlecht auf einer GPU Gut, durch Parallelität
Risiko Instabile Loss-Kurve Landet in schärferen Minima, die schlechter generalisieren können

Kleine Batches bringen Rauschen, das helfen kann. Das Rauschen kleiner Batches wirkt wie ein milder Regularisierer, was Überanpassung verringern kann. Ein großer Batch schließt eine Epoche auf einer GPU schneller ab, braucht aber oft eine höhere Lernrate und eine Warm-up-Phase, um genauso gut zu trainieren.

Wie wählen Sie eine Batch-Größe?

Beginnen Sie bei 32 oder 64, erhöhen Sie dann auf den größten Wert, den Ihr Speicher zulässt, und beobachten Sie den Validierungs-Loss, nicht nur den Trainings-Loss. Ändern Sie die Lernrate, wenn Sie die Batch-Größe ändern, denn die richtige Schrittweite hängt davon ab, wie verrauscht jedes Update ist. Ist der Speicher die Grenze, führt Gradient Accumulation mehrere kleine Batches aus und wendet ein Update an, was einen großen effektiven Batch ergibt. Beobachten Sie den Validierungs-Loss, nicht nur den Trainings-Loss. Kombinieren Sie die Wahl mit Early Stopping, damit zusätzliche Epochen nicht die Trainingsdaten auswendig lernen.

Ist die Batch-Größe zur Inferenzzeit dasselbe?

Bei der Inferenz bedeutet die Batch-Größe etwas anderes. Dort fasst Batching mehrere Anfragen zusammen, damit die Hardware sie gemeinsam bedient, was den Durchsatz erhöht, aber die Wartezeit pro Anfrage verlängert. Das ist ein Zielkonflikt zwischen Kosten und Latenz im Betrieb, getrennt vom Training. Wie sich der Betrieb vom Training unterscheidet, steht unter Inferenz.

Dieser Eintrag wurde mit AI-Unterstützung verfasst.

Häufig gestellte Fragen

Mit welcher Batch-Größe fängt man sinnvoll an?

32 ist ein üblicher Startpunkt, mit 64, 128 und 256 als nächsten Werten. Nehmen Sie die größte Größe, die in den Speicher passt, ohne die Validierungsergebnisse zu verschlechtern, und stellen Sie die Lernrate neu ein, wenn Sie sie ändern.

Was ist der Unterschied zwischen Batch-Größe und Epoche?

Die Batch-Größe ist die Zahl der Beispiele, die pro Gewichts-Update durch das Modell laufen. Eine Epoche ist ein voller Durchlauf über den gesamten Trainingsdatensatz und umfasst so viele Updates, wie sich ergeben, wenn man die Datensatzgröße durch die Batch-Größe teilt.

Diese Seite zusammenfassen mit

Ihr Team schulen, damit es das selbst baut