Was ist Cross-Entropy-Loss? Formel, Beispiel und PyTorch

LLM-GrundlagenModelle und InferenzVeröffentlicht Von Simon Budziak

Der Kreuzentropie-Verlust (Cross-Entropy-Loss) ist der negative Logarithmus der Wahrscheinlichkeit, die ein Modell der richtigen Klasse gegeben hat. Er ist der Standard-Trainingsverlust für Klassifikation und für Sprachmodelle, die das nächste Token als Klasse vorhersagen. Bei einem selbstsicheren richtigen Modell kostet er fast nichts, bei einem selbstsicheren falschen wächst er unbegrenzt.

Wie wird der Kreuzentropie-Verlust berechnet?

Für ein Beispiel ist der Verlust -log p, wobei p die Wahrscheinlichkeit ist, die das Modell der wahren Klasse gegeben hat. Die allgemeine Form, -Σ y·log(p) summiert über die Klassen, reduziert sich darauf, weil das One-Hot-Label y für die wahre Klasse 1 und sonst 0 ist. Im Training wird über einen Batch gemittelt, und das Gradientenverfahren drückt den Wert nach unten.

Ein Rechenbeispiel mit drei Klassen (Katze, Hund, Vogel), durchgehend mit natürlichem Logarithmus:

Schritt Katze Hund Vogel
Logits aus dem Netz 2,0 1,0 0,1
exp(Logit) 7,389 2,718 1,105
Softmax-Wahrscheinlichkeit (geteilt durch 11,212) 0,659 0,242 0,099
Verlust, wenn dies die wahre Klasse ist 0,417 1,417 2,317

Zeigt das Bild eine Katze, beträgt der Verlust -ln(0,659) = 0,417. Ist es ein Vogel, kostet dieselbe Vorhersage 2,317. Ein Modell, das über drei Klassen gleichverteilt rät, erreicht ln(3) = 1,099, eine nützliche Basislinie: Ein Validierungsverlust auf oder über diesem Wert heißt, dass das Modell nicht besser ist als Raten. Die Strafe ist logarithmisch, deshalb kostet das letzte Stück Selbstsicherheit bei einer falschen Antwort am meisten: p = 0,5 kostet 0,693, p = 0,01 kostet 4,605. Darum belohnt Kreuzentropie ehrliche Wahrscheinlichkeiten, genau die Eigenschaft, die Modellkalibrierung misst.

Was ist der Unterschied zwischen binärer und kategorischer Kreuzentropie?

Es ist dieselbe Idee, angewendet auf unterschiedlich geformte Labels.

Variante Einsatz Ausgabeschicht PyTorch Keras
Binäre Kreuzentropie Zwei Klassen oder mehrere unabhängige Ja/Nein-Labels Ein Sigmoid pro Label BCEWithLogitsLoss BinaryCrossentropy
Kategorische Kreuzentropie Ein Label aus vielen, One-Hot-Ziele Softmax über die Klassen CrossEntropyLoss CategoricalCrossentropy
Sparse kategorische Kreuzentropie Ein Label aus vielen, ganzzahlige Ziele Softmax über die Klassen CrossEntropyLoss (Klassenindizes) SparseCategoricalCrossentropy

Binäre Kreuzentropie ist -[y·log p + (1 - y)·log(1 - p)], der Zwei-Klassen-Fall derselben Formel, die mit anderen Verlusten unter Verlustfunktion aufgeführt ist. Wählen Sie nach der Struktur der Labels, nicht nach der Zahl der Klassen: Ein Multi-Label-Problem der Klassifikation mit zehn Tags nutzt trotzdem binäre Kreuzentropie, zehnmal.

Welche Verlustfunktion gehört zu Softmax, und warum wollen Frameworks Logits?

Softmax wird fast immer mit Kreuzentropie kombiniert, und Frameworks verschmelzen beides. PyTorchs CrossEntropyLoss erwartet „the unnormalized logits for each class“ und ist bei Klassenindex-Zielen „equivalent to applying LogSoftmax on an input, followed by NLLLoss“; die Standardwerte sind reduction='mean' und label_smoothing=0.0 (PyTorch 2.15 CrossEntropyLoss, abgerufen am 16. November 2026). Keras geht den umgekehrten Weg: Seine Kreuzentropie-Verluste stehen standardmäßig auf from_logits=False und nehmen an, dass y_pred bereits Wahrscheinlichkeiten enthält (Keras probabilistic losses, abgerufen am 16. November 2026). Selbst Softmax anzuwenden und das Ergebnis an PyTorchs Verlust zu übergeben, ist ein stiller Fehler: Das Training läuft, aber auf einem doppelt gestauchten Signal. Geben Sie Logits an einen Verlust, der Logits erwartet, das hält auch den Logarithmus winziger Wahrscheinlichkeiten numerisch stabil.

Sprachmodelle nutzen denselben Verlust über das Vokabular: Jedes nächste Token ist eine Klasse, und die Perplexität ist die exponenzierte durchschnittliche Kreuzentropie.

Ist Focal Loss besser als Kreuzentropie?

Nur wenn leichte Beispiele die schweren erdrücken. Focal Loss wurde für Objektdetektoren mit „extreme foreground-background class imbalance“ eingeführt und formt den Standard-Kreuzentropie-Verlust so um, dass gut klassifizierte Beispiele weniger zählen, im Original „reshaping the standard cross entropy loss such that it down-weights the loss assigned to well-classified examples“ (Lin et al., Focal Loss for Dense Object Detection, abgerufen am 16. November 2026). Für ausgewogene Klassifikation bleibt einfache Kreuzentropie der Standard, und Klassengewichte (PyTorchs Argument weight) sind die einfachere erste Lösung bei Ungleichgewicht. Beurteilen Sie beide Varianten an Metriken auf zurückgehaltenen Daten wie dem Recall, nicht allein am Verlustwert, denn auch ein sinkender Trainingsverlust kann Overfitting sein.

Dieser Eintrag wurde mit AI-Unterstützung verfasst.

Häufig gestellte Fragen

Was ist der Unterschied zwischen Kreuzentropie und Log Loss?

Für Klassifikation ist es dieselbe Größe. Log Loss ist der Name, den Statistiker und Nutzer von scikit-learn eher verwenden, Cross-Entropy der Name in Deep-Learning-Frameworks.

Was ist ein guter Wert für den Kreuzentropie-Verlust?

Es gibt keine allgemeingültige Schwelle. Vergleichen Sie ihn mit dem Verlust eines Modells, das gleichverteilt rät, also dem natürlichen Logarithmus der Klassenzahl, und mit dem Verlauf Ihres eigenen Validierungsverlusts.

Diese Seite zusammenfassen mit

Ihr Team schulen, damit es das selbst baut