Entropia krzyżowa: co to jest, wzór i przykład w PyTorch

Podstawy LLMModele i inferencjaOpublikowano Autor: Simon Budziak

Entropia krzyżowa jako funkcja straty (cross-entropy loss) to ujemny logarytm prawdopodobieństwa, które model przypisał poprawnej klasie. To standardowa funkcja straty przy trenowaniu klasyfikatorów i modeli językowych, które przewidują następny token jako klasę. Prawie nic nie kosztuje, gdy model jest pewny i ma rację, a rośnie bez ograniczeń, gdy jest pewny i się myli.

Jak oblicza się entropię krzyżową?

Dla jednego przykładu strata wynosi -log p, gdzie p to prawdopodobieństwo, które model przypisał prawdziwej klasie. Ogólna postać, -Σ y·log(p) sumowana po klasach, sprowadza się do tego, bo etykieta one-hot y ma wartość 1 dla prawdziwej klasy i 0 dla pozostałych. Trening uśrednia stratę po batchu, a spadek gradientu ją zmniejsza.

Przykład z trzema klasami (kot, pies, ptak), wszędzie z logarytmem naturalnym:

Krok Kot Pies Ptak
Logity z sieci 2,0 1,0 0,1
exp(logit) 7,389 2,718 1,105
Prawdopodobieństwo po softmaksie (dzielenie przez 11,212) 0,659 0,242 0,099
Strata, jeśli to prawdziwa klasa 0,417 1,417 2,317

Jeśli na obrazie jest kot, strata wynosi -ln(0,659) = 0,417. Jeśli ptak, ta sama predykcja kosztuje 2,317. Model, który zgaduje równomiernie spośród trzech klas, uzyskuje ln(3) = 1,099, co jest przydatnym punktem odniesienia: strata walidacyjna na tym poziomie lub wyższa oznacza, że model radzi sobie nie lepiej niż zgadywanie. Kara jest logarytmiczna, więc najwięcej kosztuje ostatnia porcja pewności co do błędnej odpowiedzi: p = 0,5 kosztuje 0,693, a p = 0,01 kosztuje 4,605. Dlatego entropia krzyżowa nagradza uczciwe prawdopodobieństwa, czyli właściwość, którą mierzy kalibracja modelu.

Czym różni się binarna entropia krzyżowa od kategorycznej?

To ten sam pomysł zastosowany do etykiet o różnym kształcie.

Wariant Kiedy używać Warstwa wyjściowa PyTorch Keras
Binarna entropia krzyżowa Dwie klasy albo kilka niezależnych etykiet tak/nie Jedna sigmoida na etykietę BCEWithLogitsLoss BinaryCrossentropy
Kategoryczna entropia krzyżowa Jedna etykieta z wielu, cele w postaci one-hot Softmax po klasach CrossEntropyLoss CategoricalCrossentropy
Rzadka (sparse) kategoryczna entropia krzyżowa Jedna etykieta z wielu, cele jako liczby całkowite Softmax po klasach CrossEntropyLoss (indeksy klas) SparseCategoricalCrossentropy

Binarna entropia krzyżowa to -[y·log p + (1 - y)·log(1 - p)], czyli dwuklasowy przypadek tego samego wzoru, wymieniony obok innych strat w haśle funkcja straty. Wybieraj według struktury etykiet, a nie liczby klas: wieloetykietowy problem klasyfikacji z dziesięcioma tagami nadal używa binarnej entropii krzyżowej, dziesięć razy.

Jaka funkcja straty pasuje do softmaksu i dlaczego frameworki chcą logitów?

Softmax niemal zawsze idzie w parze z entropią krzyżową, a frameworki łączą te dwie operacje w jedną. CrossEntropyLoss w PyTorch oczekuje „the unnormalized logits for each class”, czyli nieznormalizowanych logitów dla każdej klasy, a przy celach w postaci indeksów klas jest „equivalent to applying LogSoftmax on an input, followed by NLLLoss”, czyli równoważna LogSoftmax na wejściu, po którym następuje NLLLoss; domyślne ustawienia to reduction='mean' i label_smoothing=0.0 (PyTorch 2.15 CrossEntropyLoss, dostęp 16 listopada 2026). Keras działa odwrotnie: jego straty entropii krzyżowej domyślnie mają from_logits=False i zakładają, że y_pred zawiera już prawdopodobieństwa (Keras probabilistic losses, dostęp 16 listopada 2026). Samodzielne zastosowanie softmaksu i przekazanie wyniku do straty w PyTorch to cichy błąd: trening działa, ale na podwójnie spłaszczonym sygnale. Podawaj logity do straty, która przyjmuje logity, co przy okazji zapewnia stabilność numeryczną logarytmu z bardzo małych prawdopodobieństw.

Modele językowe używają tej samej straty na całym słowniku: każdy następny token to jedna klasa, a perplexity to funkcja wykładnicza ze średniej entropii krzyżowej.

Czy focal loss jest lepsza od entropii krzyżowej?

Tylko wtedy, gdy łatwe przykłady przytłaczają trudne. Focal loss wprowadzono dla detektorów obiektów zmagających się z „extreme foreground-background class imbalance”, czyli skrajną nierównowagą klas obiektów i tła, przez „reshaping the standard cross entropy loss such that it down-weights the loss assigned to well-classified examples”, czyli taką zmianę standardowej entropii krzyżowej, by zmniejszała wagę straty dla dobrze sklasyfikowanych przykładów (Lin i in., Focal Loss for Dense Object Detection, dostęp 16 listopada 2026). Przy zbalansowanej klasyfikacji domyślnym wyborem pozostaje zwykła entropia krzyżowa, a wagi klas (argument weight w PyTorch) są prostszą pierwszą poprawką na nierównowagę. Oceniaj oba wybory na metrykach z danych odłożonych, takich jak recall, a nie tylko na wartości straty, bo malejąca strata treningowa wciąż może oznaczać overfitting.

To hasło przygotowano z pomocą AI.

Najczęściej zadawane pytania

Czym różni się entropia krzyżowa od log loss?

W klasyfikacji to ta sama wielkość. Nazwy log loss używają raczej statystycy i użytkownicy scikit-learn, a nazwa entropia krzyżowa (cross-entropy) pochodzi z frameworków deep learningu.

Jaka wartość entropii krzyżowej jest dobra?

Nie ma uniwersalnego progu. Porównaj ją ze stratą modelu, który zgaduje równomiernie, czyli z logarytmem naturalnym z liczby klas, oraz z tym, jak zmienia się w czasie Twoja własna strata walidacyjna.

Podsumuj tę stronę w

Przeszkol zespół, aby sam to zbudował