Jak oblicza się entropię krzyżową?
Dla jednego przykładu strata wynosi -log p, gdzie p to prawdopodobieństwo, które model przypisał prawdziwej klasie. Ogólna postać, -Σ y·log(p) sumowana po klasach, sprowadza się do tego, bo etykieta one-hot y ma wartość 1 dla prawdziwej klasy i 0 dla pozostałych. Trening uśrednia stratę po batchu, a spadek gradientu ją zmniejsza.
Przykład z trzema klasami (kot, pies, ptak), wszędzie z logarytmem naturalnym:
| Krok | Kot | Pies | Ptak |
|---|---|---|---|
| Logity z sieci | 2,0 | 1,0 | 0,1 |
| exp(logit) | 7,389 | 2,718 | 1,105 |
| Prawdopodobieństwo po softmaksie (dzielenie przez 11,212) | 0,659 | 0,242 | 0,099 |
| Strata, jeśli to prawdziwa klasa | 0,417 | 1,417 | 2,317 |
Jeśli na obrazie jest kot, strata wynosi -ln(0,659) = 0,417. Jeśli ptak, ta sama predykcja kosztuje 2,317. Model, który zgaduje równomiernie spośród trzech klas, uzyskuje ln(3) = 1,099, co jest przydatnym punktem odniesienia: strata walidacyjna na tym poziomie lub wyższa oznacza, że model radzi sobie nie lepiej niż zgadywanie. Kara jest logarytmiczna, więc najwięcej kosztuje ostatnia porcja pewności co do błędnej odpowiedzi: p = 0,5 kosztuje 0,693, a p = 0,01 kosztuje 4,605. Dlatego entropia krzyżowa nagradza uczciwe prawdopodobieństwa, czyli właściwość, którą mierzy kalibracja modelu.
Czym różni się binarna entropia krzyżowa od kategorycznej?
To ten sam pomysł zastosowany do etykiet o różnym kształcie.
| Wariant | Kiedy używać | Warstwa wyjściowa | PyTorch | Keras |
|---|---|---|---|---|
| Binarna entropia krzyżowa | Dwie klasy albo kilka niezależnych etykiet tak/nie | Jedna sigmoida na etykietę | BCEWithLogitsLoss |
BinaryCrossentropy |
| Kategoryczna entropia krzyżowa | Jedna etykieta z wielu, cele w postaci one-hot | Softmax po klasach | CrossEntropyLoss |
CategoricalCrossentropy |
| Rzadka (sparse) kategoryczna entropia krzyżowa | Jedna etykieta z wielu, cele jako liczby całkowite | Softmax po klasach | CrossEntropyLoss (indeksy klas) |
SparseCategoricalCrossentropy |
Binarna entropia krzyżowa to -[y·log p + (1 - y)·log(1 - p)], czyli dwuklasowy przypadek tego samego wzoru, wymieniony obok innych strat w haśle funkcja straty. Wybieraj według struktury etykiet, a nie liczby klas: wieloetykietowy problem klasyfikacji z dziesięcioma tagami nadal używa binarnej entropii krzyżowej, dziesięć razy.
Jaka funkcja straty pasuje do softmaksu i dlaczego frameworki chcą logitów?
Softmax niemal zawsze idzie w parze z entropią krzyżową, a frameworki łączą te dwie operacje w jedną. CrossEntropyLoss w PyTorch oczekuje „the unnormalized logits for each class”, czyli nieznormalizowanych logitów dla każdej klasy, a przy celach w postaci indeksów klas jest „equivalent to applying LogSoftmax on an input, followed by NLLLoss”, czyli równoważna LogSoftmax na wejściu, po którym następuje NLLLoss; domyślne ustawienia to reduction='mean' i label_smoothing=0.0 (PyTorch 2.15 CrossEntropyLoss, dostęp 16 listopada 2026). Keras działa odwrotnie: jego straty entropii krzyżowej domyślnie mają from_logits=False i zakładają, że y_pred zawiera już prawdopodobieństwa (Keras probabilistic losses, dostęp 16 listopada 2026). Samodzielne zastosowanie softmaksu i przekazanie wyniku do straty w PyTorch to cichy błąd: trening działa, ale na podwójnie spłaszczonym sygnale. Podawaj logity do straty, która przyjmuje logity, co przy okazji zapewnia stabilność numeryczną logarytmu z bardzo małych prawdopodobieństw.
Modele językowe używają tej samej straty na całym słowniku: każdy następny token to jedna klasa, a perplexity to funkcja wykładnicza ze średniej entropii krzyżowej.
Czy focal loss jest lepsza od entropii krzyżowej?
Tylko wtedy, gdy łatwe przykłady przytłaczają trudne. Focal loss wprowadzono dla detektorów obiektów zmagających się z „extreme foreground-background class imbalance”, czyli skrajną nierównowagą klas obiektów i tła, przez „reshaping the standard cross entropy loss such that it down-weights the loss assigned to well-classified examples”, czyli taką zmianę standardowej entropii krzyżowej, by zmniejszała wagę straty dla dobrze sklasyfikowanych przykładów (Lin i in., Focal Loss for Dense Object Detection, dostęp 16 listopada 2026). Przy zbalansowanej klasyfikacji domyślnym wyborem pozostaje zwykła entropia krzyżowa, a wagi klas (argument weight w PyTorch) są prostszą pierwszą poprawką na nierównowagę. Oceniaj oba wybory na metrykach z danych odłożonych, takich jak recall, a nie tylko na wartości straty, bo malejąca strata treningowa wciąż może oznaczać overfitting.