Mimo nazwy rozwiązuje zadanie klasyfikacji, a nie regresji w sensie przewidywania wielkości. „Regresja” to ważona suma, która leży pod spodem.
Jak regresja logistyczna zamienia cechy w prawdopodobieństwo?
Oblicza wynik z = b + w1x1 + w2x2 + i tak dalej, a następnie stosuje sigmoidę, p = 1 / (1 + e^-z). Wynik 0 daje prawdopodobieństwo 0,5, duże dodatnie wyniki zbliżają się do 1, a duże ujemne do 0. Wagi są uczone na oznaczonych przykładach, więc to forma uczenia nadzorowanego.
Przykład: przewidujemy, czy klient zrezygnuje, na podstawie liczby zgłoszeń do wsparcia x w miesiącu, przy nauczonych wagach b = -2 i w = 0,5.
| Zgłoszenia | z | Prawdopodobieństwo rezygnacji |
|---|---|---|
| 2 | -1 | 0,27 |
| 4 | 0 | 0,50 |
| 6 | 1 | 0,73 |
Każde dodatkowe zgłoszenie mnoży szansę rezygnacji przez e^0,5, czyli około 1,65. Ten czytelny wpływ każdej cechy to powód, dla którego regresja logistyczna wciąż bywa pierwszym modelem, który zespoły próbują.
Czym jest funkcja kosztu w regresji logistycznej?
Model uczy się przez minimalizację straty logarytmicznej (log loss), zwanej też binarną entropią krzyżową. Karze pewny błąd znacznie mocniej niż niepewny: przewidzenie 0,99 dla przypadku, który okaże się negatywny, kosztuje dużo więcej niż przewidzenie 0,6. W przeciwieństwie do błędu kwadratowego w regresji liniowej strata logarytmiczna jest dla tego modelu wypukła, więc gradient prosty dochodzi do jedynego najlepszego zestawu wag.
Czym regresja logistyczna różni się od liniowej?
| Regresja liniowa | Regresja logistyczna | |
|---|---|---|
| Przewiduje | Liczbę (cenę, czas trwania) | Prawdopodobieństwo klasy |
| Zakres wyniku | Dowolna liczba rzeczywista | Od 0 do 1 |
| Strata | Błąd kwadratowy | Strata logarytmiczna |
| Do czego | Prognozowanie wielkości | Spam czy nie, rezygnacja czy nie, zatwierdzić czy sprawdzić |
Wybierz ją, gdy odpowiedzią jest kategoria i potrzebujesz prawdopodobieństwa, na którym można ustawić próg. Próg to decyzja biznesowa: obniżenie go z 0,5 wychwytuje więcej prawdziwych przypadków i zwiększa liczbę fałszywych alarmów, czyli kompromis stojący za czułością (recall) i miarą F1.
Jakie są ograniczenia regresji logistycznej?
Rysuje prostą granicę między klasami, więc pomija interakcje i krzywizny, jeśli nie dodasz cech, które je oddają. Silnie skorelowane cechy czynią pojedyncze wagi niestabilnymi, a przy wielu cechach model potrafi się przeuczyć, co ogranicza regularyzacja. W problemach tabelarycznych o wyraźnej strukturze często dorównuje znacznie cięższym modelom i sam się tłumaczy: każda predykcja to suma nazwanych wkładów.