Regresja logistyczna: co to jest, wzór i przykład krok po kroku

Podstawy LLMModele i inferencjaOpublikowano Autor: Simon Budziak

Regresja logistyczna to metoda uczenia nadzorowanego, która przewiduje prawdopodobieństwo wyniku tak lub nie na podstawie cech wejściowych. Sumuje ważone cechy, przekształca wynik w liczbę od 0 do 1 funkcją sigmoidalną i zamienia to prawdopodobieństwo na klasę za pomocą progu.

Mimo nazwy rozwiązuje zadanie klasyfikacji, a nie regresji w sensie przewidywania wielkości. „Regresja” to ważona suma, która leży pod spodem.

Jak regresja logistyczna zamienia cechy w prawdopodobieństwo?

Oblicza wynik z = b + w1x1 + w2x2 + i tak dalej, a następnie stosuje sigmoidę, p = 1 / (1 + e^-z). Wynik 0 daje prawdopodobieństwo 0,5, duże dodatnie wyniki zbliżają się do 1, a duże ujemne do 0. Wagi są uczone na oznaczonych przykładach, więc to forma uczenia nadzorowanego.

Przykład: przewidujemy, czy klient zrezygnuje, na podstawie liczby zgłoszeń do wsparcia x w miesiącu, przy nauczonych wagach b = -2 i w = 0,5.

Zgłoszenia z Prawdopodobieństwo rezygnacji
2 -1 0,27
4 0 0,50
6 1 0,73

Każde dodatkowe zgłoszenie mnoży szansę rezygnacji przez e^0,5, czyli około 1,65. Ten czytelny wpływ każdej cechy to powód, dla którego regresja logistyczna wciąż bywa pierwszym modelem, który zespoły próbują.

Czym jest funkcja kosztu w regresji logistycznej?

Model uczy się przez minimalizację straty logarytmicznej (log loss), zwanej też binarną entropią krzyżową. Karze pewny błąd znacznie mocniej niż niepewny: przewidzenie 0,99 dla przypadku, który okaże się negatywny, kosztuje dużo więcej niż przewidzenie 0,6. W przeciwieństwie do błędu kwadratowego w regresji liniowej strata logarytmiczna jest dla tego modelu wypukła, więc gradient prosty dochodzi do jedynego najlepszego zestawu wag.

Czym regresja logistyczna różni się od liniowej?

Regresja liniowa Regresja logistyczna
Przewiduje Liczbę (cenę, czas trwania) Prawdopodobieństwo klasy
Zakres wyniku Dowolna liczba rzeczywista Od 0 do 1
Strata Błąd kwadratowy Strata logarytmiczna
Do czego Prognozowanie wielkości Spam czy nie, rezygnacja czy nie, zatwierdzić czy sprawdzić

Wybierz ją, gdy odpowiedzią jest kategoria i potrzebujesz prawdopodobieństwa, na którym można ustawić próg. Próg to decyzja biznesowa: obniżenie go z 0,5 wychwytuje więcej prawdziwych przypadków i zwiększa liczbę fałszywych alarmów, czyli kompromis stojący za czułością (recall) i miarą F1.

Jakie są ograniczenia regresji logistycznej?

Rysuje prostą granicę między klasami, więc pomija interakcje i krzywizny, jeśli nie dodasz cech, które je oddają. Silnie skorelowane cechy czynią pojedyncze wagi niestabilnymi, a przy wielu cechach model potrafi się przeuczyć, co ogranicza regularyzacja. W problemach tabelarycznych o wyraźnej strukturze często dorównuje znacznie cięższym modelom i sam się tłumaczy: każda predykcja to suma nazwanych wkładów.

To hasło przygotowano z pomocą AI.

Najczęściej zadawane pytania

Czym jest regresja logistyczna w prostych słowach?

To metoda, która zamienia ważoną sumę cech w prawdopodobieństwo od 0 do 1, a potem uznaje przypadek za pozytywny, gdy to prawdopodobieństwo przekroczy próg, najczęściej 0,5.

Jakie są wady regresji logistycznej?

Rysuje liniową granicę, więc pomija interakcje i krzywizny, chyba że zbudujesz cechy, które je oddają, i wymaga dużej ostrożności przy silnie skorelowanych cechach.

Podsumuj tę stronę w

Przeszkol zespół, aby sam to zbudował