Trotz des Namens löst sie eine Klassifikation und keine Regression im Sinne der Vorhersage einer Größe. Die „Regression“ ist die gewichtete Summe darunter.
Wie macht die logistische Regression aus Merkmalen eine Wahrscheinlichkeit?
Sie berechnet einen Score z = b + w1x1 + w2x2 + und so weiter und wendet dann die Sigmoid-Funktion an, p = 1 / (1 + e^-z). Ein Score von 0 ergibt eine Wahrscheinlichkeit von 0,5, große positive Scores nähern sich 1 und große negative Scores 0. Die Gewichte werden aus beschrifteten Beispielen gelernt, es ist also eine Form des überwachten Lernens.
Ein Rechenbeispiel: Vorhergesagt wird, ob ein Kunde kündigt, aus der Zahl der Support-Tickets x in einem Monat, mit den gelernten Gewichten b = -2 und w = 0,5.
| Tickets | z | Kündigungswahrscheinlichkeit |
|---|---|---|
| 2 | -1 | 0,27 |
| 4 | 0 | 0,50 |
| 6 | 1 | 0,73 |
Jedes zusätzliche Ticket multipliziert die Odds einer Kündigung mit e^0,5, also etwa 1,65. Dieser ablesbare Effekt je Merkmal ist der Grund, warum die logistische Regression für viele Teams noch immer das erste Modell ist, das sie ausprobieren.
Was ist die Kostenfunktion der logistischen Regression?
Das Modell wird trainiert, indem der Log-Loss minimiert wird, auch binäre Kreuzentropie genannt. Er bestraft eine sichere Fehlprognose weit stärker als eine unsichere: 0,99 für einen Fall vorherzusagen, der sich als negativ herausstellt, kostet viel mehr als 0,6. Anders als der quadratische Fehler der linearen Regression ist der Log-Loss für dieses Modell konvex, sodass das Gradientenverfahren die eine beste Gewichtskombination findet.
Wie unterscheidet sich die logistische von der linearen Regression?
| Lineare Regression | Logistische Regression | |
|---|---|---|
| Sagt voraus | Eine Zahl (ein Preis, eine Dauer) | Die Wahrscheinlichkeit einer Klasse |
| Wertebereich der Ausgabe | Beliebige reelle Zahl | 0 bis 1 |
| Verlust | Quadratischer Fehler | Log-Loss |
| Einsatz | Prognose einer Größe | Spam oder nicht, Kündigung oder nicht, freigeben oder prüfen |
Wählen Sie sie, wenn die Antwort eine Kategorie ist und Sie eine Wahrscheinlichkeit brauchen, auf die Sie einen Schwellenwert setzen können. Der Schwellenwert ist eine geschäftliche Entscheidung: Senken Sie ihn von 0,5, finden Sie mehr echte Fälle und lösen mehr Fehlalarme aus, der Zielkonflikt hinter Recall und F1-Score.
Was sind die Grenzen der logistischen Regression?
Sie zieht eine gerade Grenze zwischen den Klassen und übersieht daher Wechselwirkungen und Kurven, solange Sie keine Merkmale ergänzen, die sie abbilden. Stark korrelierte Merkmale machen einzelne Gewichte instabil, und bei vielen Merkmalen kann sie überanpassen, was Regularisierung eindämmt. Bei tabellarischen Problemen mit klarer Struktur hält sie oft mit weit schwereren Modellen mit und erklärt sich selbst: Jede Vorhersage ist eine Summe benannter Beiträge.