Was ist logistische Regression? Definition mit Beispiel

LLM-GrundlagenModelle und InferenzVeröffentlicht Von Simon Budziak

Logistische Regression ist ein Verfahren des überwachten Lernens, das aus Eingabemerkmalen die Wahrscheinlichkeit eines Ja-Nein-Ergebnisses vorhersagt. Sie addiert gewichtete Merkmale, presst die Summe mit der Sigmoid-Funktion auf eine Zahl zwischen 0 und 1 und macht aus dieser Wahrscheinlichkeit per Schwellenwert eine Klasse.

Trotz des Namens löst sie eine Klassifikation und keine Regression im Sinne der Vorhersage einer Größe. Die „Regression“ ist die gewichtete Summe darunter.

Wie macht die logistische Regression aus Merkmalen eine Wahrscheinlichkeit?

Sie berechnet einen Score z = b + w1x1 + w2x2 + und so weiter und wendet dann die Sigmoid-Funktion an, p = 1 / (1 + e^-z). Ein Score von 0 ergibt eine Wahrscheinlichkeit von 0,5, große positive Scores nähern sich 1 und große negative Scores 0. Die Gewichte werden aus beschrifteten Beispielen gelernt, es ist also eine Form des überwachten Lernens.

Ein Rechenbeispiel: Vorhergesagt wird, ob ein Kunde kündigt, aus der Zahl der Support-Tickets x in einem Monat, mit den gelernten Gewichten b = -2 und w = 0,5.

Tickets z Kündigungswahrscheinlichkeit
2 -1 0,27
4 0 0,50
6 1 0,73

Jedes zusätzliche Ticket multipliziert die Odds einer Kündigung mit e^0,5, also etwa 1,65. Dieser ablesbare Effekt je Merkmal ist der Grund, warum die logistische Regression für viele Teams noch immer das erste Modell ist, das sie ausprobieren.

Was ist die Kostenfunktion der logistischen Regression?

Das Modell wird trainiert, indem der Log-Loss minimiert wird, auch binäre Kreuzentropie genannt. Er bestraft eine sichere Fehlprognose weit stärker als eine unsichere: 0,99 für einen Fall vorherzusagen, der sich als negativ herausstellt, kostet viel mehr als 0,6. Anders als der quadratische Fehler der linearen Regression ist der Log-Loss für dieses Modell konvex, sodass das Gradientenverfahren die eine beste Gewichtskombination findet.

Wie unterscheidet sich die logistische von der linearen Regression?

Lineare Regression Logistische Regression
Sagt voraus Eine Zahl (ein Preis, eine Dauer) Die Wahrscheinlichkeit einer Klasse
Wertebereich der Ausgabe Beliebige reelle Zahl 0 bis 1
Verlust Quadratischer Fehler Log-Loss
Einsatz Prognose einer Größe Spam oder nicht, Kündigung oder nicht, freigeben oder prüfen

Wählen Sie sie, wenn die Antwort eine Kategorie ist und Sie eine Wahrscheinlichkeit brauchen, auf die Sie einen Schwellenwert setzen können. Der Schwellenwert ist eine geschäftliche Entscheidung: Senken Sie ihn von 0,5, finden Sie mehr echte Fälle und lösen mehr Fehlalarme aus, der Zielkonflikt hinter Recall und F1-Score.

Was sind die Grenzen der logistischen Regression?

Sie zieht eine gerade Grenze zwischen den Klassen und übersieht daher Wechselwirkungen und Kurven, solange Sie keine Merkmale ergänzen, die sie abbilden. Stark korrelierte Merkmale machen einzelne Gewichte instabil, und bei vielen Merkmalen kann sie überanpassen, was Regularisierung eindämmt. Bei tabellarischen Problemen mit klarer Struktur hält sie oft mit weit schwereren Modellen mit und erklärt sich selbst: Jede Vorhersage ist eine Summe benannter Beiträge.

Dieser Eintrag wurde mit AI-Unterstützung verfasst.

Häufig gestellte Fragen

Was ist logistische Regression einfach erklärt?

Ein Verfahren, das eine gewichtete Summe von Merkmalen in eine Wahrscheinlichkeit zwischen 0 und 1 umrechnet und den Fall als positiv einstuft, wenn diese Wahrscheinlichkeit einen Schwellenwert überschreitet, oft 0,5.

Was sind die Nachteile der logistischen Regression?

Sie zieht eine lineare Grenze und übersieht deshalb Wechselwirkungen und Kurven, solange man dafür keine eigenen Merkmale baut, und bei stark korrelierten Merkmalen braucht sie viel Sorgfalt.

Diese Seite zusammenfassen mit

Ihr Team schulen, damit es das selbst baut