Was ist Naive Bayes? Formel, Beispiel und Einsatzgebiete

LLM-GrundlagenModelle und InferenzVeröffentlicht Von Simon Budziak

Naive Bayes ist eine Familie einfacher Klassifikatoren, die den Satz von Bayes mit einer Unabhängigkeitsannahme zwischen den Merkmalen anwenden. Die Annahme stimmt selten, doch das Verfahren trainiert in einem Durchlauf, braucht wenig Daten und funktioniert gut bei Text wie der Spamfilterung. Jedes Merkmal gilt als unabhängig, sobald die Klasse bekannt ist.

Was ist die Naive-Bayes-Formel?

Der Satz von Bayes besagt, dass die Wahrscheinlichkeit einer Klasse bei gegebenen Merkmalen proportional ist zur Apriori-Wahrscheinlichkeit der Klasse mal der Likelihood der Merkmale unter dieser Klasse. Der „naive“ Schritt ist, die Likelihood jedes Merkmals einzeln zu multiplizieren: P(Klasse | x1, x2, …) ist proportional zu P(Klasse) mal P(x1 | Klasse) mal P(x2 | Klasse) und so weiter. Training heißt nur Zählen: wie oft jede Klasse vorkommt und wie oft jedes Merkmal darin auftritt, weshalb es so schnell ist (scikit-learn User Guide, Naive Bayes).

Wie funktioniert ein Naive-Bayes-Spamfilter, mit Zahlen?

Angenommen, 40 % der Mails sind Spam. Das Wort „Rechnung“ erscheint in 5 % der Spam-Mails und in 20 % der normalen Mails. Eine neue Nachricht enthält „Rechnung“ und nichts sonst, was wir erfassen.

Klasse Prior P(“Rechnung” gegeben Klasse) Prior mal Likelihood
Spam 0,40 0,05 0,020
Kein Spam 0,60 0,20 0,120

Normiert ergibt sich die Spam-Wahrscheinlichkeit 0,020 / (0,020 + 0,120), etwa 14 %. Mit mehr Wörtern multipliziert der Filter die Likelihood jedes Worts hinzu, sodass eine Nachricht mit mehreren Spam-nahen Wörtern schnell kippt. Echte Filter addieren zu jedem Wort eine kleine Zahl (Glättung), damit ein unbekanntes Wort nicht das ganze Produkt auf null setzt.

Welche Arten von Naive Bayes gibt es?

Variante Merkmalstyp Typischer Einsatz
Multinomial Wortzahlen Dokumentklassifikation
Bernoulli Wort vorhanden oder nicht Kurze Texte
Gauß Kontinuierliche Zahlen, glockenförmig angenommen Sensor- und Tabellendaten

Wählen Sie die Variante nach dem Typ des Merkmals. Textvarianten sitzen meist auf einer Bag-of-Words-Darstellung, die die Wortreihenfolge ignoriert und die Unabhängigkeitsannahme weniger teuer macht.

Wann funktioniert Naive Bayes, und wann scheitert es?

Es funktioniert, wenn Merkmale unabhängig Evidenz liefern, wenn die Trainingsdaten klein sind und wenn Sie oft neu trainieren müssen. Seine Wahrscheinlichkeitswerte sind schlecht kalibriert, da das Multiplizieren korrelierter Merkmale die Zuversicht aufbläht, nutzen Sie also die Rangfolge, nicht die Zahl, oder kalibrieren Sie neu. Es scheitert, wenn die Antwort von Wechselwirkungen zwischen Merkmalen abhängt, etwa zwei Wörtern, die nur zusammen etwas bedeuten. Probieren Sie dann logistische Regression oder K-Nearest-Neighbors oder ein Baummodell. Für die erste Klassifikation von Tickets, E-Mails oder Dokumenten ist es weiterhin eine starke, günstige Baseline, die es zu schlagen gilt.

Dieser Eintrag wurde mit AI-Unterstützung verfasst.

Häufig gestellte Fragen

Wann sollte man Naive Bayes einsetzen?

Nutzen Sie es als schnelle erste Baseline für Textklassifikation, bei wenig Trainingsdaten, vielen Merkmalen oder wenn Sie ständig neu trainieren müssen. Wechseln Sie, wenn Wechselwirkungen zwischen Merkmalen die Antwort bestimmen.

Was ist der Unterschied zwischen KNN und Naive Bayes?

Naive Bayes lernt Klassenwahrscheinlichkeiten aus Zählungen der Trainingsdaten und sagt schnell voraus. K-Nearest-Neighbors speichert alle Beispiele und vergleicht ein neues mit seinen nächsten Nachbarn, die Vorhersage wird also mit wachsenden Daten langsamer.

Diese Seite zusammenfassen mit

Ihr Team schulen, damit es das selbst baut