Was ist die Naive-Bayes-Formel?
Der Satz von Bayes besagt, dass die Wahrscheinlichkeit einer Klasse bei gegebenen Merkmalen proportional ist zur Apriori-Wahrscheinlichkeit der Klasse mal der Likelihood der Merkmale unter dieser Klasse. Der „naive“ Schritt ist, die Likelihood jedes Merkmals einzeln zu multiplizieren: P(Klasse | x1, x2, …) ist proportional zu P(Klasse) mal P(x1 | Klasse) mal P(x2 | Klasse) und so weiter. Training heißt nur Zählen: wie oft jede Klasse vorkommt und wie oft jedes Merkmal darin auftritt, weshalb es so schnell ist (scikit-learn User Guide, Naive Bayes).
Wie funktioniert ein Naive-Bayes-Spamfilter, mit Zahlen?
Angenommen, 40 % der Mails sind Spam. Das Wort „Rechnung“ erscheint in 5 % der Spam-Mails und in 20 % der normalen Mails. Eine neue Nachricht enthält „Rechnung“ und nichts sonst, was wir erfassen.
| Klasse | Prior | P(“Rechnung” gegeben Klasse) | Prior mal Likelihood |
|---|---|---|---|
| Spam | 0,40 | 0,05 | 0,020 |
| Kein Spam | 0,60 | 0,20 | 0,120 |
Normiert ergibt sich die Spam-Wahrscheinlichkeit 0,020 / (0,020 + 0,120), etwa 14 %. Mit mehr Wörtern multipliziert der Filter die Likelihood jedes Worts hinzu, sodass eine Nachricht mit mehreren Spam-nahen Wörtern schnell kippt. Echte Filter addieren zu jedem Wort eine kleine Zahl (Glättung), damit ein unbekanntes Wort nicht das ganze Produkt auf null setzt.
Welche Arten von Naive Bayes gibt es?
| Variante | Merkmalstyp | Typischer Einsatz |
|---|---|---|
| Multinomial | Wortzahlen | Dokumentklassifikation |
| Bernoulli | Wort vorhanden oder nicht | Kurze Texte |
| Gauß | Kontinuierliche Zahlen, glockenförmig angenommen | Sensor- und Tabellendaten |
Wählen Sie die Variante nach dem Typ des Merkmals. Textvarianten sitzen meist auf einer Bag-of-Words-Darstellung, die die Wortreihenfolge ignoriert und die Unabhängigkeitsannahme weniger teuer macht.
Wann funktioniert Naive Bayes, und wann scheitert es?
Es funktioniert, wenn Merkmale unabhängig Evidenz liefern, wenn die Trainingsdaten klein sind und wenn Sie oft neu trainieren müssen. Seine Wahrscheinlichkeitswerte sind schlecht kalibriert, da das Multiplizieren korrelierter Merkmale die Zuversicht aufbläht, nutzen Sie also die Rangfolge, nicht die Zahl, oder kalibrieren Sie neu. Es scheitert, wenn die Antwort von Wechselwirkungen zwischen Merkmalen abhängt, etwa zwei Wörtern, die nur zusammen etwas bedeuten. Probieren Sie dann logistische Regression oder K-Nearest-Neighbors oder ein Baummodell. Für die erste Klassifikation von Tickets, E-Mails oder Dokumenten ist es weiterhin eine starke, günstige Baseline, die es zu schlagen gilt.