Jaki jest wzór naiwnego Bayesa?
Twierdzenie Bayesa mówi, że prawdopodobieństwo klasy przy danych cechach jest proporcjonalne do prawdopodobieństwa a priori tej klasy razy wiarygodności cech w tej klasie. „Naiwny” krok polega na tym, że wiarygodność każdej cechy mnoży się osobno: P(klasa | x1, x2, …) jest proporcjonalne do P(klasa) razy P(x1 | klasa) razy P(x2 | klasa) i tak dalej. Trening to samo zliczanie: jak często występuje każda klasa i jak często każda cecha pojawia się w jej obrębie, dlatego metoda jest tak szybka (przewodnik użytkownika scikit-learn, Naive Bayes).
Jak działa filtr spamu oparty na naiwnym Bayesie, z liczbami?
Załóżmy, że 40% poczty to spam. Słowo „faktura” występuje w 5% spamu i w 20% zwykłych wiadomości. Nowa wiadomość zawiera „faktura” i nic więcej spośród śledzonych słów.
| Klasa | A priori | P(„faktura” przy danej klasie) | A priori razy wiarygodność |
|---|---|---|---|
| Spam | 0,40 | 0,05 | 0,020 |
| Nie spam | 0,60 | 0,20 | 0,120 |
Po normalizacji szansa na spam to 0,020 / (0,020 + 0,120), około 14%. Dodaj więcej słów, a filtr dołoży do iloczynu wiarygodność każdego z nich, więc wiadomość z kilkoma słowami typowymi dla spamu szybko przechyla się na tę stronę. Prawdziwe filtry dodają do każdego słowa niewielką wartość (wygładzanie), żeby nieznane słowo nie wyzerowało całego iloczynu.
Jakie są odmiany naiwnego Bayesa?
| Odmiana | Typ cechy | Typowe zastosowanie |
|---|---|---|
| Wielomianowa | Liczby wystąpień słów | Klasyfikacja dokumentów |
| Bernoulliego | Słowo jest lub go nie ma | Krótkie teksty |
| Gaussa | Liczby ciągłe, zakładany rozkład dzwonowy | Dane z czujników i tabelaryczne |
Odmianę wybieraj według typu cechy. Odmiany tekstowe zwykle opierają się na reprezentacji worka słów, która ignoruje kolejność słów i czyni założenie niezależności mniej kosztownym.
Kiedy naiwny Bayes działa, a kiedy zawodzi?
Działa, gdy cechy niosą dowody niezależnie, gdy danych treningowych jest mało i gdy trzeba często douczać model. Jego oceny prawdopodobieństwa są słabo skalibrowane, bo mnożenie skorelowanych cech zawyża pewność, więc używaj rankingu, a nie liczby, albo ją przekalibruj. Zawodzi, gdy odpowiedź zależy od interakcji między cechami, na przykład dwóch słów, które znaczą coś tylko razem. Wtedy spróbuj regresji logistycznej, k najbliższych sąsiadów albo modelu drzewiastego. Przy pierwszej klasyfikacji zgłoszeń, e-maili lub dokumentów wciąż jest mocnym, tanim punktem odniesienia do pobicia.