Naiwny klasyfikator Bayesa: wzór, przykład i kiedy go użyć

Podstawy LLMModele i inferencjaOpublikowano Autor: Simon Budziak

Naiwny Bayes to rodzina prostych klasyfikatorów, które stosują twierdzenie Bayesa z założeniem niezależności między cechami. To założenie rzadko jest prawdziwe, a mimo to metoda uczy się w jednym przebiegu, potrzebuje mało danych i dobrze działa dla tekstu, na przykład w filtrach spamu. Każda cecha jest traktowana jako niezależna, gdy znana jest klasa.

Jaki jest wzór naiwnego Bayesa?

Twierdzenie Bayesa mówi, że prawdopodobieństwo klasy przy danych cechach jest proporcjonalne do prawdopodobieństwa a priori tej klasy razy wiarygodności cech w tej klasie. „Naiwny” krok polega na tym, że wiarygodność każdej cechy mnoży się osobno: P(klasa | x1, x2, …) jest proporcjonalne do P(klasa) razy P(x1 | klasa) razy P(x2 | klasa) i tak dalej. Trening to samo zliczanie: jak często występuje każda klasa i jak często każda cecha pojawia się w jej obrębie, dlatego metoda jest tak szybka (przewodnik użytkownika scikit-learn, Naive Bayes).

Jak działa filtr spamu oparty na naiwnym Bayesie, z liczbami?

Załóżmy, że 40% poczty to spam. Słowo „faktura” występuje w 5% spamu i w 20% zwykłych wiadomości. Nowa wiadomość zawiera „faktura” i nic więcej spośród śledzonych słów.

Klasa A priori P(„faktura” przy danej klasie) A priori razy wiarygodność
Spam 0,40 0,05 0,020
Nie spam 0,60 0,20 0,120

Po normalizacji szansa na spam to 0,020 / (0,020 + 0,120), około 14%. Dodaj więcej słów, a filtr dołoży do iloczynu wiarygodność każdego z nich, więc wiadomość z kilkoma słowami typowymi dla spamu szybko przechyla się na tę stronę. Prawdziwe filtry dodają do każdego słowa niewielką wartość (wygładzanie), żeby nieznane słowo nie wyzerowało całego iloczynu.

Jakie są odmiany naiwnego Bayesa?

Odmiana Typ cechy Typowe zastosowanie
Wielomianowa Liczby wystąpień słów Klasyfikacja dokumentów
Bernoulliego Słowo jest lub go nie ma Krótkie teksty
Gaussa Liczby ciągłe, zakładany rozkład dzwonowy Dane z czujników i tabelaryczne

Odmianę wybieraj według typu cechy. Odmiany tekstowe zwykle opierają się na reprezentacji worka słów, która ignoruje kolejność słów i czyni założenie niezależności mniej kosztownym.

Kiedy naiwny Bayes działa, a kiedy zawodzi?

Działa, gdy cechy niosą dowody niezależnie, gdy danych treningowych jest mało i gdy trzeba często douczać model. Jego oceny prawdopodobieństwa są słabo skalibrowane, bo mnożenie skorelowanych cech zawyża pewność, więc używaj rankingu, a nie liczby, albo ją przekalibruj. Zawodzi, gdy odpowiedź zależy od interakcji między cechami, na przykład dwóch słów, które znaczą coś tylko razem. Wtedy spróbuj regresji logistycznej, k najbliższych sąsiadów albo modelu drzewiastego. Przy pierwszej klasyfikacji zgłoszeń, e-maili lub dokumentów wciąż jest mocnym, tanim punktem odniesienia do pobicia.

To hasło przygotowano z pomocą AI.

Najczęściej zadawane pytania

Kiedy warto użyć naiwnego Bayesa?

Jako szybkiego pierwszego punktu odniesienia w klasyfikacji tekstu, przy małej ilości danych treningowych, wielu cechach lub potrzebie ciągłego douczania. Przejdź dalej, jeśli o odpowiedzi decydują interakcje między cechami.

Czym różni się KNN od naiwnego Bayesa?

Naiwny Bayes uczy się prawdopodobieństw klas z zliczeń w danych treningowych i szybko przewiduje. K najbliższych sąsiadów przechowuje wszystkie przykłady i porównuje nowy z jego najbliższymi sąsiadami, więc predykcja zwalnia wraz ze wzrostem danych.

Podsumuj tę stronę w

Przeszkol zespół, aby sam to zbudował