Metryki ewaluacji modeli AI: jak wybrać właściwą miarę

Wdrożenia produkcyjneEwaluacjaOpublikowano Zaktualizowano Autor: Simon Budziak

Metryki ewaluacji to liczby używane do oceny, jak dobrze działa model lub system AI. Przykłady to trafność, precyzja, czułość, F1, odsetki błędów czy odsetek zaliczeń przez sędziego. To, którą metrykę wybierzesz, rozstrzyga o tym, co uchodzi za dobre, więc musi odpowiadać kosztowi każdego rodzaju pomyłki.

Jakich metryk ewaluacji używa się do jakich zadań?

Różne zadania potrzebują różnych metryk, a miara pasująca do jednego zadania wprowadza w błąd w innym.

Zadanie Częste metryki Na co uważać
Klasyfikacja Trafność (accuracy), precyzja, czułość (recall), F1, AUC Trafność ukrywa porażki na rzadkiej klasie
Regresja Średni błąd bezwzględny, średni błąd kwadratowy Duże błędy najmocniej wpływają na błąd kwadratowy
Ranking i wyszukiwanie Precision at k, recall at k, nDCG Zależy od dobrych etykiet trafności
Tłumaczenia i streszczenia BLEU, ROUGE Nagradzają zbieżność słów, a nie znaczenia
Generowany tekst i agenci Odsetek ukończonych zadań, odsetek zaliczeń przez sędziego LLM Sam sędzia może się mylić

Wybieraj metrykę według kosztu każdej pomyłki, a nie z przyzwyczajenia. Model oszustw, który przeoczy oszustwo, i taki, który blokuje dobrych klientów, zawodzą inaczej, więc czułość i precyzja mają różne ceny.

Dlaczego wysoka trafność może wprowadzać w błąd?

Załóżmy, że wśród 1000 przypadków jest 20 prawdziwych pozytywnych. Model, który zawsze odpowiada negatywnie, ma 98% trafności i nie znajduje żadnego z nich. Jego czułość wynosi 0. Model, który znajduje 15 z 20, ale oznacza też 30 negatywnych, ma 15 prawdziwych pozytywnych, 5 przeoczeń i 30 fałszywych alarmów: precyzja to 15 / 45, około 0,33, czułość 0,75, a trafność 96,5%. Drugi model jest bardziej użyteczny i ma niższą trafność. Zawsze porównuj z trywialnym punktem odniesienia i oceniaj na zbiorze wyłączonym, którego nie dostrajałeś.

Jak mierzyć agentów AI i modele językowe?

Klasyczne metryki wymagają jednej poprawnej odpowiedzi. Dla otwartych wyników zespoły używają miar na poziomie zadania, takich jak odsetek zadań ukończonych poprawnie, oraz ocen według rubryki od modelu językowego w roli oceniającego. Zobacz ewaluacje agentów AI i LLM jako sędzia. Licz koszt i opóźnienie obok jakości, bo metryka, która rośnie, gdy koszt zadania się podwaja, to wymiana, a nie zwycięstwo.

Jak w Soba Labs sprawdzamy, czy metryka ewaluacji zasługuje na zaufanie?

Metryka z sędziego opartego na modelu językowym jest tak dobra, jak jej zgodność z ludźmi. W naszym opisie LLM jako sędzia w LangSmith (po angielsku) praktyczną zasadą, do której doszliśmy, jest skalibrowanie przed zaufaniem jakiejkolwiek ocenie sędziego. Dokumentacja LangSmith zaleca zacząć od co najmniej 20 oznaczonych przykładów, zbalansowanych między etykietami 0 i 1, i definiuje wynik zgodności jako odsetek przykładów, w których ocena ewaluatora zgadza się z oceną eksperta (dokumentacja LangSmith, dostęp 19 listopada 2026). Balans ma znaczenie, bo zbiór złożony głównie z zaliczeń nie zdemaskuje sędziego, który niczego nie oblewa. Nieskalibrowanego sędziego traktujemy jak pewny, ale błędny sygnał i używamy jego odsetka zaliczeń do wychwycenia zmiany względem zeszłego tygodnia, a nie jako wyroku.

Co utrudnia oszukanie metryki?

Metryka staje się celem w chwili, gdy zespół jest z niej rozliczany. Trzymaj ukryty zbiór testowy, raportuj kilka metryk razem i pobieraj próbki prawdziwych wyników do przeczytania przez człowieka. Powiąż liczbę z wynikiem biznesowym, takim jak wychwycone błędy na tysiąc faktur, żeby poprawa na papierze była widoczna w operacjach.

Napisane z pomocą AI i sprawdzone przez Simona Budziaka. Uwagi z produkcji pochodzą z systemów, które Soba Labs buduje i utrzymuje.

Najczęściej zadawane pytania

Czy 80% trafności to dobry wynik w uczeniu maszynowym?

To zależy od częstości bazowej. Jeśli 95% przypadków jest negatywnych, model, który zawsze mówi negatywny, ma 95%. Porównuj z tym punktem odniesienia i patrz na precyzję i czułość dla rzadkiej klasy.

Której metryki ewaluacji używać?

Zacznij od kosztu pomyłek. Jeśli kosztowne jest przeoczenie prawdziwego przypadku, śledź czułość (recall). Jeśli kosztowne są fałszywe alarmy, śledź precyzję. Użyj F1, by zrównoważyć obie, i zbioru wstrzymanego, na którym nie dostrajałeś.

Podsumuj tę stronę w

Przeszkol zespół, aby sam to zbudował