Jakich metryk ewaluacji używa się do jakich zadań?
Różne zadania potrzebują różnych metryk, a miara pasująca do jednego zadania wprowadza w błąd w innym.
| Zadanie | Częste metryki | Na co uważać |
|---|---|---|
| Klasyfikacja | Trafność (accuracy), precyzja, czułość (recall), F1, AUC | Trafność ukrywa porażki na rzadkiej klasie |
| Regresja | Średni błąd bezwzględny, średni błąd kwadratowy | Duże błędy najmocniej wpływają na błąd kwadratowy |
| Ranking i wyszukiwanie | Precision at k, recall at k, nDCG | Zależy od dobrych etykiet trafności |
| Tłumaczenia i streszczenia | BLEU, ROUGE | Nagradzają zbieżność słów, a nie znaczenia |
| Generowany tekst i agenci | Odsetek ukończonych zadań, odsetek zaliczeń przez sędziego LLM | Sam sędzia może się mylić |
Wybieraj metrykę według kosztu każdej pomyłki, a nie z przyzwyczajenia. Model oszustw, który przeoczy oszustwo, i taki, który blokuje dobrych klientów, zawodzą inaczej, więc czułość i precyzja mają różne ceny.
Dlaczego wysoka trafność może wprowadzać w błąd?
Załóżmy, że wśród 1000 przypadków jest 20 prawdziwych pozytywnych. Model, który zawsze odpowiada negatywnie, ma 98% trafności i nie znajduje żadnego z nich. Jego czułość wynosi 0. Model, który znajduje 15 z 20, ale oznacza też 30 negatywnych, ma 15 prawdziwych pozytywnych, 5 przeoczeń i 30 fałszywych alarmów: precyzja to 15 / 45, około 0,33, czułość 0,75, a trafność 96,5%. Drugi model jest bardziej użyteczny i ma niższą trafność. Zawsze porównuj z trywialnym punktem odniesienia i oceniaj na zbiorze wyłączonym, którego nie dostrajałeś.
Jak mierzyć agentów AI i modele językowe?
Klasyczne metryki wymagają jednej poprawnej odpowiedzi. Dla otwartych wyników zespoły używają miar na poziomie zadania, takich jak odsetek zadań ukończonych poprawnie, oraz ocen według rubryki od modelu językowego w roli oceniającego. Zobacz ewaluacje agentów AI i LLM jako sędzia. Licz koszt i opóźnienie obok jakości, bo metryka, która rośnie, gdy koszt zadania się podwaja, to wymiana, a nie zwycięstwo.
Jak w Soba Labs sprawdzamy, czy metryka ewaluacji zasługuje na zaufanie?
Metryka z sędziego opartego na modelu językowym jest tak dobra, jak jej zgodność z ludźmi. W naszym opisie LLM jako sędzia w LangSmith (po angielsku) praktyczną zasadą, do której doszliśmy, jest skalibrowanie przed zaufaniem jakiejkolwiek ocenie sędziego. Dokumentacja LangSmith zaleca zacząć od co najmniej 20 oznaczonych przykładów, zbalansowanych między etykietami 0 i 1, i definiuje wynik zgodności jako odsetek przykładów, w których ocena ewaluatora zgadza się z oceną eksperta (dokumentacja LangSmith, dostęp 19 listopada 2026). Balans ma znaczenie, bo zbiór złożony głównie z zaliczeń nie zdemaskuje sędziego, który niczego nie oblewa. Nieskalibrowanego sędziego traktujemy jak pewny, ale błędny sygnał i używamy jego odsetka zaliczeń do wychwycenia zmiany względem zeszłego tygodnia, a nie jako wyroku.
Co utrudnia oszukanie metryki?
Metryka staje się celem w chwili, gdy zespół jest z niej rozliczany. Trzymaj ukryty zbiór testowy, raportuj kilka metryk razem i pobieraj próbki prawdziwych wyników do przeczytania przez człowieka. Powiąż liczbę z wynikiem biznesowym, takim jak wychwycone błędy na tysiąc faktur, żeby poprawa na papierze była widoczna w operacjach.