Dokumentacja LangChain o ewaluacji agentów (dostęp 16 listopada 2026) mówi, że ewaluacje mierzą agenta „by assessing its execution trajectory, the sequence of messages and tool calls it produces”, czyli oceniając trajektorię wykonania: sekwencję wiadomości i wywołań narzędzi, którą agent tworzy. Surowcem jest ślad (trace). W terminologii LangSmith (dostęp 16 listopada 2026) ślad zbiera wszystkie przebiegi stojące za jednym żądaniem, więc wywołanie modelu, wywołanie narzędzia i drugie wywołanie modelu trafiają do jednego rekordu, który przechowuje LLM tracing, a ewaluator czyta po kolei.
Jak ocenić trajektorię agenta?
Otwartoźródłowy pakiet agentevals od LangChain oferuje dwa ewaluatory (dokumentacja ewaluacji LangChain, dostęp 16 listopada 2026). create_trajectory_match_evaluator porównuje przebieg z trajektorią referencyjną w jednym z czterech trybów:
strict: te same wywołania narzędzi w tej samej kolejnościunordered: te same wywołania narzędzi w dowolnej kolejnościsubset: żadnych narzędzi spoza referencjisuperset: co najmniej narzędzia z referencji, dodatkowe dozwolone
create_trajectory_llm_as_judge ocenia natomiast przebieg według rubryki, a dokumentacja zaznacza, że nie wymaga on trajektorii referencyjnej. Dlatego ścieżka LLM-as-a-judge jest praktycznym początkiem, gdy nikt jeszcze nie spisał idealnej ścieżki. Używaj najsurowszego trybu dopasowania, na jaki pozwala zadanie: strict tam, gdzie kontrolą jest kolejność, na przykład krok zatwierdzenia przed zapisem, i superset tam, gdzie dodatkowe wyszukiwanie nic nie kosztuje.
Jak oceniamy trajektorie agentów w Soba Labs?
Dowodem jest dla nas zapisany przebieg, nigdy relacja agenta na jego temat. Trzy nawyki wynikają z naszej własnej pracy z agentami:
- Żeby udowodnić, że narzędzie zostało uruchomione, dopasowujemy wpis wywołania i ładunek wyniku, a nie nazwę narzędzia. W logu jednej sesji agenta programistycznego nazwa narzędzia pojawiła się 32 razy, a narzędzie zostało wywołane zero razy, bo wymieniał je także prompt.
- Model i reasoning effort odczytujemy z logu sesji, a nie z flag, które przekazaliśmy. Ustawienie reasoning effort zapisane w złej składni jest po cichu ignorowane, a przebieg ląduje na poziomie medium bez żadnego ostrzeżenia.
- Gdy długi przebieg pada na ostatnim kroku podsumowania, log nadal zawiera każde ustalenie wyprodukowane po drodze, więc odzyskujemy wyniki z trajektorii, zamiast uruchamiać wszystko od nowa.
Ślady są też eksportem danych. W jednym zbudowanym przez nas agencie przeszukanie pod kątem podłożonej wartości testowej nie znalazło jej w logach, zdarzeniach, zapisanych wierszach, ścieżkach błędów ani odpowiedziach HTTP, a ta sama wartość siedziała w każdym wejściu śladu: callback śledzenia otrzymuje wejścia każdego węzła grafu. Nasza zasada od tamtej pory: pole nie trafia do stanu agenta, jeśli żaden krok go nie wykorzystuje. Szerszą zasadę opisujemy w tekście why an agent’s summary is not a source (po angielsku).
Co ewaluacja trajektorii wychwytuje, a ocena wyniku pomija?
Wychwytuje zły wybór narzędzia, powtarzane ponowienia, pominięte zatwierdzenie albo poprawny wynik osiągnięty dzięki danym, których agent nie powinien był dotykać. Jakość wyniku i jakość wykonania to dwa różne pomiary, a ewaluacje agentów AI powinny oceniać oba zawsze, gdy agentowy workflow może zmieniać stan zewnętrzny przez wywołania narzędzi. Ewaluacja oparta na śladach przenosi tę samą ideę poza agentów. Nieudane trajektorie z produkcji powinny stawać się przypadkami ewaluacji offline, tak aby kolejne wydanie było testowane na awariach, na które faktycznie trafili użytkownicy.