Trajektoria agenta: co to jest i jak ocenić przebieg agenta AI

Wdrożenia produkcyjneEwaluacjaOpublikowano Zaktualizowano Autor: Simon Budziak

Trajektoria agenta to uporządkowany zapis jednego przebiegu agenta AI: każdej wiadomości, każdego wywołania narzędzia i każdego wyniku. Jej ocena pokazuje, jak agent doszedł do odpowiedzi, więc wychwytujesz niewłaściwe narzędzia, pominięte zatwierdzenia i zbędne wywołania, których nie widzi ocena samej odpowiedzi końcowej.

Dokumentacja LangChain o ewaluacji agentów (dostęp 16 listopada 2026) mówi, że ewaluacje mierzą agenta „by assessing its execution trajectory, the sequence of messages and tool calls it produces”, czyli oceniając trajektorię wykonania: sekwencję wiadomości i wywołań narzędzi, którą agent tworzy. Surowcem jest ślad (trace). W terminologii LangSmith (dostęp 16 listopada 2026) ślad zbiera wszystkie przebiegi stojące za jednym żądaniem, więc wywołanie modelu, wywołanie narzędzia i drugie wywołanie modelu trafiają do jednego rekordu, który przechowuje LLM tracing, a ewaluator czyta po kolei.

Jak ocenić trajektorię agenta?

Otwartoźródłowy pakiet agentevals od LangChain oferuje dwa ewaluatory (dokumentacja ewaluacji LangChain, dostęp 16 listopada 2026). create_trajectory_match_evaluator porównuje przebieg z trajektorią referencyjną w jednym z czterech trybów:

create_trajectory_llm_as_judge ocenia natomiast przebieg według rubryki, a dokumentacja zaznacza, że nie wymaga on trajektorii referencyjnej. Dlatego ścieżka LLM-as-a-judge jest praktycznym początkiem, gdy nikt jeszcze nie spisał idealnej ścieżki. Używaj najsurowszego trybu dopasowania, na jaki pozwala zadanie: strict tam, gdzie kontrolą jest kolejność, na przykład krok zatwierdzenia przed zapisem, i superset tam, gdzie dodatkowe wyszukiwanie nic nie kosztuje.

Jak oceniamy trajektorie agentów w Soba Labs?

Dowodem jest dla nas zapisany przebieg, nigdy relacja agenta na jego temat. Trzy nawyki wynikają z naszej własnej pracy z agentami:

Ślady są też eksportem danych. W jednym zbudowanym przez nas agencie przeszukanie pod kątem podłożonej wartości testowej nie znalazło jej w logach, zdarzeniach, zapisanych wierszach, ścieżkach błędów ani odpowiedziach HTTP, a ta sama wartość siedziała w każdym wejściu śladu: callback śledzenia otrzymuje wejścia każdego węzła grafu. Nasza zasada od tamtej pory: pole nie trafia do stanu agenta, jeśli żaden krok go nie wykorzystuje. Szerszą zasadę opisujemy w tekście why an agent’s summary is not a source (po angielsku).

Co ewaluacja trajektorii wychwytuje, a ocena wyniku pomija?

Wychwytuje zły wybór narzędzia, powtarzane ponowienia, pominięte zatwierdzenie albo poprawny wynik osiągnięty dzięki danym, których agent nie powinien był dotykać. Jakość wyniku i jakość wykonania to dwa różne pomiary, a ewaluacje agentów AI powinny oceniać oba zawsze, gdy agentowy workflow może zmieniać stan zewnętrzny przez wywołania narzędzi. Ewaluacja oparta na śladach przenosi tę samą ideę poza agentów. Nieudane trajektorie z produkcji powinny stawać się przypadkami ewaluacji offline, tak aby kolejne wydanie było testowane na awariach, na które faktycznie trafili użytkownicy.

Napisane z pomocą AI i sprawdzone przez Simona Budziaka. Uwagi z produkcji pochodzą z systemów, które Soba Labs buduje i utrzymuje.

Najczęściej zadawane pytania

Czym różni się trajektoria agenta od śladu (trace)?

Ślad przechowuje każde wywołanie modelu, wywołanie narzędzia i wyszukiwanie stojące za jednym żądaniem. Trajektoria to uporządkowana sekwencja wiadomości i wywołań narzędzi, którą odczytujesz z tego śladu i oceniasz.

Po co oceniać trajektorię, skoro końcowa odpowiedź jest poprawna?

Agent mógł dojść do właściwej odpowiedzi przez nieuprawniony dostęp do danych, zbędne wywołania, nadmierny koszt albo sekwencję, która zawiedzie przy nieco innym przypadku.

Czy ewaluacja trajektorii wymaga trajektorii referencyjnej?

Tylko ewaluatory dopasowania. Ewaluator trajektorii typu LLM-as-judge może ocenić przebieg na podstawie samej rubryki, a dokumentacja LangChain podaje, że trajektoria referencyjna jest dla niego opcjonalna.

Podsumuj tę stronę w

Przeszkol zespół, aby sam to zbudował