Agent-Trajektorie: Was ist das? AI-Agent-Läufe bewerten

ProduktivbetriebEvaluierungVeröffentlicht Aktualisiert Von Simon Budziak

Eine Agent-Trajektorie ist die geordnete Aufzeichnung eines einzelnen Laufs eines AI-Agenten: jede Nachricht, jeder Tool-Aufruf und jedes Ergebnis. Ihre Bewertung zeigt, wie der Agent zu seiner Antwort kam, sodass Sie falsche Tools, übersprungene Freigaben und verschwendete Aufrufe finden, die eine reine Bewertung der finalen Antwort übersieht.

Die Dokumentation zur Agentenevaluierung von LangChain (abgerufen am 16. November 2026) sagt, Evals messen einen Agenten „by assessing its execution trajectory, the sequence of messages and tool calls it produces.“ Das Rohmaterial ist ein Trace. In der Terminologie von LangSmith (abgerufen am 16. November 2026) sammelt ein Trace jeden Run hinter einer Anfrage, sodass ein Modellaufruf, ein Tool-Aufruf und ein zweiter Modellaufruf in einem Datensatz landen, den LLM-Tracing speichert und ein Evaluator der Reihe nach liest.

Wie bewertet man eine Agent-Trajektorie?

Das Open-Source-Paket agentevals von LangChain bietet zwei Evaluatoren (LangChain-Dokumentation zu Evals, abgerufen am 16. November 2026). create_trajectory_match_evaluator vergleicht einen Lauf mit einer Referenztrajektorie in einem von vier Modi:

create_trajectory_llm_as_judge bewertet den Lauf stattdessen anhand einer Rubrik, und laut Dokumentation braucht er keine Referenztrajektorie. Damit ist der Weg über LLM-as-a-Judge der praktische Einstieg, solange noch niemand den idealen Pfad aufgeschrieben hat. Nutzen Sie den strengsten Match-Modus, den die Aufgabe verträgt: strict, wo die Reihenfolge selbst die Kontrolle ist, etwa ein Freigabeschritt vor einem Schreibvorgang, und superset, wo eine zusätzliche Abfrage nichts kostet.

Wie bewerten wir Agent-Trajektorien bei Soba Labs?

Wir behandeln den aufgezeichneten Lauf als Beweis, nie die Darstellung des Agenten. Drei Gewohnheiten stammen aus unserer eigenen Arbeit mit Agenten:

Traces sind auch ein Datenexport. In einem von uns gebauten Agenten kam eine Suche nach einem eingeschleusten Testwert in Logs, Events, gespeicherten Zeilen, Fehlerpfaden und HTTP-Antworten ohne Treffer zurück, während derselbe Wert in jeder Trace-Eingabe stand: Ein Tracing-Callback erhält die Eingaben jedes Graph-Knotens. Unsere Regel seitdem: Ein Feld bleibt aus dem Agentenzustand heraus, solange kein Schritt es verarbeitet. Die allgemeinere Regel steht in why an agent’s summary is not a source (auf Englisch).

Was findet die Bewertung der Trajektorie, das ein Ergebnis-Score übersieht?

Sie findet eine falsche Tool-Wahl, wiederholte Retries, eine übersprungene Freigabe oder ein korrektes Ergebnis, das über Daten zustande kam, die der Agent nicht hätte anfassen dürfen. Ergebnisqualität und Ausführungsqualität sind verschiedene Messgrößen, und AI-Agent-Evals sollten beide bewerten, sobald ein agentischer Workflow über Tool-Aufrufe externen Zustand verändern kann. Trace-basierte Evaluierung überträgt dieselbe Idee über Agenten hinaus. Fehlgeschlagene Trajektorien aus der Produktion sollten zu Fällen für die Offline-Evaluierung werden, damit das nächste Release gegen die Fehler getestet wird, auf die Nutzer tatsächlich gestoßen sind.

Mit AI-Unterstützung geschrieben und von Simon Budziak geprüft. Die Hinweise aus der Praxis stammen aus Systemen, die Soba Labs baut und betreibt.

Häufig gestellte Fragen

Was ist der Unterschied zwischen einer Agent-Trajektorie und einem Trace?

Ein Trace speichert jeden Modellaufruf, jeden Tool-Aufruf und jede Retrieval-Abfrage hinter einer Anfrage. Die Trajektorie ist die geordnete Abfolge von Nachrichten und Tool-Aufrufen, die Sie aus diesem Trace auslesen und bewerten.

Warum die Trajektorie bewerten, wenn die finale Antwort stimmt?

Der Agent kann die richtige Antwort über unbefugten Datenzugriff, unnötige Aufrufe, überhöhte Kosten oder eine Abfolge erreicht haben, die bei einem leicht anderen Fall scheitert.

Brauchen Trajektorie-Evals eine Referenztrajektorie?

Nur Match-Evaluatoren. Ein Trajektorie-Evaluator nach dem LLM-as-a-Judge-Prinzip kann einen Lauf allein anhand einer Rubrik bewerten, und laut LangChain-Dokumentation ist eine Referenztrajektorie dafür optional.

Diese Seite zusammenfassen mit

Ihr Team schulen, damit es das selbst baut