Die Dokumentation zur Agentenevaluierung von LangChain (abgerufen am 16. November 2026) sagt, Evals messen einen Agenten „by assessing its execution trajectory, the sequence of messages and tool calls it produces.“ Das Rohmaterial ist ein Trace. In der Terminologie von LangSmith (abgerufen am 16. November 2026) sammelt ein Trace jeden Run hinter einer Anfrage, sodass ein Modellaufruf, ein Tool-Aufruf und ein zweiter Modellaufruf in einem Datensatz landen, den LLM-Tracing speichert und ein Evaluator der Reihe nach liest.
Wie bewertet man eine Agent-Trajektorie?
Das Open-Source-Paket agentevals von LangChain bietet zwei Evaluatoren (LangChain-Dokumentation zu Evals, abgerufen am 16. November 2026). create_trajectory_match_evaluator vergleicht einen Lauf mit einer Referenztrajektorie in einem von vier Modi:
strict: dieselben Tool-Aufrufe in derselben Reihenfolgeunordered: dieselben Tool-Aufrufe in beliebiger Reihenfolgesubset: keine Tools über die Referenz hinaussuperset: mindestens die Tools der Referenz, zusätzliche erlaubt
create_trajectory_llm_as_judge bewertet den Lauf stattdessen anhand einer Rubrik, und laut Dokumentation braucht er keine Referenztrajektorie. Damit ist der Weg über LLM-as-a-Judge der praktische Einstieg, solange noch niemand den idealen Pfad aufgeschrieben hat. Nutzen Sie den strengsten Match-Modus, den die Aufgabe verträgt: strict, wo die Reihenfolge selbst die Kontrolle ist, etwa ein Freigabeschritt vor einem Schreibvorgang, und superset, wo eine zusätzliche Abfrage nichts kostet.
Wie bewerten wir Agent-Trajektorien bei Soba Labs?
Wir behandeln den aufgezeichneten Lauf als Beweis, nie die Darstellung des Agenten. Drei Gewohnheiten stammen aus unserer eigenen Arbeit mit Agenten:
- Um zu belegen, dass ein Tool lief, gleichen wir den Aufrufeintrag und die Nutzdaten seines Ergebnisses ab, nicht den Namen des Tools. Im Sitzungsprotokoll eines Coding-Agenten tauchte der Name des Tools 32 Mal auf, aufgerufen wurde es null Mal, weil auch der Prompt ihn nannte.
- Modell und Reasoning Effort lesen wir aus dem Sitzungsprotokoll, nicht aus den übergebenen Flags. Eine Reasoning-Effort-Einstellung in falscher Syntax wird stillschweigend ignoriert, und der Lauf landet ohne Warnung auf mittlerem Effort.
- Stirbt ein langer Lauf beim abschließenden Zusammenfassungsschritt, enthält das Protokoll trotzdem jeden Befund, der unterwegs entstanden ist. Wir stellen also aus der Trajektorie wieder her, statt neu zu starten.
Traces sind auch ein Datenexport. In einem von uns gebauten Agenten kam eine Suche nach einem eingeschleusten Testwert in Logs, Events, gespeicherten Zeilen, Fehlerpfaden und HTTP-Antworten ohne Treffer zurück, während derselbe Wert in jeder Trace-Eingabe stand: Ein Tracing-Callback erhält die Eingaben jedes Graph-Knotens. Unsere Regel seitdem: Ein Feld bleibt aus dem Agentenzustand heraus, solange kein Schritt es verarbeitet. Die allgemeinere Regel steht in why an agent’s summary is not a source (auf Englisch).
Was findet die Bewertung der Trajektorie, das ein Ergebnis-Score übersieht?
Sie findet eine falsche Tool-Wahl, wiederholte Retries, eine übersprungene Freigabe oder ein korrektes Ergebnis, das über Daten zustande kam, die der Agent nicht hätte anfassen dürfen. Ergebnisqualität und Ausführungsqualität sind verschiedene Messgrößen, und AI-Agent-Evals sollten beide bewerten, sobald ein agentischer Workflow über Tool-Aufrufe externen Zustand verändern kann. Trace-basierte Evaluierung überträgt dieselbe Idee über Agenten hinaus. Fehlgeschlagene Trajektorien aus der Produktion sollten zu Fällen für die Offline-Evaluierung werden, damit das nächste Release gegen die Fehler getestet wird, auf die Nutzer tatsächlich gestoßen sind.