Welche Evaluierungsmetriken gehören zu welcher Aufgabe?
Verschiedene Aufgaben brauchen verschiedene Metriken, und eine Metrik, die bei einer Aufgabe passt, führt bei einer anderen in die Irre.
| Aufgabe | Gängige Metriken | Worauf zu achten ist |
|---|---|---|
| Klassifikation | Accuracy, Precision, Recall, F1, AUC | Accuracy verbirgt Fehler bei seltenen Klassen |
| Regression | Mittlerer absoluter Fehler, mittlerer quadratischer Fehler | Große Fehler dominieren den quadratischen Fehler |
| Ranking und Suche | Precision at k, Recall at k, nDCG | Hängt von guten Relevanz-Labels ab |
| Übersetzung und Zusammenfassungen | BLEU, ROUGE | Belohnen Wortüberlappung, nicht Bedeutung |
| Generierter Text und Agents | Aufgabenerfüllungsquote, LLM-Judge-Bestehensquote | Der Judge selbst kann falsch liegen |
Wählen Sie die Metrik nach den Kosten jedes Fehlers, nicht aus Gewohnheit. Ein Betrugsmodell, das Betrug übersieht, und eins, das gute Kunden blockiert, scheitern unterschiedlich, deshalb haben Recall und Precision unterschiedliche Preise.
Warum kann ein hoher Accuracy-Wert in die Irre führen?
Angenommen, 1.000 Fälle enthalten 20 echte Positive. Ein Modell, das immer negativ antwortet, ist zu 98 % genau und findet keinen davon. Sein Recall ist 0. Ein Modell, das 15 der 20 findet, aber auch 30 Negative markiert, hat 15 richtig Positive, 5 Fehlschläge und 30 Fehlalarme: Die Precision ist 15 / 45, etwa 0,33, der Recall 0,75 und die Accuracy 96,5 %. Das zweite Modell ist nützlicher und schneidet bei der Accuracy schlechter ab. Vergleichen Sie immer mit einer trivialen Baseline und bewerten Sie auf einem zurückgehaltenen Datensatz, auf den Sie nicht abgestimmt haben.
Wie messen Sie AI-Agents und Sprachmodelle?
Klassische Metriken brauchen eine richtige Antwort. Für offene Ausgaben nutzen Teams Maße auf Aufgabenebene, etwa den Anteil korrekt erledigter Aufgaben, und Rubrik-Scores eines Sprachmodells als Bewerter. Siehe AI-Agent-Evals und LLM as a Judge. Zählen Sie Kosten und Latenz neben der Qualität, denn eine Metrik, die sich verbessert, während sich die Kosten pro Aufgabe verdoppeln, ist ein Tausch, kein Gewinn.
Wie prüfen wir bei Soba Labs, ob eine Evaluierungsmetrik Vertrauen verdient?
Eine Metrik von einem Sprachmodell-Judge ist nur so gut wie ihre Übereinstimmung mit Menschen. In unserem Beitrag zu LLM-as-Judge in LangSmith (auf Englisch) lautet die praktische Regel, zu der wir kamen: kalibrieren, bevor man irgendeinem Judge-Score traut. Die LangSmith-Dokumentation empfiehlt, mit mindestens 20 beschrifteten Beispielen zu beginnen, ausgewogen bei den Labels 0 und 1, und definiert den Alignment-Score als den Prozentsatz der Beispiele, bei denen das Urteil des Evaluators mit dem des menschlichen Experten übereinstimmt (LangSmith-Dokumentation, abgerufen am 19. November 2026). Die Ausgewogenheit zählt, weil ein Satz überwiegend bestandener Beispiele einen Judge nicht entlarven kann, der nie etwas durchfallen lässt. Wir behandeln einen unkalibrierten Judge als selbstsicheres falsches Signal und nutzen seine Bestehensquote, um eine Veränderung gegenüber der Vorwoche zu erkennen, nicht als Urteil.
Was macht eine Metrik schwer manipulierbar?
Eine Metrik wird zum Ziel, sobald ein Team daran bezahlt wird. Halten Sie einen verdeckten Testsatz vor, berichten Sie mehrere Metriken gemeinsam und ziehen Sie Stichproben echter Ausgaben, die ein Mensch liest. Binden Sie die Zahl an das Geschäftsergebnis zurück, etwa abgefangene Fehler pro tausend Rechnungen, damit sich Verbesserungen auf dem Papier im Betrieb zeigen.