Was sind Evaluierungsmetriken für AI-Modelle? Die richtige wählen

ProduktivbetriebEvaluierungVeröffentlicht Aktualisiert Von Simon Budziak

Evaluierungsmetriken sind die Zahlen, mit denen man beurteilt, wie gut ein AI-Modell oder System arbeitet. Beispiele sind Accuracy, Precision, Recall, F1, Fehlerraten oder die Bestehensquote eines Judges. Welche Metrik Sie wählen, entscheidet, was als gut gilt, sie muss also zu den Kosten jeder Art von Fehler passen.

Welche Evaluierungsmetriken gehören zu welcher Aufgabe?

Verschiedene Aufgaben brauchen verschiedene Metriken, und eine Metrik, die bei einer Aufgabe passt, führt bei einer anderen in die Irre.

Aufgabe Gängige Metriken Worauf zu achten ist
Klassifikation Accuracy, Precision, Recall, F1, AUC Accuracy verbirgt Fehler bei seltenen Klassen
Regression Mittlerer absoluter Fehler, mittlerer quadratischer Fehler Große Fehler dominieren den quadratischen Fehler
Ranking und Suche Precision at k, Recall at k, nDCG Hängt von guten Relevanz-Labels ab
Übersetzung und Zusammenfassungen BLEU, ROUGE Belohnen Wortüberlappung, nicht Bedeutung
Generierter Text und Agents Aufgabenerfüllungsquote, LLM-Judge-Bestehensquote Der Judge selbst kann falsch liegen

Wählen Sie die Metrik nach den Kosten jedes Fehlers, nicht aus Gewohnheit. Ein Betrugsmodell, das Betrug übersieht, und eins, das gute Kunden blockiert, scheitern unterschiedlich, deshalb haben Recall und Precision unterschiedliche Preise.

Warum kann ein hoher Accuracy-Wert in die Irre führen?

Angenommen, 1.000 Fälle enthalten 20 echte Positive. Ein Modell, das immer negativ antwortet, ist zu 98 % genau und findet keinen davon. Sein Recall ist 0. Ein Modell, das 15 der 20 findet, aber auch 30 Negative markiert, hat 15 richtig Positive, 5 Fehlschläge und 30 Fehlalarme: Die Precision ist 15 / 45, etwa 0,33, der Recall 0,75 und die Accuracy 96,5 %. Das zweite Modell ist nützlicher und schneidet bei der Accuracy schlechter ab. Vergleichen Sie immer mit einer trivialen Baseline und bewerten Sie auf einem zurückgehaltenen Datensatz, auf den Sie nicht abgestimmt haben.

Wie messen Sie AI-Agents und Sprachmodelle?

Klassische Metriken brauchen eine richtige Antwort. Für offene Ausgaben nutzen Teams Maße auf Aufgabenebene, etwa den Anteil korrekt erledigter Aufgaben, und Rubrik-Scores eines Sprachmodells als Bewerter. Siehe AI-Agent-Evals und LLM as a Judge. Zählen Sie Kosten und Latenz neben der Qualität, denn eine Metrik, die sich verbessert, während sich die Kosten pro Aufgabe verdoppeln, ist ein Tausch, kein Gewinn.

Wie prüfen wir bei Soba Labs, ob eine Evaluierungsmetrik Vertrauen verdient?

Eine Metrik von einem Sprachmodell-Judge ist nur so gut wie ihre Übereinstimmung mit Menschen. In unserem Beitrag zu LLM-as-Judge in LangSmith (auf Englisch) lautet die praktische Regel, zu der wir kamen: kalibrieren, bevor man irgendeinem Judge-Score traut. Die LangSmith-Dokumentation empfiehlt, mit mindestens 20 beschrifteten Beispielen zu beginnen, ausgewogen bei den Labels 0 und 1, und definiert den Alignment-Score als den Prozentsatz der Beispiele, bei denen das Urteil des Evaluators mit dem des menschlichen Experten übereinstimmt (LangSmith-Dokumentation, abgerufen am 19. November 2026). Die Ausgewogenheit zählt, weil ein Satz überwiegend bestandener Beispiele einen Judge nicht entlarven kann, der nie etwas durchfallen lässt. Wir behandeln einen unkalibrierten Judge als selbstsicheres falsches Signal und nutzen seine Bestehensquote, um eine Veränderung gegenüber der Vorwoche zu erkennen, nicht als Urteil.

Was macht eine Metrik schwer manipulierbar?

Eine Metrik wird zum Ziel, sobald ein Team daran bezahlt wird. Halten Sie einen verdeckten Testsatz vor, berichten Sie mehrere Metriken gemeinsam und ziehen Sie Stichproben echter Ausgaben, die ein Mensch liest. Binden Sie die Zahl an das Geschäftsergebnis zurück, etwa abgefangene Fehler pro tausend Rechnungen, damit sich Verbesserungen auf dem Papier im Betrieb zeigen.

Mit AI-Unterstützung geschrieben und von Simon Budziak geprüft. Die Hinweise aus der Praxis stammen aus Systemen, die Soba Labs baut und betreibt.

Häufig gestellte Fragen

Sind 80 % Accuracy im Machine Learning gut?

Das hängt von der Basisrate ab. Sind 95 % der Fälle negativ, erreicht ein Modell, das immer negativ sagt, 95 %. Vergleichen Sie mit dieser Baseline und schauen Sie auf Precision und Recall für die seltene Klasse.

Welche Evaluierungsmetrik sollte ich verwenden?

Gehen Sie von den Kosten der Fehler aus. Ist das Übersehen eines echten Falls teuer, verfolgen Sie Recall. Sind Fehlalarme teuer, verfolgen Sie Precision. Nutzen Sie F1 zum Ausgleich beider und einen zurückgehaltenen Datensatz, auf den Sie nicht abgestimmt haben.

Diese Seite zusammenfassen mit

Ihr Team schulen, damit es das selbst baut