Was misst ein AI-Benchmark?
Ein Benchmark misst eine Fähigkeit unter einem festen Protokoll. Er legt drei Dinge fest: den Aufgabensatz, wie das Modell ausgeführt wird (Prompt-Format, Zahl der Versuche, Reasoning-Einstellungen, erlaubte Werkzeuge) und die Bewertungsregel, meist Accuracy oder eine Erfolgsquote. Ändert sich eines der drei, ist die Zahl nicht mehr vergleichbar. Ein Score ohne sein Protokoll ist eine Behauptung, keine Messung. Benchmarks für Sprachmodelle reichen heute von Multiple-Choice-Prüfungen bis zu Agentenläufen in einer echten Codebasis, in denen das Modell Dateien bearbeitet und eine Testsuite das Ergebnis bewertet.
Welche AI-Benchmarks zitieren Modellvergleiche?
Diese öffentlichen Benchmarks tauchen in Modellvergleichen immer wieder auf, und jeder testet eine andere Fähigkeit.
| Benchmark | Was er testet | Wie bewertet wird | Umfang |
|---|---|---|---|
| MMLU | Wissen über Fächer von Mathematik bis Recht | Multiple Choice | 57 Aufgaben |
| GPQA | Biologie, Physik und Chemie auf Graduiertenniveau | Multiple Choice, verfasst von Fachexperten | 448 Fragen |
| Humanity’s Last Exam | Fragen auf Expertenniveau aus Dutzenden Fächern | Multiple Choice und Kurzantwort | 2.500 Fragen |
| HumanEval | Python-Funktionen aus Docstrings schreiben | Unit-Tests | 164 Probleme |
| SWE-bench | Echte GitHub-Issues lösen | Die Tests des Repositorys | 2.294 Aufgaben; Verified-Teilmenge 500 |
| Chatbot Arena | Präferenz im offenen Gespräch | Paarweise Crowdsourcing-Abstimmungen | Fortlaufend |
Die Umfänge stammen aus dem jeweiligen Paper oder der offiziellen Website (abgerufen am 16. November 2026). Vergleiche beim Programmieren stützen sich auf HumanEval und SWE-bench, Wissensvergleiche auf MMLU, GPQA und Humanity’s Last Exam. Wählen Sie die Zeile, deren Aufgabe Ihrer Arbeit ähnelt, denn ein Gesamtrang mittelt genau die Zeile weg, auf die es Ihnen ankommt.
Warum führen AI-Benchmark-Scores in die Irre?
Scores führen in die Irre durch Sättigung, durchgesickerte Testdaten, ungleiche Einstellungen und den Harness um das Modell. Benchmarks sättigen: Die Autoren von Humanity’s Last Exam halten fest, dass Modelle „now achieve over 90% accuracy on popular benchmarks like MMLU“ (Phan et al., abgerufen am 16. November 2026), sodass die Spitze der Tabelle sie nicht mehr unterscheidet. Öffentliche Fragen gelangen in Trainingsdaten, ein Problem namens Benchmark Contamination. Ein Anbieter kann sein eigenes Modell mit den höchsten Einstellungen laufen lassen und für die Konkurrenz deren selbst gemeldete Zahlen zitieren, wie der nächste Abschnitt zeigt. Und der Code um das Modell zählt mit: LangChain brachte seinen Coding-Agenten auf Terminal Bench 2.0 von 52,8 auf 66,5, ohne das Modell zu wechseln (LangChain, 17. Februar 2026, abgerufen am 16. November 2026), ein Ergebnis, das wir in harness engineering (auf Englisch) behandeln. Ein Benchmark-Score misst das Modell samt Harness und Einstellungen, nicht das Modell allein.
Wie lesen wir bei Soba Labs die Benchmark-Tabelle eines Anbieters?
Wir lesen die Methodik-Notiz vor der Schlagzeile. Als Google Gemini 4 Argon vorstellte, hieß es in der Evaluationsnotiz, die Ergebnisse für Nicht-Gemini-Modelle seien, sofern nicht anders angegeben, „sourced from providers’ self reported numbers“ (Gemini 4 Argon model evaluation, abgerufen am 16. November 2026). Die Zeilen stammten also aus verschiedenen Läufen mit verschiedenen Einstellungen; unser Beitrag what you can call today (auf Englisch) zeigt, was das ändert. Danach vergleichen wir nur die Zeilen, denen unsere Workload ähnelt. Der Vorsprung eines Anbieters in einer Evaluation ist ein Grund zu testen, kein Grund zu wechseln: Als Nächstes kommen Ihre eigenen AI Agent Evals auf einem privaten Eval-Datensatz aus echten Fällen. Wenn wir ein Evaluations-Setup prüfen, erwarten wir, dass jeder LLM-Judge aus einer anderen Modellfamilie stammt als das Modell, das er bewertet. Ein Benchmark sagt uns, was wir zuerst testen, nie, was wir ausliefern.