Co mierzy benchmark AI?
Benchmark mierzy jedną umiejętność w jednym stałym protokole. Ustala trzy rzeczy: zestaw zadań, sposób uruchamiania modelu (format promptu, liczbę prób, ustawienia rozumowania, dozwolone narzędzia) i regułę oceniania, zwykle dokładność (accuracy) albo odsetek zaliczonych zadań. Zmień którąkolwiek z tych trzech rzeczy, a wynik przestaje być porównywalny. Wynik podany bez protokołu to deklaracja, a nie pomiar. Benchmarki modeli językowych obejmują dziś wszystko, od testów wielokrotnego wyboru po przebiegi agentów w prawdziwej bazie kodu, gdzie model edytuje pliki, a wynik ocenia zestaw testów.
Które benchmarki AI cytuje się w porównaniach modeli?
Te publiczne benchmarki powracają w porównaniach modeli, a każdy sprawdza inną umiejętność.
| Benchmark | Co sprawdza | Jak jest oceniany | Rozmiar |
|---|---|---|---|
| MMLU | Wiedzę z wielu dziedzin, od matematyki po prawo | Pytania wielokrotnego wyboru | 57 zadań |
| GPQA | Biologię, fizykę i chemię na poziomie studiów magisterskich i doktoranckich | Pytania wielokrotnego wyboru pisane przez ekspertów z danej dziedziny | 448 pytań |
| Humanity’s Last Exam | Pytania na poziomie eksperckim z kilkudziesięciu dziedzin | Wielokrotny wybór i krótka odpowiedź | 2500 pytań |
| HumanEval | Pisanie funkcji w Pythonie na podstawie docstringów | Testy jednostkowe | 164 problemy |
| SWE-bench | Rozwiązywanie prawdziwych zgłoszeń z GitHuba | Testy repozytorium | 2294 zadania; podzbiór Verified: 500 |
| Chatbot Arena | Preferencje w swobodnej rozmowie | Głosy w parach zbierane od społeczności | Zbiór stale uzupełniany |
Rozmiary pochodzą z poszczególnych publikacji lub oficjalnych stron (dostęp 16 listopada 2026). Porównania w programowaniu opierają się na HumanEval i SWE-bench, porównania wiedzy na MMLU, GPQA i Humanity’s Last Exam. Wybierz wiersz, którego zadanie przypomina Twoją pracę, bo ogólny ranking uśrednia akurat ten wiersz, na którym Ci zależy.
Dlaczego wyniki benchmarków AI wprowadzają w błąd?
Przez nasycenie, wycieki danych testowych, nierówne ustawienia i harness wokół modelu. Benchmarki się nasycają: autorzy Humanity’s Last Exam zauważają, że modele „now achieve over 90% accuracy on popular benchmarks like MMLU”, czyli osiągają już ponad 90% dokładności na popularnych benchmarkach takich jak MMLU (Phan i in., dostęp 16 listopada 2026), więc szczyt tabeli przestaje je rozróżniać. Publiczne pytania przeciekają do danych treningowych; ten problem nazywa się kontaminacją benchmarku. Dostawca może uruchomić własny model na najwyższych ustawieniach i przytoczyć wyniki konkurentów zgłoszone przez nich samych, co pokazuje następna sekcja. Liczy się też kod wokół modelu: LangChain podniósł wynik swojego agenta programistycznego w Terminal Bench 2.0 z 52,8 do 66,5 bez zmiany modelu (LangChain, 17 lutego 2026, dostęp 16 listopada 2026); ten wynik omawiamy w tekście o harness engineering (po angielsku). Wynik benchmarku mierzy model razem z jego harnessem i ustawieniami, a nie sam model.
Jak w Soba Labs czytamy tabelę benchmarków dostawcy?
Najpierw czytamy notę metodologiczną, dopiero potem główny wynik. Gdy Google wprowadzał Gemini 4 Argon, jego nota z ewaluacji mówiła, że wyniki modeli spoza rodziny Gemini są „sourced from providers’ self reported numbers”, czyli pochodzą z danych zgłoszonych przez samych dostawców, o ile nie zaznaczono inaczej (Gemini 4 Argon model evaluation, dostęp 16 listopada 2026). Wiersze pochodziły więc z różnych przebiegów przy różnych ustawieniach; nasz wpis o tym, co można wywołać już dziś (po angielsku), pokazuje, co to zmienia. Następnie porównujemy tylko te wiersze, które przypominają nasze zadania. Przewaga dostawcy w jednej ewaluacji to powód do testów, a nie do zmiany modelu: kolejnym krokiem są Twoje własne ewaluacje agentów AI na prywatnym zbiorze ewaluacyjnym zbudowanym z prawdziwych przypadków. Gdy przeglądamy konfigurację ewaluacji, oczekujemy, że każdy LLM w roli sędziego pochodzi z innej rodziny modeli niż model, który ocenia. Benchmark mówi nam, co przetestować najpierw, a nigdy, co wdrożyć.