Dostawcy tacy jak Groq, Together AI i OVHcloud AI Endpoints sprzedają tę warstwę serwowania. Wszyscy trzej są wśród partnerów stojących za routerem Inference Providers Hugging Face (dostęp 6 października 2026), który domyślnie kieruje każde żądanie do najszybszego dostępnego dostawcy dla wybranego modelu, a gdy nazwa modelu kończy się na :cheapest, przełącza się na najniższą cenę za token wyjściowy.
Czym zarządza dostawca inferencji?
Dostawca przejmuje większość pracy związanej z serwowaniem modeli, którą zespół aplikacji musiałby prowadzić sam: ładowanie modeli, sprzęt, autoskalowanie, kolejki, logowanie i regionalne endpointy. Większość udostępnia API zgodne z OpenAI, więc przejście między dostawcami często sprowadza się do zmiany bazowego adresu URL i nazwy modelu.
Ten sam model może zachowywać się różnie u różnych dostawców, bo konfiguracja serwowania zmienia opóźnienie, limity i akceptowane parametry.
Dostawca inferencji a dostawca LLM: jaka jest różnica?
Różnica tkwi w zadaniu, a nie w tym, kto zbudował model. Wielu dostawców inferencji serwuje głównie modele open-weight wytrenowane przez kogoś innego, więc to dostawca, a nie autor modelu, staje się Twoją stroną umowy, co omówiliśmy w tekście Can you use a Chinese AI model? (po angielsku).
| Dostawca LLM | Dostawca inferencji | |
|---|---|---|
| Kto buduje model | Każdy, kto daje dostęp do modelu, w tym laboratoria, które je trenują | Często inne laboratorium albo własne otwarte wagi klienta |
| Strona umowy | Dostawca, który może być też autorem modelu | Dostawca, a nie autor modelu |
| Przykład | OpenAI lub Anthropic, które trenują własne modele | Groq, Together AI, OVHcloud AI Endpoints |
| Co porównujesz | Jakość, koszt, opóźnienie, warunki przetwarzania danych i koszt zmiany dostawcy | Opóźnienie, błędy, koszt zaakceptowanej odpowiedzi, region, przetwarzanie danych i SLA |
Czego nauczyło nas korzystanie z dostawcy inferencji w Soba Labs?
Dwa nasze produkcyjne zadania działają na OVHcloud AI Endpoints, który deklaruje, że jego API LLM są zgodne ze specyfikacją OpenAI i że nie przechowuje danych użytkowników (przewodnik na start, dostęp 16 listopada 2026): sędzia LLM na Qwen3.8-27B, który recenzuje każdy pull request w naszych własnych repozytoriach, oraz zamiana mowy na tekst w naszym potoku wideo na whisper-large-v3.
Model sędziego wybraliśmy 23 września 2026 spośród modeli serwowanych przez tego dostawcę. Trzy rzeczy, na które trafiliśmy przy podłączaniu, wpływają na każde wywołanie:
- Reasoning effort to ustawienie, które trzeba testować osobno u każdego dostawcy. Przy wartości domyślnej dostawcy, która jest też jego najwyższym poziomem, model spędził 16 000 tokenów na myśleniu o diffie 72 KB i nigdy nie odpowiedział. Na poziomie medium użył około 4 500 tokenów rozumowania i odpowiedział w 44 sekundy.
- Dostawca odrzucił błędem 400 parametr żądania, który akceptuje vLLM, otwartoźródłowy silnik serwujący. „Zgodny z OpenAI” nie znaczy, że przechodzi każda opcja.
- Rozumowanie wraca w osobnym polu, a pole odpowiedzi jest puste, jeśli budżet tokenów skończy się wcześniej.
Dlatego sędzia dostaje jedno wywołanie przy temperaturze 0, po tanich, deterministycznych kontrolach, które zatrzymują wadliwy pull request, zanim dotrze do modelu. Ponawia raz przy błędzie serwera lub sieci i nigdy przy 4xx, a każda odpowiedź poza jego kontraktem JSON trafia do człowieka, zamiast być zmergowana lub odrzucona.
Dlaczego zespoły zmieniają dostawców inferencji i jak porównywać SLA?
Przypnij ten sam model i ustawienia, a potem wyślij prompty zbliżone do produkcyjnych przy spodziewanej współbieżności. Mierz czas w kolejce, czas do pierwszego tokenu, całkowite opóźnienie, błędy, zimne starty i koszt za zaakceptowany wynik. Region, obsługę danych, politykę aktualizacji modeli i produkcyjne SLA wsparcia oceń osobno od szybkości: dostępność, godziny reakcji wsparcia i rekompensatę, gdy któreś z nich nie zostanie dotrzymane. Najniższa cena za token może być najdroższą drogą, jeśli ponowienia lub wolne odpowiedzi ograniczają liczbę ukończonych zadań. Loguj dostawcę i wynik każdego żądania za pomocą obserwowalności LLM, zwłaszcza za routerem modeli.