Anbieter wie Groq, Together AI und OVHcloud AI Endpoints verkaufen diese Serving-Schicht. Alle drei gehören zu den Partnern hinter dem Inference-Providers-Router von Hugging Face (abgerufen am 6. Oktober 2026), der jede Anfrage standardmäßig an den schnellsten verfügbaren Anbieter für das gewählte Modell schickt und zum niedrigsten Preis pro Ausgabe-Token wechselt, wenn der Modellname auf :cheapest endet.
Was übernimmt ein Inference Provider?
Der Anbieter erledigt den größten Teil der Modellbereitstellung, die ein Anwendungsteam sonst selbst betreiben müsste: Laden der Modelle, Hardware, Autoscaling, Warteschlangen, Logging und regionale Endpunkte. Die meisten bieten eine OpenAI-kompatible API, sodass der Wechsel zwischen Anbietern oft nur eine geänderte Base-URL und einen anderen Modellnamen bedeutet.
Dasselbe Modell kann sich bei verschiedenen Anbietern unterschiedlich verhalten, weil die Serving-Konfiguration Latenz, Limits und akzeptierte Parameter verändert.
Inference Provider vs. LLM-Anbieter: Was ist der Unterschied?
Der Unterschied liegt in der Aufgabe, nicht darin, wer das Modell gebaut hat. Viele Inference Provider betreiben überwiegend Open-Weight-Modelle, die jemand anderes trainiert hat, sodass der Anbieter und nicht der Autor des Modells Ihr Vertragspartner wird. Diesen Punkt haben wir in Can you use a Chinese AI model? (auf Englisch) durchgearbeitet.
| LLM-Anbieter | Inference Provider | |
|---|---|---|
| Wer baut das Modell | Jeder mit Modellzugang, auch die Labore, die Modelle trainieren | Oft ein anderes Labor oder die eigenen Open Weights des Kunden |
| Vertragspartner | Der Anbieter, der auch Autor des Modells sein kann | Der Anbieter, nicht der Autor des Modells |
| Beispiel | OpenAI oder Anthropic, die ihre Modelle selbst trainieren | Groq, Together AI, OVHcloud AI Endpoints |
| Was Sie vergleichen | Qualität, Kosten, Latenz, Datenbedingungen und Wechselaufwand | Latenz, Fehler, Kosten pro akzeptierter Antwort, Region, Datenverarbeitung und SLA |
Was haben wir beim Betrieb eines Inference Providers bei Soba Labs gelernt?
Zwei unserer eigenen Produktivjobs laufen auf OVHcloud AI Endpoints, die nach eigener Angabe ihre LLM-APIs nach der OpenAI-Spezifikation ausrichten und keine Nutzerdaten speichern (Einstiegsleitfaden, abgerufen am 16. November 2026): ein LLM-Judge auf Qwen3.8-27B, der jeden Pull Request in unseren eigenen Repositories prüft, und Speech-to-Text für unsere Video-Pipeline auf whisper-large-v3.
Das Judge-Modell haben wir am 23. September 2026 aus den Modellen dieses Anbieters gewählt. Drei Dinge, auf die wir beim Anbinden stießen, prägen jeden Aufruf:
- Reasoning Effort ist eine Einstellung, die Sie pro Anbieter testen müssen. Beim Standardwert des Anbieters, der zugleich seine höchste Stufe ist, verbrachte das Modell 16.000 Tokens mit Nachdenken über einen Diff von 72 KB und antwortete nie. Bei medium brauchte es etwa 4.500 Reasoning-Tokens und antwortete in 44 Sekunden.
- Der Anbieter lehnte einen Anfrageparameter mit einem 400-Fehler ab, den vLLM, die Open-Source-Serving-Engine, akzeptiert. „OpenAI-kompatibel“ heißt nicht, dass jede Option durchgereicht wird.
- Das Reasoning kommt in einem separaten Feld zurück, und das Antwortfeld bleibt leer, wenn das Token-Budget vorher aufgebraucht ist.
Deshalb bekommt der Judge einen einzigen Aufruf bei Temperature 0, nach günstigen deterministischen Prüfungen, die einen scheiternden Pull Request stoppen, bevor er das Modell erreicht. Bei einem Server- oder Netzwerkfehler wiederholt er einmal, bei einem 4xx nie, und jede Antwort außerhalb seines JSON-Vertrags geht an einen Menschen, statt zu mergen oder abzulehnen.
Warum wechseln Teams den Inference Provider, und wie sollten sie SLAs vergleichen?
Legen Sie dasselbe Modell und dieselben Einstellungen fest und senden Sie dann produktionsnahe Prompts bei der erwarteten Parallelität. Messen Sie Wartezeit in der Queue, Time to First Token, Gesamtlatenz, Fehler, Kaltstarts und Kosten pro akzeptierter Ausgabe. Prüfen Sie Region, Datenhandhabung, Update-Richtlinie für Modelle und das SLA für den Produktivbetrieb getrennt von der Geschwindigkeit: Verfügbarkeit, Reaktionszeiten des Supports und die Entschädigung, wenn eines von beiden verfehlt wird. Der niedrigste Token-Preis kann der teuerste Weg sein, wenn Retries oder langsame Antworten die Zahl abgeschlossener Aufgaben senken. Protokollieren Sie Anbieter und Ergebnis jeder Anfrage mit LLM-Observability, besonders hinter einem Model Router.