Inference Provider: Was sie sind und warum Teams wechseln

ProduktivbetriebModelle und InferenzVeröffentlicht Aktualisiert Von Simon Budziak

Ein Inference Provider ist ein Dienst, der trainierte AI-Modelle ausführt und ihre Ausgaben über eine API zurückgibt. Er besitzt die Beschleuniger und kümmert sich um Skalierung, Batching und Laufzeitoptimierung, sodass Ihr Team Anfragen sendet, statt GPUs zu betreiben. Das Modell kann vom Anbieter, von einem anderen Labor oder aus den eigenen offenen Gewichten des Kunden stammen.

Anbieter wie Groq, Together AI und OVHcloud AI Endpoints verkaufen diese Serving-Schicht. Alle drei gehören zu den Partnern hinter dem Inference-Providers-Router von Hugging Face (abgerufen am 6. Oktober 2026), der jede Anfrage standardmäßig an den schnellsten verfügbaren Anbieter für das gewählte Modell schickt und zum niedrigsten Preis pro Ausgabe-Token wechselt, wenn der Modellname auf :cheapest endet.

Was übernimmt ein Inference Provider?

Der Anbieter erledigt den größten Teil der Modellbereitstellung, die ein Anwendungsteam sonst selbst betreiben müsste: Laden der Modelle, Hardware, Autoscaling, Warteschlangen, Logging und regionale Endpunkte. Die meisten bieten eine OpenAI-kompatible API, sodass der Wechsel zwischen Anbietern oft nur eine geänderte Base-URL und einen anderen Modellnamen bedeutet.

Dasselbe Modell kann sich bei verschiedenen Anbietern unterschiedlich verhalten, weil die Serving-Konfiguration Latenz, Limits und akzeptierte Parameter verändert.

Inference Provider vs. LLM-Anbieter: Was ist der Unterschied?

Der Unterschied liegt in der Aufgabe, nicht darin, wer das Modell gebaut hat. Viele Inference Provider betreiben überwiegend Open-Weight-Modelle, die jemand anderes trainiert hat, sodass der Anbieter und nicht der Autor des Modells Ihr Vertragspartner wird. Diesen Punkt haben wir in Can you use a Chinese AI model? (auf Englisch) durchgearbeitet.

LLM-Anbieter Inference Provider
Wer baut das Modell Jeder mit Modellzugang, auch die Labore, die Modelle trainieren Oft ein anderes Labor oder die eigenen Open Weights des Kunden
Vertragspartner Der Anbieter, der auch Autor des Modells sein kann Der Anbieter, nicht der Autor des Modells
Beispiel OpenAI oder Anthropic, die ihre Modelle selbst trainieren Groq, Together AI, OVHcloud AI Endpoints
Was Sie vergleichen Qualität, Kosten, Latenz, Datenbedingungen und Wechselaufwand Latenz, Fehler, Kosten pro akzeptierter Antwort, Region, Datenverarbeitung und SLA

Was haben wir beim Betrieb eines Inference Providers bei Soba Labs gelernt?

Zwei unserer eigenen Produktivjobs laufen auf OVHcloud AI Endpoints, die nach eigener Angabe ihre LLM-APIs nach der OpenAI-Spezifikation ausrichten und keine Nutzerdaten speichern (Einstiegsleitfaden, abgerufen am 16. November 2026): ein LLM-Judge auf Qwen3.8-27B, der jeden Pull Request in unseren eigenen Repositories prüft, und Speech-to-Text für unsere Video-Pipeline auf whisper-large-v3.

Das Judge-Modell haben wir am 23. September 2026 aus den Modellen dieses Anbieters gewählt. Drei Dinge, auf die wir beim Anbinden stießen, prägen jeden Aufruf:

Deshalb bekommt der Judge einen einzigen Aufruf bei Temperature 0, nach günstigen deterministischen Prüfungen, die einen scheiternden Pull Request stoppen, bevor er das Modell erreicht. Bei einem Server- oder Netzwerkfehler wiederholt er einmal, bei einem 4xx nie, und jede Antwort außerhalb seines JSON-Vertrags geht an einen Menschen, statt zu mergen oder abzulehnen.

Warum wechseln Teams den Inference Provider, und wie sollten sie SLAs vergleichen?

Legen Sie dasselbe Modell und dieselben Einstellungen fest und senden Sie dann produktionsnahe Prompts bei der erwarteten Parallelität. Messen Sie Wartezeit in der Queue, Time to First Token, Gesamtlatenz, Fehler, Kaltstarts und Kosten pro akzeptierter Ausgabe. Prüfen Sie Region, Datenhandhabung, Update-Richtlinie für Modelle und das SLA für den Produktivbetrieb getrennt von der Geschwindigkeit: Verfügbarkeit, Reaktionszeiten des Supports und die Entschädigung, wenn eines von beiden verfehlt wird. Der niedrigste Token-Preis kann der teuerste Weg sein, wenn Retries oder langsame Antworten die Zahl abgeschlossener Aufgaben senken. Protokollieren Sie Anbieter und Ergebnis jeder Anfrage mit LLM-Observability, besonders hinter einem Model Router.

Mit AI-Unterstützung geschrieben und von Simon Budziak geprüft. Die Hinweise aus der Praxis stammen aus Systemen, die Soba Labs baut und betreibt.

Häufig gestellte Fragen

Was sind Inference Provider?

Inference Provider sind Dienste, die trainierte AI-Modelle hosten und ihre Ausgaben über eine API zurückgeben, sodass ein Team ein Modell aufrufen kann, ohne eigene Beschleuniger zu kaufen oder zu betreiben.

Erstellt ein Inference Provider das Modell?

Nicht unbedingt. Viele betreiben Open-Weight-Modelle anderer Labore, und manche hosten auch Modelle, die ein Kunde trainiert oder feinabgestimmt hat.

Ist ein Inference Provider dasselbe wie ein LLM-Anbieter?

Nicht immer. Der Begriff LLM-Anbieter umfasst jeden, der Zugang zu einem Sprachmodell bietet, auch die Labore, die sie trainieren. Ein Inference Provider ist dagegen dadurch definiert, dass er Modelle betreibt, oft solche, die anderswo entstanden sind.

Diese Seite zusammenfassen mit

Ihr Team schulen, damit es das selbst baut