Was sind die wichtigsten Wege, ein Modell bereitzustellen?
Das Muster folgt dem, wie die Antwort genutzt wird.
| Muster | Wie es läuft | Gut für | Zielkonflikt |
|---|---|---|---|
| Batch | Bewertet eine ganze Datei oder Tabelle nach Zeitplan | Nächtliche Prognosen, Scoring einer Kundenliste | Ergebnisse sind Stunden alt |
| Echtzeit-API | Eine Anfrage, eine Antwort, in Millisekunden bis Sekunden | Chat, Betrugsprüfung an der Kasse | Sie müssen ein Latenzziel einhalten |
| Streaming | Bewertet Ereignisse, sobald sie eintreffen | Anomalien in Sensor- und Logdaten | Braucht Event-Infrastruktur |
| Edge | Läuft auf einem Gerät | Kameras, Handys, kein Netz | Kleine Modelle, schwierigere Updates |
Wählen Sie Batch, wann immer ein Mensch die Antwort nicht sofort braucht, denn es ist günstiger und einfacher zu betreiben. Bei gehosteten Sprachmodellen überspringen Sie das Serving oft ganz und rufen die API eines Anbieters auf, Deployment ist dann vor allem Ihre Anwendung, Ihre Prompts und Ihre Guardrails. Siehe Hosted Inference und Serverless Inference.
Welche Schritte umfasst ein Model Deployment?
Fünf Schritte decken die meisten Releases ab.
- Validieren. Testen Sie auf Daten, die das Modell nicht gesehen hat, und auf Fällen aus Ihrem eigenen Betrieb; siehe Model Validation.
- Paketieren. Legen Sie die Version des Modells, Abhängigkeiten, Konfiguration und Prompts fest, damit das Release reproduzierbar ist.
- Integrieren. Verbinden Sie es mit der Anwendung, den Datenzuflüssen und jedem Freigabeschritt, der einen Menschen braucht.
- Schrittweise ausrollen. Schicken Sie zuerst einen kleinen Teil des Traffics.
- Überwachen und entscheiden. Beobachten Sie Qualität, Latenz und Kosten, dann befördern oder zurücksetzen; siehe Model Monitoring.
Wie rollen Sie ein Modell aus, ohne etwas zu zerstören?
Drei Rollout-Methoden senken das Risiko. Der Shadow-Modus lässt das neue Modell neben dem alten laufen und vergleicht nur die Antworten. Ein Canary Deployment schickt einen kleinen Teil des Live-Traffics an das neue Modell. Blue-Green hält zwei vollständige Umgebungen vor und schaltet zwischen ihnen um. Halten Sie die vorherige Version immer einsatzbereit, bis sich die neue bewährt hat, damit das Zurücksetzen Minuten dauert. Bei Agents sollte das Rollback auch Nebenwirkungen abdecken, wie beim Agent Rollback.
Was geht nach dem Deployment schief?
Ein Model Deployment liefert gelerntes Verhalten aus, das sich ohne jede Code-Änderung verschlechtern kann. Anders als beim Software- oder Cloud-Deployment, das Code ausliefert, der sich jedes Mal gleich verhält, begegnet ein Modell ständig einer sich bewegenden Welt: Eingaben verschieben sich, Nutzer verhalten sich anders, vorgelagerte Daten ändern sich. Das Deployment ist der Beginn des Betriebslebens eines Modells, nicht das Ende des Projekts. Benennen Sie einen Verantwortlichen, setzen Sie Alarmschwellen, planen Sie eine erneute Evaluierung und legen Sie vorab fest, welcher Qualitätsabfall ein Rollback auslöst. Die Disziplin um all das ist MLOps, und für Agents im Besonderen Agent Deployment.