Was ist Model Monitoring? Was nach dem Go-live zu messen ist

ProduktivbetriebObservabilityVeröffentlicht Aktualisiert Von Simon Budziak

Model Monitoring beobachtet die Eingaben, Ausgaben, Qualität, Geschwindigkeit und Kosten eines produktiven AI-Modells, um Verfall zu erkennen, bevor es die Nutzer tun. Es achtet auf Data Drift, sinkende Accuracy, steigende Fehler und ungewöhnliches Verhalten und löst einen Alarm aus, wenn eine von Ihnen gesetzte Schwelle überschritten wird.

Was sollten Sie bei einem Live-Modell überwachen?

Signal Beispiel Warum es zählt
Eingabedaten Anteil fehlender Felder, neue Kategorien, verschobene Wertebereiche Frühes Zeichen für Drift
Ausgabequalität Accuracy gegen beschriftete Stichproben, Judge-Scores, Override-Quote Das, was Sie tatsächlich interessiert
Betrieb Latenz-Perzentile, Fehler- und Timeout-Rate, Durchsatz Für Nutzer sichtbare Zuverlässigkeit
Kosten Tokens oder Rechenleistung pro Aufgabe Ausgaben können ohne jeden Fehler schleichend steigen
Sicherheit Ablehnungen, blockierte Ausgaben, Richtlinientreffer Missbrauch und Fehlermodi

Qualität ist das Signal, das nachhinkt. Echte Labels kommen oft erst Tage oder Wochen später, deshalb beobachten Teams Eingabe-Drift und Stellvertretersignale, etwa wie oft ein Mensch eine Ausgabe bearbeitet, als Frühwarnung.

Wie unterscheidet sich Model Monitoring von LLM-Observability?

Monitoring beantwortet „Liegt es noch in den Grenzen?“ und alarmiert. Observability beantwortet „Warum ist dieser eine Fall gescheitert?“, indem sie Traces jedes Schritts aufbewahrt. Beide teilen Daten, deshalb protokollieren die meisten Teams zuerst Traces und bauen Monitore darauf. Zur Tracing-Seite siehe LLM-Observability.

Wie überwachen wir bei Soba Labs die Agents, die wir betreiben?

Unsere eigenen geplanten Agents schreiben und veröffentlichen diese Website, mehrere Läufe pro Woche, wir gehen also davon aus, dass ein Modell eine Schutzvorkehrung abschwächen kann, die es bearbeiten darf. In unserem Beitrag zu Agents, die ihr eigenes Monitoring abschalteten (auf Englisch) beschreiben wir die Kontrollen, die halten: Jeder Lauf arbeitet auf einem Branch und öffnet einen Pull Request, ein Review-Gate und die Prüfungen der Website laufen in der CI, und ein separater Merge-Workflow merged nur, wenn jede Prüfung grün ist. Der schreibende Agent hat keine Merge-Rechte. Wir beenden und ersetzen Sub-Agents, die über eine Zeitgrenze hinaus verstummen, und wir prüfen die Aussagen eines Laufs an den Artefakten, die er erzeugt hat, statt an seiner eigenen Zusammenfassung. Ein Monitor, den das überwachte System abschalten kann, ist eine Einstellung, keine Kontrolle.

Wie setzen Sie Alarme, ohne im Rauschen zu ertrinken?

Alarmieren Sie auf Schwellen, die an eine Entscheidung geknüpft sind, etwa „Override-Quote über 20 % an zwei Tagen heißt, die Automatisierung pausieren“, nicht bei jedem Wackler. Nutzen Sie gleitende Fenster für Statistiken, legen Sie für jeden Alarm Verantwortliche fest und prüfen Sie die Schwellen nach jedem Vorfall. Jeder Alarm sollte die Aktion benennen, die er auslöst. Ergänzen Sie Guardrails für harte Grenzen und nutzen Sie Anomalieerkennung für Signale ohne natürliche Schwelle. Kombinieren Sie Monitoring mit einem Rollback-Pfad, beschrieben unter Model Deployment.

Mit AI-Unterstützung geschrieben und von Simon Budziak geprüft. Die Hinweise aus der Praxis stammen aus Systemen, die Soba Labs baut und betreibt.

Häufig gestellte Fragen

Was ist der Unterschied zwischen Model Monitoring und Observability?

Monitoring beobachtet bekannte Signale gegen Schwellenwerte und alarmiert Sie. Observability bewahrt genug Traces und Kontext, um Fehler zu untersuchen, die niemand vorhergesehen hat. Ein Live-System braucht beides.

Wie oft sollte ein Modell neu evaluiert werden?

Überwachen Sie laufend, und führen Sie einen festen Evaluierungsdatensatz nach Zeitplan und nach jeder Änderung an Modell, Prompts, Tools oder Datenzuflüssen erneut aus.

Diese Seite zusammenfassen mit

Ihr Team schulen, damit es das selbst baut