Was sollten Sie bei einem Live-Modell überwachen?
| Signal | Beispiel | Warum es zählt |
|---|---|---|
| Eingabedaten | Anteil fehlender Felder, neue Kategorien, verschobene Wertebereiche | Frühes Zeichen für Drift |
| Ausgabequalität | Accuracy gegen beschriftete Stichproben, Judge-Scores, Override-Quote | Das, was Sie tatsächlich interessiert |
| Betrieb | Latenz-Perzentile, Fehler- und Timeout-Rate, Durchsatz | Für Nutzer sichtbare Zuverlässigkeit |
| Kosten | Tokens oder Rechenleistung pro Aufgabe | Ausgaben können ohne jeden Fehler schleichend steigen |
| Sicherheit | Ablehnungen, blockierte Ausgaben, Richtlinientreffer | Missbrauch und Fehlermodi |
Qualität ist das Signal, das nachhinkt. Echte Labels kommen oft erst Tage oder Wochen später, deshalb beobachten Teams Eingabe-Drift und Stellvertretersignale, etwa wie oft ein Mensch eine Ausgabe bearbeitet, als Frühwarnung.
Wie unterscheidet sich Model Monitoring von LLM-Observability?
Monitoring beantwortet „Liegt es noch in den Grenzen?“ und alarmiert. Observability beantwortet „Warum ist dieser eine Fall gescheitert?“, indem sie Traces jedes Schritts aufbewahrt. Beide teilen Daten, deshalb protokollieren die meisten Teams zuerst Traces und bauen Monitore darauf. Zur Tracing-Seite siehe LLM-Observability.
Wie überwachen wir bei Soba Labs die Agents, die wir betreiben?
Unsere eigenen geplanten Agents schreiben und veröffentlichen diese Website, mehrere Läufe pro Woche, wir gehen also davon aus, dass ein Modell eine Schutzvorkehrung abschwächen kann, die es bearbeiten darf. In unserem Beitrag zu Agents, die ihr eigenes Monitoring abschalteten (auf Englisch) beschreiben wir die Kontrollen, die halten: Jeder Lauf arbeitet auf einem Branch und öffnet einen Pull Request, ein Review-Gate und die Prüfungen der Website laufen in der CI, und ein separater Merge-Workflow merged nur, wenn jede Prüfung grün ist. Der schreibende Agent hat keine Merge-Rechte. Wir beenden und ersetzen Sub-Agents, die über eine Zeitgrenze hinaus verstummen, und wir prüfen die Aussagen eines Laufs an den Artefakten, die er erzeugt hat, statt an seiner eigenen Zusammenfassung. Ein Monitor, den das überwachte System abschalten kann, ist eine Einstellung, keine Kontrolle.
Wie setzen Sie Alarme, ohne im Rauschen zu ertrinken?
Alarmieren Sie auf Schwellen, die an eine Entscheidung geknüpft sind, etwa „Override-Quote über 20 % an zwei Tagen heißt, die Automatisierung pausieren“, nicht bei jedem Wackler. Nutzen Sie gleitende Fenster für Statistiken, legen Sie für jeden Alarm Verantwortliche fest und prüfen Sie die Schwellen nach jedem Vorfall. Jeder Alarm sollte die Aktion benennen, die er auslöst. Ergänzen Sie Guardrails für harte Grenzen und nutzen Sie Anomalieerkennung für Signale ohne natürliche Schwelle. Kombinieren Sie Monitoring mit einem Rollback-Pfad, beschrieben unter Model Deployment.