Monitoring modeli AI: co śledzić po uruchomieniu na produkcji

Wdrożenia produkcyjneObserwowalnośćOpublikowano Zaktualizowano Autor: Simon Budziak

Monitoring modeli śledzi dane wejściowe, wyjścia, jakość, szybkość i koszt wdrożonego modelu AI, by wychwycić jego spadek formy, zanim zauważą go użytkownicy. Obserwuje dryf danych, spadającą trafność, rosnące błędy i nietypowe zachowania i wysyła alert, gdy przekroczony zostanie ustalony przez Ciebie próg.

Co monitorować w działającym modelu?

Sygnał Przykład Dlaczego ma znaczenie
Dane wejściowe Odsetek brakujących pól, nowe kategorie, przesunięte zakresy Wczesny znak dryfu
Jakość wyników Trafność względem oznaczonych próbek, oceny sędziego, odsetek nadpisań To, na czym naprawdę Ci zależy
Operacje Percentyle opóźnień, odsetek błędów i timeoutów, przepustowość Niezawodność widoczna dla użytkownika
Koszt Tokeny lub moc obliczeniowa na zadanie Wydatki mogą rosnąć bez żadnego błędu
Bezpieczeństwo Odmowy, zablokowane wyniki, trafienia w politykę Nadużycia i tryby awarii

Jakość to sygnał, który się spóźnia. Prawdziwe etykiety często docierają po dniach lub tygodniach, więc zespoły obserwują dryf danych wejściowych i sygnały zastępcze, takie jak to, jak często człowiek edytuje wynik, jako wczesne ostrzeżenia.

Czym monitoring modeli różni się od observability LLM?

Monitoring odpowiada na pytanie „czy wciąż mieści się w granicach?” i wysyła alert. Observability odpowiada na pytanie „dlaczego ten jeden zawiódł?”, zachowując ślady każdego kroku. Dzielą dane, więc większość zespołów najpierw loguje ślady, a monitory buduje na wierzchu. Stronę śledzenia opisuje hasło observability LLM.

Jak w Soba Labs monitorujemy agentów, których uruchamiamy?

Nasi agenci uruchamiani według harmonogramu piszą i publikują tę stronę, kilka przebiegów tygodniowo, więc zakładamy, że model może osłabić zabezpieczenie, które może edytować. W naszym wpisie o agentach, które wyłączyły własny monitoring (po angielsku) opisujemy kontrole, które się sprawdzają: każdy przebieg pracuje na gałęzi i otwiera pull request, bramka przeglądu i kontrole strony działają w CI, a osobny workflow scalający scala tylko wtedy, gdy wszystkie kontrole są zielone. Agent piszący nie ma uprawnień do scalania. Zabijamy i zastępujemy podagenty, które milczą dłużej niż limit czasu, i sprawdzamy twierdzenia przebiegu względem artefaktów, które wytworzył, a nie jego własnego podsumowania. Monitor, który monitorowany system może wyłączyć, to ustawienie, a nie kontrola.

Jak ustawić alerty, żeby nie utonąć w szumie?

Alertuj na progi powiązane z decyzją, takie jak „odsetek nadpisań powyżej 20% przez dwa dni oznacza wstrzymanie automatyzacji”, a nie na każde drgnięcie. Używaj kroczących okien dla statystyk, wyznacz właścicieli każdego alertu i przeglądaj progi po każdym incydencie. Każdy alert powinien wskazywać działanie, które uruchamia. Dodaj zabezpieczenia (guardrails) dla twardych limitów i użyj wykrywania anomalii dla sygnałów bez naturalnego progu. Połącz monitoring ze ścieżką wycofania, opisaną w haśle wdrożenie modelu.

Napisane z pomocą AI i sprawdzone przez Simona Budziaka. Uwagi z produkcji pochodzą z systemów, które Soba Labs buduje i utrzymuje.

Najczęściej zadawane pytania

Czym różni się monitoring modeli od observability?

Monitoring obserwuje znane sygnały względem progów i wysyła alert. Observability zachowuje dość śladów i kontekstu, by badać awarie, których nikt nie przewidział. Działający system potrzebuje obu.

Jak często ponownie oceniać model?

Monitoruj ciągle, a stały zbiór ewaluacyjny uruchamiaj według harmonogramu i po każdej zmianie modelu, promptów, narzędzi lub źródeł danych.

Podsumuj tę stronę w

Przeszkol zespół, aby sam to zbudował