Jak działa symulacja agenta AI?
Symulator zastępuje wszystko, czego agent dotyka. Fałszywe narzędzia zwracają realistyczne odpowiedzi, symulowany użytkownik odgrywa klienta, a izolowane wykonywanie kodu trzyma wygenerowany kod z dala od systemów produkcyjnych. Zespoły oceniają potem powstałą trajektorię agenta za pomocą ewaluacji agentów AI i sprawdzają zarówno ścieżkę, którą agent przeszedł, jak i jego końcową odpowiedź. Symulacja jest użyteczna tylko wtedy, gdy jej ograniczenia przypominają produkcję.
Co powinna zawierać symulacja agenta?
Awarie, których szczęśliwa ścieżka nigdy nie pokazuje. Zaskryptuj narzędzia, które przekraczają limit czasu, zwracają błąd limitu żądań, wysyłają zniekształconą lub niepełną odpowiedź albo kończą się sukcesem z opóźnieniem, gdy agent już się poddał. Dodaj użytkowników, którzy w połowie zmieniają zdanie, podają sprzeczne dane albo proszą o coś poza uprawnieniami agenta. Warto symulować te przypadki, które na produkcji kosztowałyby pieniądze lub zaufanie: zduplikowany zapis, aktualizację niewłaściwego rekordu, działanie podjęte bez zatwierdzenia.
Jak w Soba Labs symulujemy awarie agentów przed produkcją?
Zamieniamy awarie z produkcji w przypadki symulowane. W agencie sprzedażowym AI, którego zbudowaliśmy dla Open Loyalty, zapis do CRM przekroczył limit czasu, agent ponowił próbę i oba wywołania doszły do skutku, więc jedna rozmowa wygenerowała dwie aktualizacje leada. Po poprawce zestaw ewaluacyjny zyskał symulowany timeout, który sprawdza, że na jedną turę przypada jedna aktualizacja leada, jak opisaliśmy w tekście LangGraph agents in production (po angielsku).
Trzy zasady z naszej pracy wdrożeniowej rozstrzygają, czy symulacja czegokolwiek dowodzi:
- Macierz wyników napędzają atrapy działające w pamięci. Standardowy mock OpenAPI serwuje jeden gotowy przykład na endpoint i nie potrafi zmieniać odpowiedzi zależnie od wejścia, więc dostaje jeden smoke test sprawdzający, że prawdziwy klient jest podpięty do prawdziwego kontraktu.
- Atrapy kopiują prawdziwy typ zwracany przez zależność. Atrapa, która przekłamuje kształt danych, przechodzi każdy test i pada przy integracji, a atrapa ignorująca prompt sprawia, że każdy test zachowania promptu przechodzi z samej konstrukcji.
- Najcenniejsze asercje są negatywne: gdy żądanie powinno zostać odrzucone, wywołanie wychodzące wykonało się zero razy.
Zanim zaufamy symulowanemu przypadkowi, celowo wprowadzamy błąd, który ma on wychwycić, i patrzymy, jak test nie przechodzi.
Kiedy symulacja agentów ma znaczenie i czego nie zastąpi?
Uruchamiaj symulacje przed wdrożeniem agenta i ponownie po każdej zmianie modeli, promptów, narzędzi lub uprawnień. Symulacja zawęża niewiadome, ale ich nie usuwa. Prawdziwi użytkownicy i prawdziwe zależności wciąż tworzą warunki, których żaden skrypt nie przewidział, więc połącz ją z ewaluacją online ruchu produkcyjnego i dokładaj to, co poszło źle, z powrotem do zestawu symulacji. Zaliczenie zabawkowego środowiska nie dowodzi niezawodności na produkcji.