Jakie są główne sposoby wdrażania modelu?
Wzorzec wynika z tego, jak używa się odpowiedzi.
| Wzorzec | Jak działa | Dobre do | Kompromis |
|---|---|---|---|
| Batch | Ocenia cały plik lub tabelę według harmonogramu | Nocne prognozy, ocena listy klientów | Wyniki mają kilka godzin |
| API w czasie rzeczywistym | Jedno żądanie, jedna odpowiedź, w milisekundach do sekund | Czat, kontrola oszustw przy kasie | Musisz dotrzymać celu opóźnień |
| Streaming | Ocenia zdarzenia, gdy nadchodzą | Anomalie w czujnikach i logach | Wymaga infrastruktury zdarzeń |
| Edge | Działa na urządzeniu | Kamery, telefony, brak sieci | Małe modele, trudniejsze aktualizacje |
Wybieraj batch, ilekroć człowiek nie potrzebuje odpowiedzi natychmiast, bo jest tańszy i prostszy w utrzymaniu. W przypadku hostowanych modeli językowych często w ogóle pomijasz serwowanie i wywołujesz API dostawcy, więc wdrożenie to głównie Twoja aplikacja, prompty i zabezpieczenia. Zobacz inferencja hostowana i inferencja serverless.
Jakie kroki obejmuje wdrożenie modelu?
Pięć kroków obejmuje większość wydań.
- Zwaliduj. Przetestuj na danych, których model nie widział, i na przypadkach z własnej działalności; zobacz walidacja modelu.
- Spakuj. Ustal wersję modelu, zależności, konfigurację i prompty, żeby wydanie było powtarzalne.
- Zintegruj. Podłącz go do aplikacji, źródeł danych i każdego kroku zatwierdzenia, który wymaga człowieka.
- Wypuść stopniowo. Najpierw skieruj niewielki odsetek ruchu.
- Monitoruj i decyduj. Obserwuj jakość, opóźnienie i koszt, a potem awansuj lub cofnij; zobacz monitoring modeli.
Jak wypuścić model, niczego nie psując?
Ryzyko zmniejszają trzy metody rolloutu. Tryb shadow uruchamia nowy model obok starego i tylko porównuje odpowiedzi. Wdrożenie kanarkowe kieruje niewielki odsetek ruchu na żywo do nowego modelu. Blue-green utrzymuje dwa pełne środowiska i przełącza się między nimi. Zawsze trzymaj poprzednią wersję gotową do wdrożenia, dopóki nowa się nie sprawdzi, żeby cofnięcie zajmowało minuty. W przypadku agentów wycofanie powinno obejmować też skutki uboczne, jak w rollbacku agenta.
Co psuje się po wdrożeniu?
Wdrożenie modelu dostarcza nauczone zachowanie, które może się degradować bez żadnej zmiany kodu. W odróżnieniu od wdrożenia oprogramowania lub chmury, które dostarcza kod zachowujący się za każdym razem tak samo, model wciąż mierzy się ze zmieniającym się światem: dane wejściowe się zmieniają, użytkownicy zachowują inaczej, dane źródłowe się zmieniają. Wdrożenie to początek życia operacyjnego modelu, a nie koniec projektu. Wyznacz właściciela, ustaw progi alertów, zaplanuj ponowną ewaluację i z góry zdecyduj, jaki spadek jakości uruchamia wycofanie. Dyscypliną obejmującą to wszystko jest MLOps, a dla agentów konkretnie wdrażanie agentów.