Co wersjonować poza plikiem modelu?
Zachowanie modelu wynika z czegoś więcej niż jego wag. Wersjonuj te elementy razem, bo inaczej nie wyjaśnisz zmiany wyników.
| Element | Dlaczego potrzebuje wersji |
|---|---|
| Dane treningowe lub migawka | Inne dane dają inny model |
| Kod i konfiguracja | Hiperparametry i preprocessing zmieniają wyniki |
| Prompty | Przeformułowany prompt potrafi zmienić wyniki tak jak nowe wagi |
| Zbiór ewaluacyjny | Wynik jest porównywalny tylko na tym samym teście |
| Zależności i środowisko | Aktualizacje bibliotek przesuwają liczby |
| Identyfikator modelu lub wpis w rejestrze | To, co aplikacja faktycznie wywołuje |
Każda predykcja powinna zapisywać wersję, która ją wytworzyła. Wtedy na pytanie z audytu, „który model to zatwierdził?”, jest odpowiedź.
Jak wersjonować model hostowany?
Przy modelu z API kontrolujesz ciąg identyfikatora modelu i niewiele więcej. Przypnij dokładny identyfikator, który oceniałeś, zapisuj go przy każdym wyniku, a jego zmianę traktuj jak wydanie wymagające nowego przebiegu testów, a nie poprawkę konfiguracji. Dostawcy wycofują modele i funkcje w ustalonych terminach: strona Anthropic o fast mode podaje datę usunięcia fast mode dla Opus 4.8 jako 30 listopada 2026, po której żądania o tę funkcję zwracają błąd (Anthropic, fast mode, dostęp 19 listopada 2026). Datowana lista wersji, od których zależysz, mówi, co i kiedy migrować. O tym, jak utrzymać tani koszt przełączenia, piszemy w haśle przenośność modelu.
Jak w Soba Labs radzimy sobie z wersjami modeli i migracjami?
Recenzujemy systemy wyszukiwania dla klientów i zespołów, a jednym z ustaleń, które zgłaszamy, jest model embeddingów bez zapisanej wersji. W naszej liście kontrolnej poprawką jest kolumna embedding_model_version od pierwszego dnia i zaplanowana migracja ponownego osadzania, bo modele bywają wycofywane, a wyniki podobieństwa między wersjami nie mają sensu. Zamiana modelu, która wygląda na jedną linię konfiguracji, może unieważnić zapisany indeks.
W przypadku hostowanych modeli czatu publikujemy, co się zmieniło, gdy zmienia się ciąg modelu, na przykład w co się psuje, gdy przechodzisz na Claude Fable 5.2 (po angielsku), gdzie edycja wcześniejszej tury zwraca teraz błąd, a Fable 5.2 czyta bloki myślenia ze starszych modeli, ale jego własne potrafią czytać tylko Fable 5.2 i Mythos 5.2. Nowa wersja to migracja z przebiegiem testów, a nie cicha aktualizacja.
Jak cofnąć model?
Trzymaj poprzednią wersję gotową do wdrożenia, dopóki nowa nie przepracuje na produkcji bez regresji. Najpierw przesuń niewielki odsetek ruchu, jak w wdrożeniu kanarkowym, porównaj ze starą wersją na tym samym zbiorze ewaluacyjnym i po wdrożeniu obserwuj dryf modelu. Wersja, której nie możesz wdrożyć ponownie, to wpis w logu, a nie plan rollbacku. Podepnij przełącznik pod flagę, żeby cofnięcie było zmianą konfiguracji, a nie przebudową.