Parametry modelu AI: co to jest, wagi i biasy, ile ich jest w LLM

Podstawy LLMModele i inferencjaOpublikowano Autor: Simon Budziak

Parametry modelu to liczby, których model AI uczy się podczas treningu, głównie wagi i biasy. Decydują o tym, jak dane wejściowe zamieniają się w wynik. Model językowy z miliardami parametrów przechowuje to, czego się nauczył, w tych liczbach, a Ty nie ustawiasz ich ręcznie.

Czym są wagi i biasy?

W sieci neuronowej każde połączenie ma wagę, która skaluje sygnał, a każda jednostka ma bias, który go przesuwa. Trening zaczyna od losowych wartości i dostosowuje każdą z nich, by zmniejszyć błąd, za pomocą funkcji straty i gradientu prostego. Po treningu parametry są zamrożone i to one są modelem. Udostępnienie modelu to udostępnienie tych liczb, na tym polega wydanie z otwartymi wagami.

Mały przykład: warstwa z 3 wejściami i 2 wyjściami ma 3 x 2 = 6 wag plus 2 biasy, czyli 8 parametrów. Policz to dla każdej warstwy, a wyjdzie sieć z milionami lub miliardami.

Czym parametry różnią się od hiperparametrów i ustawień?

Rodzaj Kto ustawia Kiedy Przykłady
Parametry Trening, automatycznie W trakcie treningu Wagi, biasy
Hiperparametry Ty Przed treningiem Współczynnik uczenia, batch size, liczba warstw
Ustawienia żądania Ty Przy każdym wywołaniu Temperatura, maksymalna długość wyniku

Osoby szukające „parametrów modelu” często mają na myśli trzeci wiersz: pokrętła w wywołaniu API. Zmieniają one sposób, w jaki wytrenowany model losuje odpowiedź, i nie zmieniają tego, czego się nauczył.

Co mówi liczba parametrów?

Liczba parametrów to przybliżona miara pojemności i kosztu. Więcej parametrów może pomieścić więcej wzorców, ale wymaga więcej pamięci i mocy obliczeniowej do uruchomienia: praktyczna reguła mówi, że liczba parametrów razy bajty na liczbę daje pamięć samych wag, więc model z 7 miliardami parametrów po 2 bajty każdy potrzebuje około 14 GB, zanim cokolwiek innego. Liczba to słaba miara jakości. Mniejszy model dobrze wytrenowany na dobrych danych może pokonać większy, a modele mixture-of-experts używają tylko części swoich parametrów dla każdego tokena, więc liczba całkowita i aktywna się różnią.

Jak zmniejszyć liczbę parametrów modelu?

Kwantyzacja zapisuje każdy parametr na mniejszej liczbie bitów, zmniejszając pamięć przy niewielkiej utracie jakości. Destylacja modelu trenuje mniejszy model, by naśladował większy. Mały model językowy zaczyna z mniejszą liczbą parametrów z założenia. Wybierz najmniejszy model, który przechodzi Twoją własną ewaluację, bo każdy dodatkowy parametr płacisz przy każdym żądaniu.

To hasło przygotowano z pomocą AI.

Najczęściej zadawane pytania

Ile parametrów mają LLM?

Od poniżej miliarda w małych modelach językowych do setek miliardów lub więcej w modelach czołowych. Liczbę bez nazwanego źródła traktuj jak szacunek.

Czym są ustawienia parametrów?

Zwykle chodzi o ustawienia żądania, takie jak temperatura, które wybierasz przy każdym wywołaniu. To nie są nauczone parametry. Hiperparametry treningu to trzecia grupa, ustawiana przed treningiem.

Podsumuj tę stronę w

Przeszkol zespół, aby sam to zbudował