Was sind Modellparameter in der AI? Gewichte, Biases, Settings

LLM-GrundlagenModelle und InferenzVeröffentlicht Von Simon Budziak

Modellparameter sind die Zahlen, die ein AI-Modell beim Training lernt, vor allem Gewichte und Biases. Sie bestimmen, wie aus einer Eingabe eine Ausgabe wird. Ein Sprachmodell mit Milliarden Parametern speichert in diesen Zahlen, was es gelernt hat, und Sie setzen sie nicht von Hand.

Was sind Gewichte und Biases?

In einem neuronalen Netz hat jede Verbindung ein Gewicht, das ein Signal skaliert, und jede Einheit einen Bias, der es verschiebt. Das Training beginnt mit zufälligen Werten und passt jeden an, um den Fehler zu senken, mit einer Verlustfunktion und dem Gradientenverfahren. Nach dem Training sind die Parameter eingefroren, und sie sind das Modell. Ein Modell zu teilen heißt, diese Zahlen zu teilen, das ist ein Open-Weight-Release.

Ein kleines Rechenbeispiel: Eine Schicht mit 3 Eingängen und 2 Ausgängen hat 3 x 2 = 6 Gewichte plus 2 Biases, also 8 Parameter. Zählt man das für jede Schicht, ergibt sich ein Netz mit Millionen oder Milliarden davon.

Wie unterscheiden sich Parameter von Hyperparametern und Einstellungen?

Art Wer setzt sie Wann Beispiele
Parameter Das Training, automatisch Während des Trainings Gewichte, Biases
Hyperparameter Sie Vor dem Training Lernrate, Batch-Größe, Zahl der Schichten
Anfrage-Einstellungen Sie Bei jedem Aufruf Temperature, maximale Ausgabelänge

Wer nach „Modellparameter“ sucht, meint oft die dritte Zeile: die Regler bei einem API-Aufruf. Sie verändern, wie ein trainiertes Modell seine Antwort samplet, und nicht, was es gelernt hat.

Was sagt die Parameterzahl aus?

Die Parameterzahl ist ein grobes Maß für Kapazität und Kosten. Mehr Parameter können mehr Muster speichern, und sie brauchen mehr Speicher und Rechenleistung: Als Faustregel ergibt Parameter mal Bytes pro Zahl allein den Speicher für die Gewichte, ein Modell mit 7 Milliarden Parametern bei 2 Bytes je Zahl braucht also etwa 14 GB, bevor irgendetwas anderes hinzukommt. Die Zahl ist ein schlechtes Maß für Qualität. Ein kleineres Modell, das gut mit guten Daten trainiert wurde, kann ein größeres schlagen, und Mixture-of-Experts-Modelle nutzen pro Token nur einen Teil ihrer Parameter, Gesamtzahl und aktive Zahl unterscheiden sich also.

Wie verkleinern Sie die Parameter eines Modells?

Quantisierung speichert jeden Parameter in weniger Bits und senkt den Speicher bei geringem Qualitätsverlust. Model Distillation trainiert ein kleineres Modell darauf, ein größeres nachzuahmen. Ein kleines Sprachmodell beginnt von Design her mit weniger Parametern. Wählen Sie das kleinste Modell, das Ihre eigene Evaluierung besteht, denn jeder zusätzliche Parameter wird bei jeder Anfrage mitbezahlt.

Dieser Eintrag wurde mit AI-Unterstützung verfasst.

Häufig gestellte Fragen

Wie viele Parameter haben LLMs?

Von unter einer Milliarde bei kleinen Sprachmodellen bis zu Hunderten von Milliarden oder mehr bei Frontier-Modellen. Behandeln Sie eine Angabe ohne benannte Quelle als Schätzung.

Was sind Parameter-Einstellungen?

Meist sind Anfrage-Einstellungen wie Temperature gemeint, die Sie pro Aufruf wählen. Es sind keine gelernten Parameter. Trainings-Hyperparameter sind eine dritte Gruppe, die vor dem Training gesetzt wird.

Diese Seite zusammenfassen mit

Ihr Team schulen, damit es das selbst baut