Was sind Gewichte und Biases?
In einem neuronalen Netz hat jede Verbindung ein Gewicht, das ein Signal skaliert, und jede Einheit einen Bias, der es verschiebt. Das Training beginnt mit zufälligen Werten und passt jeden an, um den Fehler zu senken, mit einer Verlustfunktion und dem Gradientenverfahren. Nach dem Training sind die Parameter eingefroren, und sie sind das Modell. Ein Modell zu teilen heißt, diese Zahlen zu teilen, das ist ein Open-Weight-Release.
Ein kleines Rechenbeispiel: Eine Schicht mit 3 Eingängen und 2 Ausgängen hat 3 x 2 = 6 Gewichte plus 2 Biases, also 8 Parameter. Zählt man das für jede Schicht, ergibt sich ein Netz mit Millionen oder Milliarden davon.
Wie unterscheiden sich Parameter von Hyperparametern und Einstellungen?
| Art | Wer setzt sie | Wann | Beispiele |
|---|---|---|---|
| Parameter | Das Training, automatisch | Während des Trainings | Gewichte, Biases |
| Hyperparameter | Sie | Vor dem Training | Lernrate, Batch-Größe, Zahl der Schichten |
| Anfrage-Einstellungen | Sie | Bei jedem Aufruf | Temperature, maximale Ausgabelänge |
Wer nach „Modellparameter“ sucht, meint oft die dritte Zeile: die Regler bei einem API-Aufruf. Sie verändern, wie ein trainiertes Modell seine Antwort samplet, und nicht, was es gelernt hat.
Was sagt die Parameterzahl aus?
Die Parameterzahl ist ein grobes Maß für Kapazität und Kosten. Mehr Parameter können mehr Muster speichern, und sie brauchen mehr Speicher und Rechenleistung: Als Faustregel ergibt Parameter mal Bytes pro Zahl allein den Speicher für die Gewichte, ein Modell mit 7 Milliarden Parametern bei 2 Bytes je Zahl braucht also etwa 14 GB, bevor irgendetwas anderes hinzukommt. Die Zahl ist ein schlechtes Maß für Qualität. Ein kleineres Modell, das gut mit guten Daten trainiert wurde, kann ein größeres schlagen, und Mixture-of-Experts-Modelle nutzen pro Token nur einen Teil ihrer Parameter, Gesamtzahl und aktive Zahl unterscheiden sich also.
Wie verkleinern Sie die Parameter eines Modells?
Quantisierung speichert jeden Parameter in weniger Bits und senkt den Speicher bei geringem Qualitätsverlust. Model Distillation trainiert ein kleineres Modell darauf, ein größeres nachzuahmen. Ein kleines Sprachmodell beginnt von Design her mit weniger Parametern. Wählen Sie das kleinste Modell, das Ihre eigene Evaluierung besteht, denn jeder zusätzliche Parameter wird bei jeder Anfrage mitbezahlt.