Was ist Post-Training in der AI? Wie Modelle Verhalten lernen

LLM-GrundlagenModelle und InferenzVeröffentlicht Aktualisiert Von Simon Budziak

Post-Training ist alles, was nach dem Pre-Training mit einem Sprachmodell getan wird, um es nützlich zu machen. Supervised Fine-Tuning, Präferenzoptimierung und Reinforcement Learning bringen ihm bei, Anweisungen zu befolgen, Tools zu nutzen und zu schlussfolgern. Pre-Training gibt einem Modell Wissen; Post-Training gibt ihm Verhalten, und dort bündeln Frontier-Labs heute ihre Anstrengung.

Warum zählt Post-Training heute so sehr?

Weil Verhalten der aktuelle Engpass ist, nicht Wissen. Zwei Modelle mit ähnlichem Pre-Training können sich nach unterschiedlichem Post-Training um Generationen auseinander anfühlen. Das meiste, was heutige Reasoning-Modelle auszeichnet, wurde im Post-Training gebaut, großteils mit Reinforcement Learning gegen Ergebnisse, die ein Prüfer verifizieren kann, geleitet von einem Reward Model, wo keine harte Prüfung existiert.

Wie fügen sich die Stufen des Post-Trainings zusammen?

Als Fortschritt von Imitation zu Urteilsvermögen. Zuerst kommt Supervised Fine-Tuning: Das Modell kopiert kuratierte Beispiele, was schnell geht, aber nie über das hinausreicht, was sie zeigen. Das Präferenztraining, im Stil von DPO oder RLHF, arbeitet mit Vergleichen, diese Antwort vor jener, und erfasst Eigenschaften, die niemand perfekt vormachen kann, etwa Ton und Ablehnungsurteil, wobei es erbt, was die Bewerter systematisch bevorzugen. Zuletzt kommt Reinforcement Learning auf Aufgaben mit überprüfbaren Antworten, Mathematik, Code, Tool-Nutzung, wobei Process Supervision Zwischenschritte bewertet, wenn nur das Schlussfolgern beurteilt werden kann. Jede Stufe hebt die Obergrenze der vorigen und bringt ihren eigenen Fehlermodus mit: Imitation bleibt fad, Präferenztraining driftet ins Schmeichlerische, und Outcome-RL nutzt jede Lücke aus, die der Prüfer offen lässt.

Ist Post-Training etwas, das ein Unternehmen tut?

Meist nicht. Das Lab trainiert das LLM nach; ein Unternehmen, das eines anpasst, betreibt Fine-Tuning, ein kleines, gezieltes Mitglied derselben Familie, das sich erst lohnt, wenn Prompting und Retrieval nicht ausreichen. Verhalten kaufen, nicht trainieren ist der vernünftige Standard im Mittelstand, denn die Qualität des Post-Trainings ist das, was die Modellrechnung ohnehin bezahlt. Verstehenswert ist die Abhängigkeit: Wenn ein Anbieter das Post-Training überarbeitet, kann sich das Verhalten Ihres Systems verschieben, ohne dass sich eine Modellnummer ändert.

Wie zeigt sich Post-Training beim Debuggen?

Als Verhalten, das Sie nicht geändert haben. Ablehnungsstil, Format von Tool-Aufrufen und Wortreichtum unter Druck wurden alle im Post-Training festgelegt, sodass zwei Modelle mit identischem Kontext wie verschiedene Kollegen agieren können. Eine Regressionssuite über Ihre eigenen Aufgaben ist die einzige verlässliche Frühwarnung: Prompt Regression Testing und AI-Agent-Evals, bei jedem Modellwechsel wiederholt. Ein Fehler bei Fakten reagiert auf Retrieval und Kontext; ein Modell, das Ihr Format nicht mehr befolgt, zeigt einen Post-Training-Unterschied, behoben im Prompt oder durch die Modellwahl.

Wie verbessern sich unsere Systeme bei Soba Labs ohne Post-Training?

Unsere eigenen Agents lernen, ohne Modellgewichte anzufassen: Aus jeder Arbeitssitzung festgehaltene Erkenntnisse werden wöchentlich in die geschriebenen Dateien geprüft, die jeder Agent liest. Ein Wissenserfassungssystem, das wir geprüft haben, lernt auf dieselbe Weise: Jede menschliche Korrektur wird als Präzedenzfall zurückgeschrieben, den das Retrieval beim nächsten ähnlichen Fall hervorholen kann. Bevor ein solcher Bau live geht, prüfen wir die Schleife doppelt: Die Korrektur muss bei einer nahezu identischen Eingabe wieder auftauchen, und das Golden Set muss nach dem Schreiben noch bestehen, wie in Enterprise RAG on LangChain (auf Englisch) beschrieben. Es ändern sich keine Gewichte, ein schlechtes Learning ist also ein Eintrag, den jemand lesen und entfernen kann.

Als wir im Juni 2026 zwei Open-Source-Agents evaluierten, die Selbstlernen bewerben, Hermes Agent und OpenClaw, definierten beide es als persistentes Gedächtnis plus selbst geschriebene Skills, nicht als Gewichtstraining.

Mit AI-Unterstützung geschrieben und von Simon Budziak geprüft. Die Hinweise aus der Praxis stammen aus Systemen, die Soba Labs baut und betreibt.

Häufig gestellte Fragen

Was ist der Unterschied zwischen Pre-Training und Post-Training?

Pre-Training bringt einem Modell Sprache und Weltwissen bei, indem es Tokens über riesige Korpora vorhersagt; Post-Training formt, wie es sich verhält: Anweisungen befolgen, gut ablehnen, Tools aufrufen, Schritt für Schritt schlussfolgern. Pre-Training setzt die Obergrenze; Post-Training entscheidet, wie viel davon Nutzer tatsächlich sehen.

Was umfasst Post-Training?

Typischerweise Supervised Fine-Tuning auf Demonstrationen, Präferenzoptimierung wie DPO oder RLHF gegen ein Reward-Signal und Reinforcement Learning auf Aufgaben mit prüfbarem Ergebnis, woher das Reasoning-Verhalten weitgehend stammt. Labs mischen und iterieren diese Stufen, statt ein festes Rezept abzuarbeiten.

Diese Seite zusammenfassen mit

Ihr Team schulen, damit es das selbst baut