Was sind Trainings-, Validierungs- und Testdaten?
Drei disjunkte Teile Ihrer Daten mit je einer Aufgabe.
| Datensatz | Wofür | Wie oft das Team hinsieht | Was bei falscher Nutzung schiefgeht |
|---|---|---|---|
| Training | Anpassen der Modellparameter | Ständig | Auswendig gelerntes Rauschen, Overfitting |
| Validierung | Einstellungen abstimmen, ein Modell wählen, Early Stopping | Bei jedem Experiment | Einstellungen, die auf einen glücklichen Ausschnitt abgestimmt sind |
| Test | Eine abschließende Schätzung der echten Leistung | Einmal pro Entscheidung | Werte, die den Produktivbetrieb nicht überstehen |
Ein Testset, mit dem Entscheidungen getroffen werden, ist kein Testset mehr. Dieselbe Regel gilt für Eval-Datensätze bei LLMs: Gelangen öffentliche Testfragen in die Trainingsdaten, steigen die Werte künstlich, das Problem namens Benchmark-Kontamination.
Was ist ein Beispiel für Trainingsdaten?
Eine Zeile Eingabe plus das, was das Modell daraus erzeugen lernen soll.
| Aufgabe | Ein Trainingsbeispiel | Woher das Ziel kommt |
|---|---|---|
| Spamfilter | Text und Absender einer E-Mail | Nutzer, die Nachrichten als Spam markieren |
| Vorhersage von Rechnungsbeträgen | Positionen, Lieferant, Datum | Der tatsächlich gezahlte Betrag |
| LLM-Pretraining | Ein Abschnitt Webtext | Das nächste Token im Abschnitt selbst |
| Instruction Fine-Tuning | Ein Prompt | Eine von einem Menschen geschriebene Antwort |
Die ersten beiden sind überwachtes Lernen mit Labels, die Menschen oder Systeme erfasst haben. Pretraining ist selbstüberwacht: Der Text ist sein eigener Lösungsschlüssel, deshalb ist sein Umfang enorm. Metas Llama 3 „is pretrained on over 15T tokens that were all collected from publicly available sources“, ein Datensatz, der „seven times larger than that used for Llama 2“ ist (Meta AI Blog, 18. April 2024, abgerufen am 16. November 2026).
Was macht gute Trainingsdaten aus?
Sie ähneln den Daten, denen das Modell im Produktivbetrieb begegnet, und ihre Labels stimmen. Abdeckung schlägt Menge: Eine Million Beispiele aus einer Region lehren nichts über eine andere. Labels brauchen eine schriftliche Richtlinie und eine Prüfung, die Arbeit der Datenannotation, und die Labels, denen Sie vertrauen, werden zu Ihrer Ground Truth. Lücken lassen sich mit synthetischen Daten füllen, die gegen echte Fälle validiert werden.
Für Hochrisikosysteme macht der EU AI Act daraus eine rechtliche Pflicht. Artikel 10 Absatz 3 verlangt, dass Trainings-, Validierungs- und Testdatensätze „relevant, sufficiently representative, and to the best extent possible, free of errors and complete“ sind, anwendbar ab dem 2. Dezember 2027 für Systeme nach Anhang III und ab dem 2. August 2028 für Systeme nach Anhang I (AI Act Explorer, Artikel 10, abgerufen am 16. November 2026). Dokumentieren Sie, woher jeder Trainingsdatensatz stammt; man wird Sie danach fragen.
Brauchen Sie eigene Trainingsdaten, um ein LLM zu nutzen?
Selten, denn die meisten LLM-Projekte trainieren überhaupt kein Modell. Prompting und RAG nutzen ein vortrainiertes Modell unverändert, und Ihre Dokumente erreichen es als Kontext, nicht als Trainingsdaten. Ihre Beispiele werden erst dann zu Trainingsdaten, wenn Sie Fine-Tuning betreiben. Was dagegen jedes LLM-Projekt braucht, sind Evaluierungsdaten aus der eigenen Domäne. Die Modellanbieter wiederum schulden Transparenz: Artikel 53 Absatz 1 Buchstabe d verpflichtet Anbieter von AI-Modellen mit allgemeinem Verwendungszweck, „a sufficiently detailed summary about the content used for training“ zu veröffentlichen, in Kraft seit dem 2. August 2025 (AI Act Explorer, Artikel 53, abgerufen am 16. November 2026), anhand einer Vorlage, die die Kommission am 24. Juli 2025 veröffentlicht hat (Europäische Kommission, abgerufen am 16. November 2026).