Czym są dane treningowe, walidacyjne i testowe?
To trzy rozłączne części danych, z których każda ma jedno zadanie.
| Zbiór | Do czego służy | Jak często zespół do niego zagląda | Co idzie źle przy niewłaściwym użyciu |
|---|---|---|---|
| Treningowy | Dopasowanie parametrów modelu | Cały czas | Zapamiętany szum, przeuczenie |
| Walidacyjny | Strojenie ustawień, wybór modelu, early stopping | Przy każdym eksperymencie | Ustawienia dostrojone do jednego szczęśliwego wycinka |
| Testowy | Jedno końcowe oszacowanie rzeczywistej skuteczności | Raz na decyzję | Wyniki, które nie przetrwają zderzenia z produkcją |
Zbiór testowy używany do podejmowania decyzji przestaje być zbiorem testowym. Ta sama zasada dotyczy zbiorów ewaluacyjnych dla LLM: gdy publiczne pytania testowe przeciekają do danych treningowych, wyniki są zawyżone, a problem nazywa się kontaminacją benchmarków.
Jak wygląda przykład danych treningowych?
To jeden wiersz danych wejściowych plus to, co model ma się nauczyć zwracać.
| Zadanie | Jeden przykład treningowy | Skąd pochodzi wartość docelowa |
|---|---|---|
| Filtr antyspamowy | Treść i nadawca e-maila | Użytkownicy oznaczający wiadomości jako spam |
| Przewidywanie kwoty faktury | Pozycje, dostawca, data | Kwota faktycznie zapłacona |
| Pretrening LLM | Fragment tekstu z sieci | Następny token w tym samym fragmencie |
| Instruction fine-tuning | Prompt | Odpowiedź napisana przez człowieka |
Pierwsze dwa to uczenie nadzorowane z etykietami zapisanymi przez ludzi lub systemy. Pretrening jest samonadzorowany: tekst sam jest swoim kluczem odpowiedzi, dlatego jego skala jest ogromna. Llama 3 od Meta „is pretrained on over 15T tokens that were all collected from publicly available sources”, a ten zbiór jest „seven times larger than that used for Llama 2” (blog Meta AI, 18 kwietnia 2024, dostęp 16 listopada 2026).
Co sprawia, że dane treningowe są dobre?
Przypominają dane, które model spotka na produkcji, a ich etykiety są poprawne. Pokrycie wygrywa z objętością: milion przykładów z jednego regionu nie uczy niczego o innym. Etykiety wymagają spisanych wytycznych i weryfikacji, czyli pracy nad anotacją danych, a etykiety, którym ufasz, stają się Twoim ground truth. Luki można wypełnić danymi syntetycznymi, sprawdzonymi na prawdziwych przypadkach.
W przypadku systemów wysokiego ryzyka unijny AI Act czyni z tego obowiązek prawny. Art. 10 ust. 3 wymaga, by zbiory danych treningowych, walidacyjnych i testowych były „relevant, sufficiently representative, and to the best extent possible, free of errors and complete”, a przepis ma zastosowanie od 2 grudnia 2027 roku dla systemów z załącznika III i od 2 sierpnia 2028 roku dla systemów z załącznika I (AI Act Explorer, art. 10, dostęp 16 listopada 2026). Zapisuj, skąd pochodzi każdy zbiór treningowy; ktoś o to zapyta.
Czy do korzystania z LLM potrzebujesz własnych danych treningowych?
Rzadko, bo większość projektów LLM w ogóle nie trenuje żadnego modelu. Prompting i RAG korzystają z wytrenowanego modelu bez zmian, a Twoje dokumenty trafiają do niego jako kontekst, a nie jako dane treningowe. Twoje przykłady stają się danymi treningowymi dopiero wtedy, gdy robisz fine-tuning. Każdy projekt LLM potrzebuje natomiast danych ewaluacyjnych z własnej dziedziny. Dostawców modeli obowiązuje z kolei przejrzystość: art. 53 ust. 1 lit. d wymaga od dostawców modeli ogólnego przeznaczenia opublikowania „a sufficiently detailed summary about the content used for training”, co obowiązuje od 2 sierpnia 2025 roku (AI Act Explorer, art. 53, dostęp 16 listopada 2026), z użyciem wzoru Komisji opublikowanego 24 lipca 2025 roku (Komisja Europejska, dostęp 16 listopada 2026).