Das KI-Vokabular · 01 Das Modell

Was ist Synthetische Daten?

Trainingsbeispiele, die ein Modell oder Programm erzeugt hat, statt dass Menschen sie geschrieben oder aufgenommen haben.

Fortgeschritten

Wenn echte Daten knapp, teuer oder vertraulich sind, lassen Teams die Beispiele von einem Modell schreiben: Fragen und Antworten, Gespräche, Code, seltene Fälle. Diese Beispiele fließen dann ins Training.

Im Post-Training ist das schon Standard. NVIDIA berichtete 2024, dass über 98 Prozent der Daten, mit denen das Modell Nemotron-4 340B ausgerichtet wurde, synthetisch erzeugt waren. NVIDIA verkauft Chips und Modelle und hat also ein Interesse daran, dass der Ansatz funktioniert.

Das Risiko ist eine Schleife. Ilia Shumailov und Kollegen zeigten 2023: Werden Modelle immer wieder mit ihren eigenen Ausgaben trainiert, vergessen sie die seltenen Fälle am Rand der ursprünglichen Daten. Sie nannten das Model Collapse. Der Befund betrifft wiederholtes Training auf erzeugten Ausgaben, nicht eine sorgfältig kuratierte Mischung aus echten und synthetischen Daten.

Warum es für dich wichtig ist

Synthetische Daten können Lücken füllen, seltene Situationen abdecken und Privatsphäre schützen. Sie übernehmen aber auch die Fehler und den Bias des Modells, das sie erzeugt hat. Prüf die Ergebnisse immer mit Evals an echten Beispielen.

Own it

Wenn du Beispiele für dein eigenes Modell erzeugst, für Fine-Tuning oder Destillation, behalte echte Daten als Maßstab, kennzeichne, was synthetisch ist, und prüf, ob die Bedingungen des Anbieters erlauben, seine Ausgaben fürs Training zu nutzen.

Verwandt