Das KI-Vokabular · 01 Das Modell

Was ist Trainingsdaten?

Die Texte, Bilder, Codes und anderen Beispiele, aus denen ein Modell lernt. Was hineingeht, prägt, was herauskommt.

Einstieg

Trainingsdaten sind alles, was ein Modell im Training sieht. Bei Sprachmodellen stammt der größte Teil aus dem öffentlichen Web, dazu kommen Bücher, Code und Fachartikel. Der offene Datensatz Dolma von 2024 zeigt die Größenordnung: drei Billionen Tokens aus Webseiten, Fachartikeln, Code, gemeinfreien Büchern, sozialen Medien und Enzyklopädien.

Der Vorrat ist begrenzt. Das Forschungsinstitut Epoch AI schätzte 2024 den Bestand an öffentlichem, von Menschen geschriebenem Text auf rund 300 Billionen Tokens, mit einer breiten Spanne von 100 bis 1.000 Billionen. Aufgebraucht sein könnte er laut Epoch irgendwann zwischen 2026 und 2032.

Auch der Zugang wird enger. Eine Studie zu 14.000 Webdomains fand 2024: Mehr als 5 Prozent aller Tokens in C4, einem viel genutzten Trainingsdatensatz, und mehr als 28 Prozent seiner am aktivsten gepflegten Quellen waren durch die Regeln der Websites selbst vollständig gesperrt.

Warum es für dich wichtig ist

Ein Modell ist nur so gut und so fair wie die Daten dahinter. Lücken und Bias in den Daten werden zu Lücken und Bias in den Antworten. Bei den meisten kommerziellen Modellen siehst du nicht, was hineingeflossen ist. Frag also nach Quellen, Lizenzen und Urheberrecht.

Own it

Deine Dokumente, Entscheidungen und Kundengespräche sind Trainingsdaten, die sonst niemand hat. Halte sie sauber, dokumentiert und rechtlich in deiner Hand. Das ist die praktische Seite von Datensouveränität.

Verwandt