Daten

Worum es geht

Ein Sprachmodell lernt, indem es billionenfach das nächste Textstück vorhersagt. Die Beispiele, aus denen es lernt, sind seine Trainingsdaten: Webseiten, Bücher, Code, Fachartikel und zunehmend Texte, die andere Modelle geschrieben haben. Vor dem Training wird all das in Tokens zerlegt, kleine Textstücke, die das Modell als Zahlen verarbeitet.

Daten prägen ein Modell in drei Phasen. Im Vortraining nimmt es Sprache und Wissen aus einer gefilterten Kopie des Webs auf. Im Nachtraining zeigen ihm Menschen und andere Modelle, welche Antworten hilfreich sind. Wenn du es nutzt, können deine eigenen Dokumente über RAG dazukommen, das Modell selbst bleibt dabei unverändert. Jede Phase wirft eigene Fragen zu Qualität, Kosten, Zustimmung und Recht auf, und Gerichte auf mehreren Kontinenten beantworten sie gerade.

Tokens: wie aus Text Lernstoff für ein Modell wird

Ein Modell sieht nie Buchstaben oder Wörter. Es sieht Tokens: häufige Textstücke, jedes einer Zahl zugeordnet. Die übliche Methode, Byte-Pair-Encoding, stammt aus der Datenkompression. Sie beginnt mit einzelnen Zeichen und verschmilzt immer wieder die häufigsten Paare, bis ein festes Vokabular aus Wortteilen erreicht ist. Sennrich, Haddow und Birch führten diese Wortteile 2015 für maschinelle Übersetzung ein, damit sich seltene und unbekannte Wörter aus bekannten Stücken zusammensetzen lassen.

OpenAIs Faustregel für Englisch: Ein Token sind etwa vier Zeichen oder drei Viertel eines Wortes, 100 Tokens also rund 75 Wörter (Anbieterangabe). Trainingsdaten werden genauso gezählt. DeepMinds Modell Chinchilla lernte 2022 aus 1,4 Bio. Tokens, Metas Llama 3 aus rund 15 Bio.

Die Tokenisierung wird einmal vor dem Training festgelegt, und sie behandelt Sprachen ungleich. Petrov, La Malfa, Torr und Bibi zeigten auf der NeurIPS 2023, dass derselbe Text in verschiedenen Sprachen bis zu 15-mal so viele Tokens brauchen kann. Anbieter rechnen pro Token ab, und das Kontextfenster eines Modells wird in Tokens gemessen. Dieselbe Aufgabe kostet darum in vielen Sprachen außer Englisch mehr, dauert länger und passt weniger gut in eine Anfrage.

Probier es aus: Gib denselben Absatz auf Englisch und in deiner Sprache in den Token-Zähler eines Anbieters ein. Die Differenz ist dein Sprachaufschlag. Auch OpenAIs Hilfeseite weist darauf hin, dass das Verhältnis von der Sprache abhängt.

Vom Web-Crawl zum Trainingsdatensatz

Ein Trainingsdatensatz ist das Ergebnis vieler bewusster Löschungen, der Großteil des gesammelten Textes fliegt raus. Die zwei am besten dokumentierten Abläufe stammen von Meta (Llama 3) und Hugging Face (FineWeb, rund 15 Bio. Tokens aus 96 Momentaufnahmen des offenen Archivs Common Crawl). OpenAI, Anthropic und Google legen ihre Filter weit weniger genau offen.

Viele Filter sind Ermessensfragen. FineWeb verzichtete bewusst auf eine gängige Regel, die Zeilen ohne Schlusspunkt löscht, weil sie allein rund 30 % aller Tokens entfernt hätte. Die Qualitätsprüfer sind oft frühere Modelle: Die Klassifikatoren von Llama 3 lernten aus Bewertungen von Llama 2. Maschinelles Urteil bestimmt also schon mit, welchen menschlichen Text ein neues Modell zu sehen bekommt.

1. 01Sammeln. Ein Web-Crawler lädt öffentliche Seiten herunter. Das Oktober-Archiv 2026 von Common Crawl umfasst 2,16 Mrd. Seiten und 371 TiB unkomprimierte Daten, darunter 830 Mio. bisher nie besuchte Adressen. Die Daten von Llama 3 reichen bis Ende 2023, das ist sein Wissensstichtag.
2. 02Text herauslösen. Software löst lesbaren Text aus dem HTML und entfernt Menüs und Textbausteine. FineWeb extrahierte den Text neu aus den Rohdateien des Archivs, weil die fertigen Textdateien zu viel Menütext enthielten; die sauberere Fassung trainierte ein besseres Modell.
3. 03Sprache erkennen. Ein kleiner Klassifikator (fastText) ordnet jede Seite einer Sprache zu. FineWeb behält Seiten mit einem Englisch-Wert von mindestens 0,65; Llama 3 erkennt 176 Sprachen und filtert jede für sich.
4. 04Regelfilter. Regeln entfernen Spam, Fehlerprotokolle, Platzhaltertext und Seiten voller wiederholter Phrasen. Drei eigene Regeln von FineWeb entfernten rund 22 % der Tokens und verbesserten die Benchmark-Ergebnisse um etwa 1 %.
5. 05Deduplizierung. Die Deduplizierung entfernt Kopien. Llama 3 arbeitet auf drei Ebenen: Adressen, ganze Dokumente (mit MinHash, einem schnellen Verfahren für Beinahe-Duplikate) und einzelne Zeilen, die sich mehr als sechsmal pro 30 Mio. Dokumente wiederholen. Im älteren Datensatz C4 stand ein Satz mit 61 Wörtern über 60.000-mal.
6. 06Qualität bewerten. Ein Klassifikator bewertet jede Seite. Für FineWeb-Edu benotete Llama 3 70B 460.000 Seiten auf einer Skala von 0 bis 5 nach Bildungswert, ein kleines Modell lernte daraus und bewertete den Rest. Wer nur Seiten ab Note 3 behielt, schrumpfte 15 Bio. Tokens auf 1,3 Bio., für 6.000 Rechenstunden auf H100-GPUs, und der kleinere Satz schnitt bei Wissenstests deutlich besser ab.
7. 07Sicherheit und persönliche Daten. Llama 3 entfernt Domains mit vielen personenbezogenen Daten (PII) und Inhalten für Erwachsene. FineWeb nutzt eine Sperrliste für Erwachsenenseiten und ersetzte in der veröffentlichten Fassung E-Mail- und IP-Adressen.
8. 08Mischen. Das Mischungsrezept bestimmt, worin das Modell gut wird. Llama 3 nutzte rund 50 % Allgemeinwissen, 25 % Mathematik und logisches Denken, 17 % Code und 8 % andere Sprachen, ausgewählt mit kleinen Testmodellen und Skalierungsgesetzen. Eine Schlussphase mit kleinen, hochwertigen Code- und Mathe-Sätzen hob das Ergebnis eines 8B-Modells in einem Schulmathe-Test um 24 %, beim 405B-Modell war der Effekt vernachlässigbar.

Eine Überraschung aus FineWeb: Duplikate über alle 96 Momentaufnahmen auf einmal zu entfernen ließ 4 Bio. Tokens übrig und trainierte ein deutlich schlechteres Modell als die Bereinigung innerhalb jeder Momentaufnahme, die 20 Bio. übrig ließ. Auch das Aufräumen hat ein Optimum.

Wie viel Daten es braucht und was Qualität bringt

2022 machte DeepMinds Chinchilla-Studie Daten zu einer Achse der Skalierung. Bei festem Rechenbudget sollen Modellgröße und Zahl der Trainings-Tokens gemeinsam wachsen; ihre Tabelle ergibt etwa 20 Tokens pro Parameter, etwa 1,5 Bio. Tokens für ein Modell mit 67 Mrd. Parametern. Die Autor:innen fügten hinzu, dass größere Datensätze nur bei hochwertigen Daten helfen.

Heutige offene Modelle trainieren weit über dieses Verhältnis hinaus, weil ein kleines Modell, das mehr Daten gesehen hat, im Betrieb günstiger ist. Nach unserer Rechnung sah das 8B-Modell von Llama 3 rund 1.900 Tokens pro Parameter. Gute Daten zu wiederholen funktioniert ebenfalls: Muennighoff und Kolleg:innen fanden, dass bis zu vier Durchläufe (Epochen) fast so gut sind wie frische Daten. Danach bringt zusätzliche Rechenleistung immer weniger, wie es Skalierungsgesetze erwarten lassen.

Auswahl schlägt oft Masse. Microsofts phi-1 mit 1,3 Mrd. Parametern lernte aus nur rund 7 Mrd. Tokens Webtext in Lehrbuchqualität und synthetischen Lehrbüchern und löste 50,6 % des Programmier-Benchmarks HumanEval (Forschung des Anbieters). Das Projekt DCLM trainierte ein 7B-Modell mit einem gefilterten Satz von 2,6 Bio. Tokens; über 53 Aufgaben erreichte es Llama 3 8B mit 6,6-mal weniger Rechenaufwand.

Gehen die Daten aus? Epoch AI schätzte 2024 den Bestand an nutzbarem öffentlichem Menschentext auf rund 300 Bio. Tokens. Die zugehörige Studie nennt einen Median von 320 Bio. mit einer breiten Spanne von 65 bis 1.700 Bio. und rundet an anderer Stelle auf etwa 400 Bio., weil die Zahlen leicht unterschiedliche Dinge messen. Datensätze wachsen um etwa das 2,4-Fache pro Jahr und würden den Bestand demnach zwischen 2026 und 2032 erreichen (Prognose). Der größte offengelegte offene Datensatz, die 36 Bio. Tokens von Qwen3, entspricht etwa 11 % des Medians. Hochwertiger Text wird zum Engpass.

• Llama 2 (Meta, 2023): 2 Bio. Tokens laut Bericht zu Llama 2, der Bericht zu Llama 3 nennt 1,8 Bio.
• DeepSeek-V3 (2024): 14,8 Bio. Tokens.
• Llama 3 (Meta, 2024): rund 15 Bio. Tokens; der Bericht nennt für das 405B-Modell auch 15,6 Bio. und gleicht die beiden Zahlen nicht ab.
• Qwen3 (Alibaba, 2025): 36 Bio. Tokens in 119 Sprachen und Dialekten.
• OpenAI, Anthropic, Google: keine Angaben. Pressezahlen zu GPT, Claude oder Gemini sind unbestätigt.

Alle Datensatzgrößen sind Eigenangaben der Entwickler aus ihren technischen Berichten.

Nachtraining: Daten, die Verhalten formen

Das Vortraining liefert ein Modell, das jeden Text fortsetzen kann. Ein Gespür dafür, wie eine hilfreiche Antwort aussieht, hat es noch nicht. Das Nachtraining bringt ihm dieses Gespür bei, mit weit kleineren, sorgfältig erstellten Datensätzen. OpenAIs InstructGPT-Studie von 2022 zeigte den Effekt: Menschen zogen die Antworten eines so trainierten Modells mit 1,3 Mrd. Parametern denen von GPT-3 mit 175 Mrd. Parametern vor (Forschung des Anbieters).

Seit 2022 verschiebt sich das Trainingssignal von menschlichen Bewertungen zu Signalen, die KI oder Regeln erzeugen. Menschliche Arbeit wandert zum Formulieren von Grundsätzen, zum Entwerfen prüfbarer Aufgaben und zum Bewerten von Expertenantworten. Wie groß ihre Präferenzdatensätze sind, behalten die führenden Labore für sich.

1. 01Überwachtes Feintuning (SFT). Menschen schreiben Beispielantworten auf Anfragen, und das Modell wird per Fine-Tuning darauf trainiert. So lernt es Form und Ton.
2. 02Präferenzdaten und RLHF. Menschen vergleichen zwei oder mehr Antworten und wählen die bessere. Ein Belohnungsmodell lernt diese Vorlieben, und das eigentliche Modell wird per bestärkendem Lernen darauf trainiert, gut abzuschneiden. Das ist RLHF, bestärkendes Lernen aus menschlichem Feedback.
3. 03DPO. Direct Preference Optimization (Stanford, 2023) lernt aus denselben Antwortpaaren mit einem einfachen Klassifikationsschritt und spart sich das separate Belohnungsmodell und die Schleife des bestärkenden Lernens.
4. 04KI-Feedback (RLAIF). Bei Anthropics Constitutional AI (2022) liefern Menschen nur eine Liste von Grundsätzen. Das Modell kritisiert und überarbeitet seine eigenen Antworten, und eine KI beurteilt Antwortpaare, aus denen das Belohnungsmodell lernt.
5. 05Prüfbare Belohnungen (RLVR). Das Modell wird nur belohnt, wenn sich seine Antwort automatisch prüfen lässt, etwa ein Rechenergebnis, das stimmt, oder Code, der seine Tests besteht. Das Allen Institute for AI benannte die Methode in seinem offenen Rezept Tulu 3 (2024). DeepSeek-R1 (Nature, 2025) berichtet, dass sich logisches Denken allein durch bestärkendes Lernen erlernen lässt, ohne von Menschen geschriebene Lösungswege, eine Grundlage heutiger Reasoning-Modelle.

Aulorys Lesart der Quellen: Hier sind deine eigenen Daten am meisten wert. Ein paar Tausend saubere, fachspezifische Beispiele oder Testfälle bewirken beim Fine-Tuning und Testen weit mehr, als sie im Vortraining je könnten.

Synthetische Daten, Modellkollaps und verunreinigte Tests

Synthetische Daten sind Texte, die Modelle fürs Training erzeugen. Sie sind heute Standard: Qwen3 wurde im Vortraining zum Teil mit Lehrbüchern, Fragen und Antworten, Anweisungen und Code trainiert, die frühere Qwen-Modelle geschrieben hatten, und phi-1 nutzte eine Milliarde Tokens synthetischer Lehrbücher. Auch gewöhnliche Webdaten sind längst gemischt: Forschende fanden schon 2021 maschinell erzeugten und maschinell übersetzten Text im Datensatz C4.

Das Risiko hat einen Namen: Modellkollaps. Ilia Shumailov und Kolleg:innen zeigten 2024 in Nature, dass Modelle, die über Generationen mit ihren eigenen Ausgaben trainiert werden, zuerst die seltenen Fälle der Originaldaten verlieren, und der Schaden bleibt. Eine Folgestudie von Gerstgrasser, Schaeffer, Koyejo und anderen führte den Kollaps darauf zurück, dass echte Daten durch synthetische ersetzt wurden; kamen synthetische Daten zu den echten hinzu, blieb der Fehler begrenzt.

Wie viel synthetischer Text steckt in heutigen Spitzenmodellen? Keine belastbare Quelle nennt einen Anteil, und wir veröffentlichen keinen. Eine kontrollierte Studie von Forschenden mit Meta-Bezug (2025) fand, dass eine Mischung aus etwa einem Drittel umformuliertem synthetischem Text und zwei Dritteln Webtext dieselbe Qualität 5- bis 10-mal schneller erreichte, getestet an Modellen bis 3 Mrd. Parameter.

Daten entscheiden auch darüber, ob Testergebnisse etwas bedeuten. Ein Benchmark misst Können nur, wenn seine Fragen nicht im Training vorkamen, und Kontamination ist belegt. Über 4 % der Validierungssätze gängiger Datensätze überschneiden sich mit Trainingsdaten (Lee und Kolleg:innen). Bei GSM1k, einem neuen Satz Schulmathe-Aufgaben nach dem Vorbild des beliebten GSM8k, verloren führende Modelle bis zu 8 % Genauigkeit (NeurIPS 2024); viele Spitzenmodelle zeigten nur geringe Überanpassung.

Praktische Folge: Bau dir aus echten Fällen einen eigenen, zurückgehaltenen Testsatz, oft Golden Set genannt, und halte ihn aus allen Daten heraus, die du zum Training weitergibst. Nutze ihn für Evals, bevor du ein Modell auswählst.

Wessen Sprache, wessen Welt: Bias und Abdeckung

Bias entsteht an drei Stellen: bei dem, was gesammelt wird, bei dem, was Filter löschen, und bei der Zerlegung in Tokens. Schon das rohe Web ist schief. Im Oktober-Archiv 2026 von Common Crawl sind 42,6 % der Seiten vorwiegend englisch, danach folgen Russisch (6,3 %), Deutsch (5,8 %), Japanisch (4,9 %), Französisch (4,8 %), Spanisch (4,7 %) und Chinesisch (4,4 %). Hindi kommt auf 0,21 %, Swahili auf 0,01 %.

Trainingsdatensätze können noch schiefer sein. Meta gab an, dass die Vortrainingsdaten von Llama 2 zu 89,7 % englisch waren, und warnte, das Modell funktioniere auf Englisch am besten. Llama 3 nutzte 8 % mehrsprachige Tokens; Qwen3 deckt 119 Sprachen und Dialekte ab. Eine Prüfung von fast 4.000 öffentlichen Datensätzen durch die Data Provenance Initiative ergab, dass sich ihre geografische und sprachliche Vielfalt seit 2013 kaum verbessert hat.

Filter bringen eigene Verzerrungen mit. Sperrlisten für anstößige Wörter entfernten in C4 Texte über Angehörige von Minderheiten überdurchschnittlich oft (Dodge und Kolleg:innen, 2021). Das Team von Abeba Birhane fand, dass hasserfüllte Inhalte um fast 12 % zunahmen, als ein Bild-Text-Datensatz von 400 Mio. auf 2 Mrd. Paare wuchs. Die Tokenisierung erhebt dann noch einen Aufschlag, mit bis zu 15-mal so vielen Tokens für denselben Text in manchen Sprachen.

Andere schließen Lücken. Im Projekt Aya von Cohere schrieben Muttersprachler:innen aus 119 Ländern Anweisungsdaten in 65 Sprachen. FineWeb2 von Hugging Face wendet einen anpassbaren Reinigungsablauf auf über 1.000 Sprachen an. Für Hochrisiko-KI verlangt der EU AI Act, dass Trainings-, Validierungs- und Testdaten relevant und hinreichend repräsentativ sind, auch für die betroffenen Gruppen (Artikel 10, kürzlich geändert; prüf den aktuellen Wortlaut).

Was Modelle behalten und wie sich Daten vergiften lassen

Modelle speichern Muster und manchmal ganze Passagen. Das nennt man Memorisierung. Carlini und Kolleg:innen zogen 2020 Hunderte wortgleiche Textstellen aus GPT-2, darunter Namen, Telefonnummern, E-Mail-Adressen und Code, manche davon standen nur in einem einzigen Trainingsdokument. 2023 extrahierte ein Team mit Forschenden von Google DeepMind Gigabytes an Trainingsdaten aus offenen und geschlossenen Modellen; ein Angriff brachte ChatGPT dazu, etwa 150-mal häufiger Trainingsdaten auszugeben. Das Alignment-Training beseitigte die Memorisierung nicht.

Duplikate erhöhen das Risiko: Deduplizierung senkte wortgleich wiedergegebene Textstellen in einer Studie etwa um das Zehnfache. Für den Datenschutz ist das unmittelbar wichtig. Der Europäische Datenschutzausschuss (Stellungnahme 28/2024) sagt, ob ein Modell als anonym gilt, sei im Einzelfall zu prüfen, und unrechtmäßig verarbeitete Trainingsdaten können die spätere Nutzung nach der DSGVO belasten. Die französische Aufsicht CNIL (Februar 2025) ergänzt, dass Menschen informiert werden müssen, wenn ihre Daten memorisiert sein könnten, und fordert Datenschutz von Anfang an, weil sich Rechte wie Löschung an einem trainierten Modell kaum durchsetzen lassen.

Datenvergiftung ist das gezielte Einschleusen manipulierter Daten. In einer Studie von Anthropic, dem britischen AI Security Institute und dem Alan Turing Institute (2025) reichten 250 manipulierte Dokumente, etwa 0,00016 % der Trainings-Tokens, um Modellen von 600 Mio. bis 13 Mrd. Parametern eine Hintertür einzubauen. Die Hintertür ließ das Modell nach einem Auslösewort nur Kauderwelsch ausgeben, und ob das Ergebnis für größere Modelle oder schädlicheres Verhalten gilt, ist offen. OWASP führt Vergiftung im Vortraining, beim Fine-Tuning und bei Embeddings auf und empfiehlt, die Herkunft von Daten nachzuverfolgen, Datenlieferanten zu prüfen und Datensätze zu versionieren.

Halte Geheimnisse, Passwörter und unnötige personenbezogene Daten aus allem heraus, was fürs Training genutzt werden könnte. Einmal eintrainiert, lassen sie sich praktisch nicht mehr entfernen, ein Datenleck ohne Rückgängig-Knopf. Anthropics eigene Bedingungen halten fest, dass bereits fürs Training genutzte Daten in diesen Modellen bleiben.

Rechte, Zustimmung und Dokumentation

Wer womit trainieren darf, entscheidet jede Region selbst (siehe Tabelle unten). In den USA wägen Gerichte Fair Use, eine flexible Ausnahme im Urheberrecht, im Einzelfall ab. Im Juni 2025 entschied ein Richter in Bartz gegen Anthropic, dass Training mit rechtmäßig gekauften Büchern Fair Use war, eine dauerhafte Bibliothek aus Raubkopien dagegen nicht; der Fall endete mit einem Vergleich über 1,5 Mrd. $, etwa 3.000 $ pro Buch. Am 29.09.2026 urteilte mit dem Third Circuit erstmals ein Berufungsgericht: Im Fall Thomson Reuters gegen Ross lehnte es Fair Use für ein nicht generatives Rechtsrecherche-Werkzeug ab, das auf 2.243 Leitsätzen beruhte, und sah einen Schaden für einen entstehenden Markt, Leitsätze als KI-Trainingsdaten zu lizenzieren. Generative KI ließ es ausdrücklich offen. Mehr unter Urheberrecht und KI.

Die EU erlaubt Text- und Data-Mining, solange Rechteinhaber:innen sich ihre Rechte nicht maschinenlesbar vorbehalten. Seit August 2025 müssen Anbieter von KI-Modellen mit allgemeinem Verwendungszweck außerdem eine Zusammenfassung ihrer Trainingsinhalte nach einer Vorlage der Kommission veröffentlichen. Im November 2025 urteilte das Landgericht München, dass im Modell gespeicherte Liedtexte eine Vervielfältigung sind (GEMA gegen OpenAI, nicht rechtskräftig). Parallel bilden sich Preise: Reddits Verträge mit Google und OpenAI sollen bei etwa 60 Mio. und 70 Mio. $ pro Jahr liegen (Presseangaben, von den Firmen unbestätigt).

Zustimmung im Web läuft vor allem über robots.txt, eine freiwillige Datei, die einem Crawler sagt, was er auslassen soll. Wie viele Seiten KI-Crawler sperren, hängt von der Stichprobe ab: 5,7 bis 5,9 % von rund 140 Mio. Websites (Ahrefs, ein SEO-Anbieter), 12,7 % von 11.100 Top-Landingpages mit namentlicher Sperre und 39,9 %, wenn Pauschalsperren für alle Bots mitzählen (Zyte, eine Scraping-Firma), und über 28 % der am aktivsten gepflegten Quellen hinter dem Datensatz C4 (Longpre und Kolleg:innen, 2024). Seit Juli 2025 sperrt Cloudflare KI-Crawler für neue Kund:innen standardmäßig. Ein feineres Vokabular entsteht bei der IETF: Entwurf 08 vom September 2026 unterscheidet KI-Training, Nutzung als Eingabe für ein Modell und Suche. Er ist noch ein Entwurf und vermerkt selbst, dass er keinen Konsens der Arbeitsgruppe wiedergibt.

Dokumentation macht Daten überprüfbar. Timnit Gebru und Mitautor:innen schlugen 2018 vor, jedem Datensatz ein Datenblatt beizulegen; Googles Data Cards (2022) sind eine strukturierte Fassung im Praxiseinsatz, und Modelle bekommen Model Cards. Die EU-Zusammenfassung der Trainingsinhalte mit ihrer Vorlage vom 24.07.2025 ist die erste gesetzlich vorgeschriebene Form.

Diese Übersicht ist eine allgemeine Information. Gesetze und Verfahren ändern sich schnell, prüf den aktuellen Stand mit einer Anwältin oder einem Anwalt, bevor du dich darauf stützt.

Die Menschen hinter den Daten

Hinter jedem Assistenten steckt menschliche Arbeit: Menschen schreiben Beispielantworten, bewerten Ausgaben, beschriften Bilder und sichten verstörende Inhalte. Das ist Datenbeschriftung, und sie speist RLHF und jede andere Methode des Nachtrainings. Das Marktforschungsunternehmen Grand View Research bezifferte den Markt 2024 auf 3,8 Mrd. $ und erwartet binnen fünf Jahren über 17 Mrd. $ (Schätzung, berichtet von AFP).

Niemand zählt diese Arbeitskräfte genau. Die Weltbank schätzte 2023 weltweit 154 bis 435 Mio. Menschen in Online-Plattformarbeit, über alle Arten von Aufgaben; die hohe Zahl ist umstritten. Informelle Regierungsschätzungen zählen über 2 Mio. Menschen auf den Philippinen in Online-Crowdwork, und Indiens IT-Branchenverband NASSCOM sieht ein mögliches Potenzial von bis zu 1 Mio. Arbeitskräften für Annotation. In Kenia hat die Data Labelers Association rund 800 Mitglieder.

Die Arbeitenden beschreiben Unsicherheit. Im März 2024 schloss Remotasks, eine Tochter von Scale AI, die Konten kenianischer Arbeitskräfte, nachdem deren Auszahlungen seit Dezember eingefroren waren, berichtet der Organisator Mophat Okinyi. Die Washington Post befragte 2023 auf den Philippinen 36 Arbeitende; alle bis auf zwei berichteten von verspätetem, gekürztem oder gestrichenem Lohn. Scale sagt, seine Sätze erreichten oder überträfen die örtlichen Mindestlöhne. Im Juli 2026 arbeitete Kenias IKT-Ministerium an Regeln zu Mindestlohn und psychologischer Betreuung für Annotator:innen und Moderator:innen.

• Kenia (2023): 1,32 bis 2 $ pro Stunde netto für Arbeitskräfte, die über Sama für OpenAI beschrifteten; Sama nannte 1,46 bis 3,74 $ nach Steuern, OpenAI zahlte Sama 12,50 $ pro Stunde (TIME).
• Philippinen (2023): Mindestlohn von 6 bis 10 $ pro Tag; bei manchen Remotasks-Projekten fiel der Lohn pro Aufgabe von 10 $ auf unter einen Cent (Washington Post).
• Venezuela und Kolumbien: im Schnitt etwas über 90 Cent pro Stunde bei Remotasks, nach Angabe von Scale (2022); 5 bis 25 US-Cent pro Aufgabe für einen venezolanischen Arbeiter in Kolumbien (AFP, 2025).
• Indien (2026): 10.000 bis 15.000 Rupien pro Monat bei Annotationsfirmen in Noida, 17.000 Rupien nach vier Jahren (ThePrint).
• Fachkräfte als Bewerter:innen: 30 bis 50 $ pro Stunde für Spezialist:innen bei Outlier, einer Plattform von Scale; Anthropic sagt, seine Subunternehmer müssten mindestens 16 $ pro Stunde zahlen (Firmenangabe, über AFP).
• Ein Gegenmodell: Karya in Indien garantiert mindestens 5 $ pro Stunde und gibt alle Erlöse aus dem Weiterverkauf der Daten an die Arbeitenden zurück (Firmenangaben, berichtet von TIME).

Alle Lohnangaben stammen von Arbeitenden, Firmen oder Reporter:innen und sind ungeprüft. Sie reichen über etwa den Faktor 100, von Cents pro Aufgabe bis 50 $ pro Stunde.

Deine Daten: RAG, Fine-Tuning und was Anbieter behalten

Für Firmenwissen ist der übliche Weg RAG, Retrieval-Augmented Generation. Das System durchsucht zuerst deine Dokumente und gibt dem Modell die passenden Stellen zusammen mit der Frage. Die Suche läuft über Embeddings, Zahlenlisten, die Bedeutung abbilden, gespeichert in einer Vektordatenbank, damit sich Stellen finden lassen, die der Frage inhaltlich nahe sind. Die Idee geht auf eine Studie von Facebook AI Research, UCL und NYU aus dem Jahr 2020 zurück.

Fine-Tuning verändert das Modell selbst. In einem Vergleich von 2023 schlug die Suche das Fine-Tuning beim Ergänzen von Wissen, für bereits gesehene wie für neue Fakten; Modelle taten sich schwer, neue Fakten per Fine-Tuning zu lernen. Bei RAG reisen deine Dokumente trotzdem mit jeder Frage zum Anbieter, darum gelten dessen Datenbedingungen.

Diese Bedingungen unterscheiden sich je nach Tarif. Die folgenden Punkte sind Selbstauskünfte der Anbieter und können sich ändern. OpenAI sagt, es nutze Geschäfts- und API-Daten standardmäßig nicht fürs Training, speichere API-Daten bis zu 30 Tage zur Missbrauchskontrolle und biete für geeignete Dienste auf Anfrage null Speicherung an. Anthropic lässt Nutzende von Free, Pro und Max wählen, ob ihre Chats Modelle trainieren, mit fünf Jahren Speicherung bei Zustimmung und 30 Tagen bei Ablehnung; Geschäftstarife und die API sind ausgenommen. Google nutzt Inhalte aus dem kostenlosen Gemini-API-Tarif zur Produktverbesserung, auch mit menschlichen Prüfer:innen, und sagt, es nutze Anfragen aus bezahlten Diensten dafür nicht. Gerichte können Löschung aushebeln: Im Fall NYT gegen OpenAI ordnete ein Richter die Herausgabe von 20 Mio. anonymisierten ChatGPT-Protokollen an.

• RAG: Fakten, die sich ändern, Antworten mit Quellen, Zugriffsrechte pro Person. Die Daten bleiben außerhalb des Modells und lassen sich aktualisieren oder löschen.
• Fine-Tuning: einheitlicher Ton oder einheitliches Format, Klassifikation, eine eng umrissene, oft wiederholte Aufgabe, häufig mit einem kleinen Sprachmodell.
• Nur Embeddings: Suche nach Bedeutung, Gruppieren oder Entdoppeln deiner eigenen Dokumente, ganz ohne textgenerierendes Modell.
• Beides zusammen: ein feinabgestimmtes Modell, das aus abgerufenen Dokumenten antwortet.

1. 01Tarif wählen. Nutze für Firmendaten Geschäfts- oder API-Tarife und halte sie aus kostenlosen Privatkonten heraus.
2. 02Einstellungen prüfen. Schau bei jedem Werkzeug nach Trainingseinstellung und Speicherdauer und halte beides schriftlich fest.
3. 03Vertraglich festhalten. Frag nach null Speicherung oder einer festen Datenregion, wo verfügbar, und halte es in einem Auftragsverarbeitungsvertrag fest. Wo Daten liegen und welches Recht gilt, ist der Kern von Datensouveränität.
4. 04Das Nötigste schicken. Entferne personenbezogene Daten und Geheimnisse, bevor sie in einen Prompt gehen.
5. 05Daten als Wert behandeln. Bewahre deine besten Daten als RAG-Quellen, Fine-Tuning-Beispiele und privaten Testsatz auf, über die du selbst bestimmst.
6. 06Herkunft dokumentieren. Halte für alle Daten, mit denen du trainierst, Quelle und Rechte in einem kurzen Datenblatt fest. Das bereitet dich auf Pflichten aus dem EU AI Act vor, falls du KI in Hochrisikobereichen einsetzt oder selbst Modelle anbietest.

Die Entscheidungsregel und die sechs Schritte sind Aulorys Zusammenfassung der Quellen auf dieser Seite.

Woraus die Schicht besteht

Kennzahlen, mit Quelle und Datum

• 36 Bio. Tokensnutzte Qwen3 im Vortraining, in 119 Sprachen, der größte offengelegte offene Datensatz. OpenAI, Anthropic und Google nennen keine Zahlen.Alibaba, Qwen3 Technical Report · 14.05.2025 · Anbieter
• 2,16 Mrd. Seitenumfasst das Oktober-Archiv 2026 von Common Crawl, 371 TiB unkomprimiert. Auf diesem offenen Webarchiv bauen die meisten Trainingsdatensätze auf.Common Crawl · 21.10.2026 · neutral
• 42,6 %der Seiten im neuesten Common Crawl sind vorwiegend englisch. Hindi kommt auf 0,21 %, Swahili auf 0,01 %.Common Crawl statistics · Oktober 2026 · neutral
• 6,6-malweniger Rechenaufwand: Ein 7B-Modell, trainiert mit dem gefilterten DCLM-Satz von 2,6 Bio. Tokens, erreichte Llama 3 8B über 53 Aufgaben.DataComp-LM (Li et al.) · 17.06.2024 · Wissenschaft, Preprint
• 2026 bis 2032erreichen Trainingsdatensätze laut Prognose den Bestand an öffentlichem Menschentext, im Median rund 320 Bio. Tokens.Epoch AI · 04.06.2024 · neutral, Prognose
• über 80 %des Quellmaterials in verbreiteten Text-, Sprach- und Videodatensätzen unterliegt Beschränkungen auf nicht kommerzielle Nutzung. Weniger als ein Drittel der Datensätze selbst trägt eine einschränkende Lizenz.Longpre et al., Data Provenance Initiative · 19.12.2024 · Wissenschaft, Preprint
• 250manipulierte Dokumente, etwa 0,00016 % der Trainings-Tokens, bauten Modellen bis 13 Mrd. Parameter eine Hintertür ein.Anthropic, UK AISI, Alan Turing Institute · 09.10.2025 · Anbieter mit Behörde
• 3,8 Mrd. $betrug der Markt für Datenbeschriftung 2024, binnen fünf Jahren sollen es über 17 Mrd. $ sein. Die Löhne reichen von Cents pro Aufgabe bis 50 $ pro Stunde.Grand View Research via AFP · 16.10.2025 · Marktforschung, Zweitquelle
• 1,5 Mrd. $beträgt der Vergleich zwischen Anthropic und Buchautor:innen, etwa 3.000 $ pro Buch, das bisher größte Preisschild für Trainingsdaten.Jurist · Juli 2026 · Zweitquelle

Regionen im Vergleich

Die Regeln für Trainingsdaten folgen unterschiedlichen Logiken. Die USA überlassen sie Gerichten im Einzelfall. Die EU, Japan und Singapur haben gesetzliche Ausnahmen mit Bedingungen oder Widerspruchsrecht. Indien und Brasilien diskutieren Lizenz- und Vergütungsmodelle, Großbritannien hat die Frage offengelassen. China beaufsichtigt Trainingsdaten über staatliche Regeln. Vieles davon ist Entwurf oder in Berufung, und vergleichbare Zahlen zu Datenarbeit und Sprachen gibt es nur für manche Regionen.

Quellen: LawNext (12.10.2026), Jurist (Juli 2026), AI Lawsuit Tracker, Europäische Kommission (April 2026), Bird & Bird, CMS, Cross-Border Data Forum (19.03.2026), irische DPC (21.05.2025), DLA Piper (19.03.2026), Burges Salmon (19.12.2025), China Law Translate, Digital Policy Alert, APAA (Oktober 2024), IPOS (2026), Takshashila (Dezember 2025), ThePrint (01.09.2026), GoLegal (21.07.2026), Business Daily Africa (24.07.2026), TIME (18.01.2023), casrai.org und CISAC zu Brasilien, MIT Technology Review (20.04.2022), AFP über Casilli (16.10.2025), Common-Crawl-Statistik. Viele Angaben beruhen auf Zusammenfassungen von Kanzleien oder Presse. Keine Rechtsberatung.

Beispiele

• Common Crawl ist das frei zugängliche Webarchiv, auf dem die meisten Trainingsdatensätze aufbauen.
• FineWeb von Hugging Face filtert daraus etwa 15 Billionen Tokens hochwertigen Text.
• Alibaba trainiert Qwen mit Webtext, aus PDFs extrahiertem Text und synthetischen Texten früherer Modelle.
• Scale AI und Surge AI vermitteln Menschen, die Daten beschriften und Antworten bewerten.

Warum es eine Rolle spielt

Daten bestimmen, was ein Modell weiß, welche Sprachen es gut bedient und wo es scheitert. Gefilterte Daten schlagen größere Rohdaten, und die Mischung aus Sprachen und Stimmen im Web zeigt sich in jeder Antwort. Während öffentlicher Menschentext knapp wird und sich mit maschinell geschriebenem Text füllt, gewinnen echte menschliche Daten an Wert, auch deine Kundengespräche und die Entscheidungen deiner Fachleute.

Daten bestimmen auch, was erlaubt ist und was es kostet. Gerichte auf mehreren Kontinenten geben Trainingsmaterial einen Preis, Aufsichtsbehörden fragen, wie personenbezogene Daten in Modelle gelangt sind, und die Menschen, die Daten beschriften, organisieren sich. Für dich folgen daraus zwei Fragen: Was passiert mit den Daten, die du einem Modell gibst, und welche deiner eigenen Daten lohnt es sich zu schützen und zu nutzen?

Häufige Irrtümer

• Jede Eingabe trainiert das Modell.

  OpenAI und Anthropic nehmen Geschäftstarife und APIs standardmäßig vom Training aus, Google sagt das für bezahlte Gemini-Dienste; manche kostenlose und private Tarife trainieren mit Chats oder lassen dich wählen (Anbieterangaben).

• Mit Fine-Tuning bringst du einem Modell dein Firmenwissen bei.

  In einem direkten Vergleich ergänzte die Suche (RAG) Wissen besser als Fine-Tuning (Ovadia und Kolleg:innen, 2023). Fine-Tuning formt Verhalten, Ton und Format.

• Mehr Daten machen ein Modell immer besser.

  Schon die Chinchilla-Autor:innen schreiben, dass größere Datensätze nur mit hochwertigen Daten helfen; gefilterte Sätze wie FineWeb-Edu und DCLM schlagen größere Rohdaten.

• Modelle behalten nur abstraktes Wissen.

  Sie können Trainingstext wortgleich wiedergeben, auch personenbezogene Daten (Carlini und Kolleg:innen, 2021; Nasr und Kolleg:innen, 2023).

• Synthetische Daten ruinieren Modelle.

  Der Kollaps trat auf, wenn synthetische Daten echte ersetzten; zusätzlich zu echten Daten blieb der Fehler begrenzt, und kuratierte synthetische Lehrbücher halfen Microsofts phi-1 (Gerstgrasser und Kolleg:innen, 2024).

• Benchmark-Ergebnisse sind objektiv.

  Testfragen gelangen in Trainingsdaten. Bei einem neuen Mathe-Satz verloren führende Modelle bis zu 8 % Genauigkeit (GSM1k, NeurIPS 2024).

• Wer später widerspricht, holt seine Daten aus dem Modell.

  Anthropic hält fest, dass bereits genutzte Trainingsdaten in diesen Modellen bleiben, und die französische CNIL weist darauf hin, dass sich Löschung an einem trainierten Modell kaum durchsetzen lässt.

Perspektiven führender Fachleute

Zehn Perspektiven aus Forschung, Industrie, Datenarbeit und einer indigenen Gemeinschaftsorganisation. Jede Zusammenfassung gibt ein veröffentlichtes Werk sinngemäß wieder, verlinkt darunter. Anbieter sind als solche gekennzeichnet.

• Shayne Longpre und Mitautoren

  Teamleiter der Data Provenance Initiative, eines ehrenamtlichen Kollektivs unabhängiger und akademischer Forschender, Nordamerika · Wissenschaft

  Eine Prüfung von fast 4.000 öffentlichen Datensätzen aus den Jahren 1990 bis 2024 ergab, dass weniger als ein Drittel eine einschränkende Lizenz trägt, über 80 % des zugrunde liegenden Quellmaterials aber nur nicht kommerziell genutzt werden darf. Das Lizenzetikett eines Datensatzes kann die echten Grenzen also unterschätzen. Trotz mehr Sprachen und Länder hat sich die geografische und sprachliche Vielfalt seit 2013 kaum verbessert, eine Schieflage, die die Autor:innen westlich zentriert nennen.

  Bridging the Data Provenance Gap Across Text, Speech and Video · Dezember 2024

• Timnit Gebru und Mitautoren

  Gründerin und Direktorin des DAIR Institute, früher Co-Leiterin des Ethical-AI-Teams bei Google, USA · Wissenschaft

  Für Datensätze im maschinellen Lernen fehlt eine einheitliche Dokumentation, und wenn Datensatz und Einsatz nicht zusammenpassen, kann das schaden. Nach dem Vorbild der Elektronik schlagen die Autor:innen vor, jedem Datensatz ein Datenblatt beizulegen: zu Zweck, Zusammensetzung, Erhebung, Aufbereitung und Beschriftung, Nutzung, Weitergabe und Pflege. Es von Hand zu schreiben zwingt die Ersteller:innen zum Nachdenken und gibt Nutzenden, was sie für die Wahl der richtigen Daten brauchen.

  Datasheets for Datasets (Communications of the ACM) · Dezember 2021

• Abeba Birhane und Mitautoren

  Leitet das AI Accountability Lab am Trinity College Dublin, Irland · kritische Forschung

  Beim Vergleich der Bild-Text-Datensätze LAION-400M und LAION-2B fand das Team, dass hasserfüllte Inhalte mit der Größe um fast 12 % zunahmen. Ein Filter, der nur auf NSFW-Werte der Bilder achtet, ließ hasserfüllte, gezielte und aggressive Alt-Texte stehen. Wer gesammelte Daten vergrößert, vergrößert auch ihre Probleme.

  Into the LAION's Den: Investigating Hate in Multimodal Datasets · November 2023

• Andrew Ng

  KI-Forscher und Unternehmer, prominenter Fürsprecher datenzentrierter KI, USA · Anbieter

  Er beschreibt datenzentrierte KI als Disziplin, die Daten für ein KI-System systematisch zu gestalten. In Branchen ohne riesige Datensätze zählen saubere, gut gewählte Daten am meisten, und rund 50 sorgfältig erstellte Beispiele können reichen. Teams sollten widersprüchliche Beschriftungen finden und korrigieren und neue Daten nur dort sammeln, wo das Modell schwach ist.

  Andrew Ng: Unbiggen AI (IEEE Spectrum) · 09.02.2022

• Sara Hooker und Mitautoren

  Bis September 2025 Leiterin von Cohere Labs, heute Mitgründerin des Start-ups Adaption Labs, Kanada und USA · Anbieter und Wissenschaft

  Daten fürs Anweisungstraining waren fast nur englisch. Im Projekt Aya schrieben Muttersprachler:innen natürliche Anfragen und Antworten; so entstanden ein von Menschen kuratierter Datensatz in 65 Sprachen und eine größere Sammlung mit 513 Mio. Beispielen in 114 Sprachen, mit Beitragenden aus 119 Ländern. Die Autor:innen sehen darin eine Fallstudie für partizipative Forschung.

  Aya Dataset: An Open-Access Collection for Multilingual Instruction Tuning · Februar 2024

• Ilia Shumailov und Mitautoren

  Erstautor der Forschung zum Modellkollaps, Großbritannien · Wissenschaft

  Wenn Modelle aus Webinhalten lernen, die zunehmend andere Modelle geschrieben haben, verschwinden zuerst die seltenen, unwahrscheinlichen Teile der Originaldaten, und der Schaden lässt sich nicht rückgängig machen. Der Effekt zeigt sich in einfachen Modellen wie in Sprachmodellen und gilt für generative Modelle allgemein. Je mehr synthetische Inhalte sich verbreiten, desto wertvoller werden echte menschliche Daten.

  The Curse of Recursion: Training on Generated Data Makes Models Forget · Mai 2023

• Adrienne Williams, Milagros Miceli und Timnit Gebru

  Autor:innen aus dem Umfeld des DAIR Institute zur Datenarbeit · kritische Forschung

  Das Gerede über empfindungsfähige KI lenkt von den Millionen unterbezahlten, stark überwachten Arbeitskräften ab, die heutige Systeme am Laufen halten. Die Autor:innen nennen Datenarbeitende mit nur 1,46 $ Stundenlohn nach Steuern und Moderator:innen in Kenia, die Berichten zufolge 50 Sekunden pro Entscheidung über Gewaltvideos hatten. Sie wollen grenzüberschreitende Organisierung der Arbeitenden ins Zentrum ethischer KI stellen.

  The Exploited Labor Behind Artificial Intelligence (Noema) · 13.10.2022

• Mophat Okinyi

  Ehemaliger Content-Moderator und Datenbeschrifter, Gründer und CEO von Techworker Community Africa, Kenia · Interessenvertretung und Communities

  Im Dezember 2023 fror die Zahlungsplattform AirTM die Verdienste der Remotasks-Arbeitskräfte ein, am 09.03.2024 schloss Remotasks ihre Konten endgültig, betroffen waren Tausende in afrikanischen Ländern. Die Arbeitenden fordern die eingefrorenen Gelder zurück, Regeln für Plattformarbeit, psychologische Unterstützung für alle, die verstörende Inhalte sichten, gleiche Bezahlung unabhängig vom Wohnort und fairere automatische Qualitätsbewertungen.

  Impact of Remotasks' Closure on Kenyan Workers (Data Workers' Inquiry) · 2024

• Keoni Mahelona und Mitautoren, Te Hiku Media

  Gemeinnützige Medienorganisation der Māori, die auch Sprachdienste für te reo Māori anbietet, Aotearoa Neuseeland · Interessenvertretung und Communities

  Sie argumentieren, dass OpenAIs Whisper, trainiert mit 680.000 Stunden Web-Audio, vermutlich ohne Zustimmung gesammeltes te reo Māori und ʻōlelo Hawaiʻi enthält und damit koloniale Ausbeutung wiederholt. Sie sehen Daten als Taonga, einen Schatz, den man hütet, und sagen, die Gemeinschaften, aus denen sie stammen, sollten über die Nutzung entscheiden. Mit rund 125 Stunden eigener Daten nachtrainiert, erreichte Whisper 38 % Wortfehlerrate, ihr früheres System 53 %.

  OpenAI's Whisper is another case study in Colonisation (Papa Reo) · 24.01.2023

• Manu Chopra

  CEO von Karya, einem Daten- und Evaluationsunternehmen in Bengaluru, Indien · Anbieter

  Laut TIME garantiert Karya seinen Arbeitskräften mindestens 5 $ pro Stunde, fast das 20-Fache des indischen Mindestlohns, und gibt ihnen alle Erlöse aus dem Weiterverkauf ihrer Daten zurück. Rund 30.000 Arbeitskräfte auf dem Land hatten damals etwa 800.000 $ erhalten, Tantiemen eingeschlossen. Chopra nennt die heutigen Löhne in der Datenarbeit ein Marktversagen.

  TIME feature on Karya · 2023

Begriffe zu dieser Schicht

• TrainingsdatenDie Texte, Bilder, Codes und anderen Beispiele, aus denen ein Modell lernt. Was hineingeht, prägt, was herauskommt.
• TokenDas kleine Textstück, das ein Modell liest und schreibt. Preis, Geschwindigkeit und Speichergrenzen werden alle in Tokens gezählt.
• Pre-TrainingDie erste und teuerste Trainingsphase, in der ein Modell aus riesigen, breiten Datenmengen allgemeine Muster lernt.
• Post-TrainingAlles, was nach dem Pre-Training passiert, um aus einem rohen Basismodell einen hilfreichen, sichereren Assistenten zu machen.
• ParameterDie Milliarden Zahlen in einem Modell, festgelegt beim Training. Alles, was das Modell weiß, steckt in ihnen.
• KontextfensterDie maximale Textmenge, die ein Modell auf einmal aufnehmen kann. Wenn es voll ist, muss etwas weichen.
• Web-CrawlDas automatische Herunterladen riesiger Mengen öffentlicher Webseiten. Der Rohstoff fast jedes Trainingsdatensatzes.
• Knowledge CutoffDas Datum, ab dem ein Modell nichts Neues mehr gelernt hat. Alles, was danach kam, musst du ihm mitgeben.
• DeduplizierungDas Entfernen von Kopien und Beinahe-Kopien aus Trainingsdaten, damit ein Modell mehr lernt und weniger auswendig behält.
• SkalierungsgesetzeDie Beobachtung, dass der Fehler eines Modells vorhersagbar sinkt, wenn Modellgröße, Daten und Rechenleistung wachsen.
• BenchmarkEin Standardtest, mit dem man Modelle vergleicht. Gut zur Orientierung, aber kein Ersatz für Tests mit deinen eigenen Aufgaben.
• Synthetische DatenTrainingsbeispiele, die ein Modell oder Programm erzeugt hat, statt dass Menschen sie geschrieben oder aufgenommen haben.
• Fine-TuningEin bestehendes Modell mit deinen eigenen Beispielen weitertrainieren, um sein Verhalten zu ändern. Selten der erste Schritt.
• Reinforcement LearningEine Trainingsart, bei der ein System durch Ausprobieren lernt, welche Handlungen auf Dauer die meiste Belohnung bringen.
• RLHFBestärkendes Lernen aus menschlichem Feedback: Menschen ordnen Antworten eines Modells, und das Modell lernt, Antworten zu geben, die Menschen bevorzugen.
• Reasoning-ModellEin Modell, das vor der finalen Antwort Zwischenschritte erzeugt und so Zeit und Tokens gegen bessere Ergebnisse bei schweren Aufgaben tauscht.
• Model CollapseWas passiert, wenn Modelle immer wieder mit KI-erzeugten Daten trainiert werden: Die seltenen Fälle verschwinden, und der Schaden bleibt.
• Benchmark-KontaminationWenn Testfragen in den Trainingsdaten eines Modells landen und sein Benchmark-Ergebnis seine Fähigkeit überschätzt.
• EvalsWiederholbare Tests, die zeigen, ob dein KI-Setup wirklich funktioniert und ob eine Änderung es besser oder schlechter gemacht hat.
• BiasSystematische Unfairness in KI-Ergebnissen, geerbt aus Daten oder Designentscheidungen.
• Hochrisiko-KI-SystemKI in sensiblen Bereichen wie Einstellungen, Krediten oder Bildung, für die die strengsten EU-Regeln gelten.
• KI-VerordnungDas KI-Gesetz der EU: Es ordnet Einsätze nach Risiko und legt Pflichten für alle fest, die KI entwickeln und einsetzen.
• MemorisierungWenn ein Modell Stücke seiner Trainingsdaten speichert und wortgleich wiedergeben kann, auch personenbezogene Daten.
• DSGVODas Datenschutzgesetz der EU. Es gilt immer dann, wenn KI-Tools personenbezogene Daten über Menschen in der EU verarbeiten.
• DatenvergiftungDas Einschleusen manipulierter Daten in Trainings- oder Suchquellen eines Modells, um sein Verhalten zu verändern.
• DatenleckVertrauliche Informationen landen, wo sie nicht hingehören: in einem Prompt, einem Log oder der Antwort für jemand anderen.
• Urheberrecht & KIDie offenen Rechtsfragen rund ums Training von KI mit geschützten Werken und darum, wem KI-Erzeugtes gehört, falls überhaupt jemandem.
• Text- und Data-MiningDie automatische Auswertung großer Mengen von Text und Daten. In vielen Ländern eine gesetzliche Ausnahme, die KI-Training abdeckt, mit Bedingungen.
• KI-Modell mit allgemeinem VerwendungszweckDer Begriff der KI-Verordnung für breit einsetzbare Modelle wie große Sprachmodelle, die für viele verschiedene Aufgaben nutzbar sind.
• robots.txtEine kleine Textdatei auf einer Website, die Crawlern, auch KI-Crawlern, sagt, welche Seiten sie auslassen sollen.
• Data CardEin kurzes, strukturiertes Dokument, das sagt, woher ein Datensatz stammt, was er enthält und wofür er gedacht ist.
• Model CardEin kurzes Dokument zu einem KI-Modell, das sagt, wofür es gedacht ist, wie es getestet wurde und wo es Schwächen hat.
• DatenbeschriftungMenschen markieren, schreiben und bewerten Daten, damit Modelle daraus lernen können. Die verborgene menschliche Arbeit hinter KI.
• Retrieval-Augmented GenerationErst die passenden Dokumente heraussuchen und sie dem Modell geben, damit es aus deinen Quellen antwortet.
• EmbeddingsText, umgewandelt in Zahlenlisten, die seine Bedeutung erfassen. Die Grundlage für semantische Suche und RAG.
• VektordatenbankEine Datenbank, die Embeddings speichert, damit du deine Dokumente nach Bedeutung statt nach exakten Stichwörtern durchsuchen kannst.
• Training mit deinen DatenWenn ein Anbieter nutzt, was du eintippst oder hochlädst, um seine künftigen Modelle zu verbessern. Oft eine Einstellung, manchmal eine Vertragsklausel.
• Kleines SprachmodellEin kompaktes Sprachmodell, das schnell und günstig läuft, oft auf Laptop oder Smartphone, auf Kosten mancher Fähigkeiten.
• AuftragsverarbeitungsvertragDer Vertrag, der festlegt, wie ein Anbieter personenbezogene Daten in deinem Auftrag verarbeiten darf. Nach der DSGVO Pflicht.
• DatensouveränitätDie Kontrolle darüber behalten, wo deine Daten liegen, wer darauf zugreifen kann und welches Recht gilt.
• AlignmentDas Bemühen, dass KI tut, was Menschen beabsichtigen und wichtig ist. Was das genau heißt, ist noch umstritten.
• ComputeDie Rechenleistung samt Chips und Software dahinter, die KI fürs Training und für den Betrieb braucht.
• APIDie programmierbare Verbindung zu einem Modellanbieter. Du zahlst pro Token und behältst mehr Kontrolle als in einer Chat-App.
• PromptAlles, was du einem Modell schickst, um ein Ergebnis zu bekommen: deine Frage, Anweisungen, Beispiele und Material.
• DatenresidenzWo deine Daten physisch gespeichert und verarbeitet werden. Sie ist ein Teil der Datensouveränität.

Quellen

1. Language Model Tokenizers Introduce Unfairness Between Languages, Petrov, La Malfa, Torr, Bibi (NeurIPS 2023), 17.05.2023
2. The Llama 3 Herd of Models, Meta (vendor), 31.07.2024
3. The FineWeb Datasets, Penedo et al., Hugging Face, 25.06.2024
4. DataComp-LM: In search of the next generation of training sets, Li et al., 17.06.2024
5. Deduplicating Training Data Makes Language Models Better, Lee et al., 14.07.2021
6. Training Compute-Optimal Large Language Models (Chinchilla), Hoffmann et al., DeepMind (NeurIPS 2022), 29.03.2022
7. Textbooks Are All You Need (phi-1), Gunasekar et al., Microsoft (vendor), 20.06.2023
8. Qwen3 Technical Report, Alibaba (vendor), 14.05.2025
9. DeepSeek-V3 Technical Report, DeepSeek (vendor), 27.12.2024
10. Will we run out of data? Limits of LLM scaling based on human-generated data, Villalobos et al., Epoch AI, 04.06.2024
11. October 2026 crawl archive now available, Common Crawl, 21.10.2026
12. Language statistics of the crawls, Common Crawl, Oktober 2026
13. Training language models to follow instructions with human feedback (InstructGPT), Ouyang et al., OpenAI (vendor), 04.03.2022
14. Direct Preference Optimization, Rafailov et al., Stanford, 29.05.2023
15. Constitutional AI: Harmlessness from AI Feedback, Bai et al., Anthropic (vendor), 15.12.2022
16. Tulu 3: Pushing Frontiers in Open Language Model Post-Training, Lambert et al., Allen Institute for AI, 22.11.2024
17. DeepSeek-R1 (Nature 645, 2025), DeepSeek (vendor), 22.01.2025
18. AI models collapse when trained on recursively generated data, Shumailov et al., Nature, via Oxford OATML, Juli 2024
19. Is Model Collapse Inevitable?, Gerstgrasser, Schaeffer, Koyejo et al., 01.04.2024
20. Demystifying Synthetic Data in LLM Pre-training, Kang et al., 03.10.2025
21. Documenting Large Webtext Corpora: A Case Study on C4, Dodge et al., 18.04.2021
22. A Careful Examination of LLM Performance on Grade School Arithmetic (GSM1k), Zhang et al. (NeurIPS 2024), Mai 2024
23. Bridging the Data Provenance Gap Across Text, Speech and Video, Longpre et al., 19.12.2024
24. Consent in Crisis: The Rapid Decline of the AI Data Commons, Longpre et al., 20.07.2024
25. Extracting Training Data from Large Language Models, Carlini et al., 14.12.2020
26. Scalable Extraction of Training Data from (Production) Language Models, Nasr, Carlini et al., 28.11.2023
27. AI and GDPR: new recommendations, CNIL (regulator), 07.02.2025
28. A small number of samples can poison LLMs of any size, Anthropic, UK AISI, Alan Turing Institute, 09.10.2025
29. LLM04:2025 Data and Model Poisoning, OWASP, 05.05.2025
30. Fine-Tuning or Retrieval? Comparing Knowledge Injection in LLMs, Ovadia et al., 10.12.2023
31. No more than an ordinary copyright case: Third Circuit unseals Thomson Reuters v Ross opinion, LawNext, 12.10.2026
32. Template for the public summary of training content, European Commission, 24.07.2025
33. AI Preferences vocabulary, draft 08, IETF, 14.09.2026
34. AI bot block rates, Ahrefs (vendor), 21.05.2025
35. State of Web Access 2026: robots.txt and AI agents, Zyte (vendor), 2026
36. New report by AFP on data workers, Antonio Casilli, reproducing AFP, 16.10.2025
37. OpenAI used Kenyan workers on less than $2 per hour, TIME, 18.01.2023
38. Enterprise privacy, OpenAI (vendor), 08.01.2026
39. Updates to our consumer terms, Anthropic (vendor), 28.08.2025
40. Gemini API additional terms of service, Google (vendor), 28.04.2026
41. Neural Machine Translation of Rare Words with Subword Units, Sennrich, Haddow, Birch (ACL 2016), 31.08.2015
42. What are tokens and how to count them, OpenAI Help Center (vendor, undated page, accessed October 2026), Oktober 2026
43. Scaling Data-Constrained Language Models, Muennighoff et al., 25.05.2023
44. Llama 2: Open Foundation and Fine-Tuned Chat Models, Meta (vendor), Juli 2023
45. Will we run out of data? (blog summary), Epoch AI, 06.06.2024
46. FineWeb2: One Pipeline to Scale Them All, Penedo et al., Hugging Face, 26.06.2025
47. Aya Dataset: An Open-Access Collection for Multilingual Instruction Tuning, Singh et al., Cohere For AI, 09.02.2024
48. Into the LAION's Den: Investigating Hate in Multimodal Datasets, Birhane et al., 06.11.2023
49. Article 10: Data and data governance (amended text, secondary reproduction), artificialintelligenceact.eu, 2026
50. Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks, Lewis et al., 22.05.2020
51. Data Cards: Purposeful and Transparent Dataset Documentation, Pushkarna, Zaldivar, Kjartansson, Google (vendor), 03.04.2022
52. Datasheets for Datasets, Gebru et al., Communications of the ACM, Dezember 2021
53. Content Independence Day: no AI crawl without compensation, Cloudflare (vendor), 01.07.2025
54. Reddit weighs cutting Google AI access as $60m deal expires, AI Weekly (secondary), 22.07.2026
55. AI boom overseas workers (Washington Post), Stars and Stripes, 30.08.2023
56. How the AI industry profits from catastrophe, MIT Technology Review, 20.04.2022
57. AI is creating lakhs of low-paying jobs in Gurugram, Noida, ThePrint, 01.09.2026
58. Working Without Borders: The Promise and Peril of Online Gig Work, World Bank, 02.10.2023
59. AI giants face new minimum pay and mental healthcare rule in Kenya, Business Daily Africa, 24.07.2026
60. Impact of Remotasks' Closure on Kenyan Workers, Mophat Okinyi, Data Workers' Inquiry, 2024
61. Data Workers' Inquiry, DAIR, Weizenbaum Institute, TU Berlin (undated page, accessed October 2026), Oktober 2026
62. Karya feature, TIME, 2023
63. Judge approves record $1.5 billion settlement involving Anthropic, Jurist, Juli 2026
64. Meta wins on fair use, for now, Authors Alliance, 26.06.2025
65. New York Times v. OpenAI case page, AI Lawsuit Tracker (secondary), 12.10.2026
66. Landmark ruling of the Munich Regional Court (GEMA v OpenAI), Bird & Bird, November 2025
67. Guidelines for providers of general-purpose AI models, European Commission, 28.04.2026
68. AI Office publishes final Code of Practice for general-purpose AI models, Covington, Global Policy Watch, Juli 2025
69. EDPB Opinion 28/2024: key takeaways, CMS, Dezember 2024
70. Generative AI and GDPR enforcement in Europe, Cross-Border Data Forum (Christakis), 19.03.2026
71. DPC statement on Meta AI, Data Protection Commission Ireland (regulator), 21.05.2025
72. DPC launches investigation into X's data usage for AI training, William Fry, 15.04.2025
73. TDM and training AI models: UK government report and impact assessment, DLA Piper, 19.03.2026
74. Getty Images v Stability AI: permission to appeal, Burges Salmon, 19.12.2025
75. Interim Measures for the Management of Generative AI Services, China Law Translate, 10.07.2023
76. TC260 adopts security standard for generative AI services, Digital Policy Alert, 25.04.2025
77. General Understanding on AI and Copyright in Japan, APAA, Oktober 2024
78. How does Singapore law treat the use of copyright works for AI training, IPOS (government), 2026
79. DPIIT closes consultation on working paper on generative AI and copyright, Digital Policy Alert, Januar 2026
80. DPIIT's attempt at bridging AI training and copyright, Takshashila Institution, 11.12.2025
81. Brazil AI bill PL 2338/2023: status, casrai.org (unverified site; check camara.leg.br), 25.09.2026
82. Brazilian Senate approves AI bill with copyright provisions, CISAC (creators' confederation), 12.12.2024
83. Constitutional Court ruling on the Copyright Amendment Bill, GoLegal, 21.07.2026