Das KI-Vokabular · 01 Das Modell
Was ist Deduplizierung?
Das Entfernen von Kopien und Beinahe-Kopien aus Trainingsdaten, damit ein Modell mehr lernt und weniger auswendig behält.
Das Web ist voller Wiederholungen: Textbausteine, gespiegelte Seiten, kopierte Artikel. Die Deduplizierung findet und entfernt diese Kopien vor dem Training. Exakte Kopien sind leicht zu erkennen; für Beinahe-Kopien nutzen Entwickler schnelle Fingerabdruckverfahren wie MinHash. Metas Llama 3 entfernt Duplikate auf drei Ebenen: Webadressen, ganze Dokumente und einzelne Zeilen, die sich zu oft wiederholen.
Der Effekt ist groß. Im älteren Datensatz C4 stand ein Satz mit 61 Wörtern über 60.000-mal. Ohne Duplikate gaben Modelle etwa zehnmal seltener wortgleich gelernten Text wieder (Memorisierung) und erreichten dieselbe Genauigkeit in weniger Trainingsschritten. Außerdem hilft es, Testfragen aus den Trainingsdaten herauszuhalten.
Warum es für dich wichtig ist
Doppelte Daten verschwenden Rechenleistung und erhöhen das Risiko, dass ein Modell Text wortgleich wiederholt, auch personenbezogene Daten. Das gilt auch für deine eigenen Datensätze fürs Fine-Tuning oder für eine Suche.
Own it
Bevor du ein Modell feinabstimmst oder einen Suchindex über deine Dokumente baust, entferne doppelte Dateien, alte Versionen und kopierte Vorlagen. Behalte von jedem Dokument eine maßgebliche Fassung.
Woher es kommt
Der Faktor zehn und das C4-Beispiel stammen aus Deduplicating Training Data Makes Language Models Better von Lee und Kolleg:innen (2021).
Verwandt
Your AI Learning Hub
Lern das ganze KI-Vokabular, Schritt für Schritt, und bau damit. Build it. Own it.