Das KI-Vokabular · 07 Wenn es schiefgeht

Was ist Datenvergiftung?

Das Einschleusen manipulierter Daten in Trainings- oder Suchquellen eines Modells, um sein Verhalten zu verändern.

Profi

Datenvergiftung (Data Poisoning) heißt, manipulierte Beispiele in die Daten zu schmuggeln, aus denen ein Modell lernt oder in denen es nachschlägt. Ziel kann eine versteckte Hintertür sein, die still bleibt, bis ein Auslösewort auftaucht, eine Verzerrung oder einfach schlechtere Antworten. Gift kann im Vortraining, beim Fine-Tuning oder über die Dokumente und Embeddings hinter einem Suchsystem hineingelangen.

Schon sehr wenig Gift kann reichen. In einer Studie von Anthropic, dem britischen AI Security Institute und dem Alan Turing Institute (2025) bauten 250 manipulierte Dokumente, etwa 0,00016 % der Trainings-Tokens, Modellen von 600 Mio. bis 13 Mrd. Parametern eine Hintertür ein. Die Hintertür ließ die Modelle nur Kauderwelsch ausgeben, und ob das Ergebnis für größere Modelle oder schädlicheres Verhalten gilt, ist noch offen.

Warum es für dich wichtig ist

Wenn du mit gesammelten oder gekauften Daten feinabstimmst oder ein RAG-System Dokumente von außen lesen lässt, übernimmst du alles, was darin versteckt ist.

Own it

Wisse, woher deine Trainings- und Suchdaten stammen, versioniere deine Datensätze und prüf, wer Dokumente zu deiner Wissensbasis hinzufügen darf. Prüf Datenlieferanten wie jeden anderen Zulieferer.

Verwandt