Das KI-Vokabular · 07 Wenn es schiefgeht
Was ist Model Drift?
Wenn sich Ergebnisse mit der Zeit verändern, ohne dass du etwas geändert hast, weil sich Modell, Daten oder Welt bewegt haben.
Model Drift bedeutet, dass sich ein KI-Setup, das früher gut funktioniert hat, nach und nach anders verhält. Dafür gibt es mehrere Gründe. Der Modellanbieter aktualisiert oder ersetzt das Modell hinter demselben Namen. Die Daten, mit denen dein System arbeitet, ändern sich: neue Produkte, neue Kundensprache, neue Vorschriften. Oder die Welt entwickelt sich über den Wissensstichtag des Modells hinaus weiter.
Weil die Veränderungen oft klein und verteilt sind, übersieht man Drift leicht, bis sich ein Kunde oder eine Kollegin beschwert.
Warum es für dich wichtig ist
Ein KI-Workflow ist nicht „fertig“, wenn er live geht. Ohne Monitoring kann die Qualität still und leise nachlassen, und du erfährst es spät und von den falschen Leuten.
Own it
Fixiere Modellversionen, wo dein Anbieter es erlaubt, halte ein Set an Evals bereit und lass es regelmäßig und nach jedem Anbieter-Update laufen, und erfasse echte Fehler als neue Testfälle. Wenn dir dein Testset gehört, bemerkst du Drift als Erste.
Woher es kommt
Im Machine Learning beschreibt „Concept Drift“, dass sich die Welt verändert und ein trainiertes Modell dadurch langsam ungenauer wird. Die Idee geht auf Forschung aus den 1980er-Jahren zurück. Mit gehosteter KI kam eine zweite Art hinzu: Das Modell hinter demselben Namen verändert sich. Eine Studie von Stanford und Berkeley aus dem Jahr 2023, How Is ChatGPT's Behavior Changing over Time?, maß deutliche Unterschiede zwischen Versionen desselben Modells, die nur Monate auseinanderlagen.
Verwandt
Your AI Learning Hub
Lern das ganze KI-Vokabular, Schritt für Schritt, und bau damit. Build it. Own it.