Das KI-Vokabular · 07 Wenn es schiefgeht

Was ist Halluzination?

Wenn KI etwas Falsches mit voller Überzeugung behauptet, weil sie plausiblen Text erzeugt und keine geprüften Fakten.

Einstieg

Eine Halluzination ist eine Antwort, die richtig klingt, aber falsch ist: eine erfundene Statistik, ein Zitat, das nie jemand gesagt hat, eine Quelle, die es nicht gibt, eine Funktion in einer Software-Bibliothek, die nie geschrieben wurde. Der Tonfall warnt dich nicht. Eine erfundene Antwort kommt genauso selbstsicher daher wie eine richtige.

Das passiert, weil ein großes Sprachmodell keine Fakten nachschlägt. Es erzeugt das plausibelste nächste Textstück auf Basis von Mustern aus dem Training. Wo die Trainingsdaten dünn, veraltet oder jenseits des Wissensstichtags sind, driften plausibel und wahr auseinander, und das Modell hat kein eingebautes Signal, das ihm den Unterschied zeigt.

Halluzinationen entstehen auch dann, wenn die richtige Information vorhanden ist, aber untergeht: In einem sehr langen Gespräch oder einem überfüllten Kontext kann sich das Modell von deinen Dokumenten entfernen und Details stattdessen aus eigenen Mustern ergänzen.

Warum es für dich wichtig ist

Halluzinationen sind der Hauptgrund, warum KI-Ergebnisse nicht ungeprüft veröffentlicht, an Kunden geschickt oder für Entscheidungen genutzt werden sollten. Das Risiko ist genau dort am größten, wo Fehler teuer sind: bei Zahlen, rechtlichen Aussagen, Namen, Zitaten und allem, was aktuell ist. Behandle KI-Ergebnisse wie einen starken ersten Entwurf von einer schnellen Assistenz, die manchmal etwas erfindet, nicht wie eine Quelle.

Own it

Abschalten kannst du Halluzinationen nicht, aber du kannst klug um sie herum planen. Gib dem Modell eigene Quellen, mit denen es arbeiten soll, zum Beispiel über RAG, und lass es diese zitieren. Halte einen Human in the Loop für alles, was das Haus verlässt. Und miss mit Evals, wie oft dein Setup danebenliegt, statt dich auf ein Gefühl zu verlassen.

Verwandt