Das KI-Vokabular · 07 Wenn es schiefgeht
Was ist Automation Bias?
Die menschliche Neigung, einer Maschine mehr zu glauben als dem eigenen Urteil, selbst wenn sie falschliegt.
Automation Bias ist ein menschliches Problem, kein technisches. Wenn ein System eine selbstsichere Antwort liefert, nehmen wir sie gern an, prüfen weniger genau und übersehen Hinweise, die dagegen sprechen. Das wurde schon lange vor generativer KI untersucht, zum Beispiel in der Luftfahrt und in der Medizin.
Bei KI ist die Versuchung besonders groß: Die Antworten sind flüssig, schnell und meistens richtig, also lesen Prüfende mit der Zeit immer weniger genau hin. Genau dann rutscht eine Halluzination durch. Ein Human in the Loop hilft nur, wenn der Mensch auch wirklich aufmerksam ist.
Warum es für dich wichtig ist
Durchgewunkener KI-Output trägt deinen Namen. Bei Entscheidungen über Geld, Menschen oder Kunden macht Automation Bias aus einem Fehler des Modells deinen Fehler.
Own it
Mach das Prüfen leichter und bewusster: Zeig Quellen an, markiere unsichere Stellen, halte Prüfpakete klein und lass Prüfende ab und zu begründen, warum sie zustimmen. Wenn du Fehlerquoten mit Evals misst, wissen alle, wo sie genauer hinschauen müssen.
Woher es kommt
Der Begriff stammt aus der Luftfahrtpsychologie. Kathleen Mosier, Linda Skitka und Kolleginnen untersuchten Pilotinnen und Piloten in stark automatisierten „Glass Cockpits“ und beschrieben Automation Bias als die Neigung, sich auf automatische Hinweise zu verlassen, statt Informationen selbst zu prüfen (NASA, 1996/97). Ein Detail, das man sich merken sollte: Wer sich für die eigenen Entscheidungen verantwortlich fühlte, prüfte die Automatik häufiger gegen und machte weniger Fehler. Diese Lektion lässt sich direkt auf KI übertragen.
Verwandt
Your AI Learning Hub
Lern das ganze KI-Vokabular, Schritt für Schritt, und bau damit. Build it. Own it.