Das KI-Vokabular · 07 Wenn es schiefgeht

Was ist Excessive Agency?

Wenn ein KI-System mehr Funktionen, Rechte oder Autonomie hat, als seine Aufgabe braucht, sodass eine falsche oder manipulierte Ausgabe echten Schaden anrichten kann.

Fortgeschritten

Excessive Agency, übersetzt etwa zu viel Handlungsmacht, ist ein Risiko, das die offene Sicherheitsgemeinschaft OWASP benennt. Gemeint ist ein KI-System, das auf unerwartete, mehrdeutige oder manipulierte Ausgaben des Modells hin schädliche Aktionen ausführen kann. OWASP nennt drei Ursachen: zu viele Funktionen, zu viele Berechtigungen und zu viel Autonomie.

Ein Beispiel: Ein E-Mail-Assistent muss Nachrichten nur lesen, sein Anschluss kann sie aber auch senden und löschen. Dann reicht eine manipulierte E-Mail, ein Fall von Prompt Injection, um Daten nach außen zu schicken. Die Gegenmittel von OWASP: wenige, eng gefasste Werkzeuge, wo möglich nur Leserechte, Aktionen mit den Rechten der Nutzerin, Freigabe für riskante Schritte und eine Prüfung der Befugnis im nachgelagerten System, nie durch das Modell.

Warum es für dich wichtig ist

Wie viel Schaden ein Agent anrichten kann, bestimmen seine Rechte, ganz gleich, was er vorhat. Zu begrenzen, was er tun kann, ist verlässlicher als zu hoffen, dass ihn nie jemand austrickst.

Own it

Frag bei jedem Werkzeug: Braucht die Aufgabe Schreibrechte? Ersetze offene Werkzeuge wie eine Kommandozeile durch eng gefasste Funktionen und protokolliere jede Aktion.

Verwandt