Das KI-Vokabular · 07 Wenn es schiefgeht

Was ist Red Teaming?

Das eigene KI-System gezielt angreifen, so wie es ein Gegner tun würde, um Schwachstellen zu finden, bevor andere es tun.

Fortgeschritten

Beim Red Teaming versuchen Menschen oder andere KI-Systeme absichtlich, ein KI-System zu Fehlverhalten zu bringen: schädliche Inhalte zu erzeugen, Daten preiszugeben, seine Regeln zu missachten oder auf Prompt Injection und Jailbreaks hereinzufallen. Was sie finden, wird behoben, bevor das System Nutzerinnen erreicht.

Der Begriff kommt aus der IT-Sicherheit. Das US-Normungsinstitut NIST definiert ein Red Team als eine Gruppe, die befugt und organisiert ist, die Angriffsfähigkeiten eines möglichen Gegners nachzuahmen. Für KI gibt es noch keine einheitliche Definition. Das NIST-Profil für generative KI von 2024 empfiehlt KI-Red-Teaming unter seinen Maßnahmen gegen Risiken.

In einer Studie von 2022 führten Forschende von Anthropic 38.961 Red-Team-Angriffe auf ihre eigenen Sprachmodelle durch und veröffentlichten sie als Datensatz. Modelle, die mit menschlichem Feedback trainiert waren, wurden mit wachsender Größe schwerer angreifbar. Anthropic verkauft solche Modelle.

Die KI-Verordnung macht es für manche zur Pflicht: Anbieter von Modellen mit allgemeinem Verwendungszweck mit systemischem Risiko müssen sie nach dem Stand der Technik bewerten, einschließlich dokumentierter Angriffstests (Artikel 55).

Warum es für dich wichtig ist

Alles, was du auf KI baust, ein Chatbot auf deiner Website, ein Agent mit Zugriff auf deine Systeme, wird von echten Nutzerinnen getestet, manche mit schlechten Absichten. Besser, du findest die Lücken zuerst.

Own it

Nimm dir vor dem Start einen Nachmittag, um dein eigenes System zu knacken: seltsame Fragen, feindselige Anweisungen, versteckte Befehle in Dokumenten. Mach aus dem, was du findest, Evals und Guardrails.

Verwandt