Das KI-Vokabular · 08 Regeln & Verantwortung

Was ist Hochrisiko-KI-System?

KI in sensiblen Bereichen wie Einstellungen, Krediten oder Bildung, für die die strengsten EU-Regeln gelten.

Fortgeschritten

Nach der KI-Verordnung gelten manche KI-Einsätze als Hochrisiko, weil Fehler das Leben, die Sicherheit oder die Rechte von Menschen ernsthaft beeinträchtigen können. Zu den aufgeführten Bereichen gehören Beschäftigung (etwa das Vorsortieren von Bewerbungen oder die Bewertung von Mitarbeitenden), Bildung (etwa Benotung oder Zulassung), der Zugang zu wesentlichen Leistungen wie Krediten, kritische Infrastruktur, Strafverfolgung, Migration und Justiz. Auch KI, die als Sicherheitsbauteil bestimmter regulierter Produkte dient, zählt dazu.

Anbieter von Hochrisiko-Systemen müssen strenge Anforderungen erfüllen: Risikomanagement, Datenqualität, Dokumentation, Protokollierung, Genauigkeit und menschliche Aufsicht. Auch Organisationen, die solche Systeme einsetzen, haben Pflichten, etwa sie gemäß Anleitung zu nutzen, geschulte Personen mit der Aufsicht zu betrauen und den Betrieb zu überwachen.

Warum es für dich wichtig ist

Ein Allzweck-Tool kann je nach Einsatz Teil einer Hochrisiko-Anwendung werden. Einen KI-Assistenten für E-Mails zu nutzen ist kein Hochrisiko. Ihn Bewerbungen ranken zu lassen, kann es sehr wohl sein. Entscheidend ist der Einsatz, nicht das Tool.

Own it

Bevor du KI Entscheidungen über Menschen beeinflussen lässt, prüf, ob der Einsatz in einen Hochrisiko-Bereich fällt. Wenn ja, nimm dir Zeit, hol rechtlichen Rat ein und plane Aufsicht und Evals von Anfang an ein. Dieser Eintrag ist ein Überblick, keine Rechtsberatung.

Verwandt