Das KI-Vokabular · 05 Agenten
Was ist Guardrails?
Prüfungen und Grenzen rund um ein KI-System, die unerwünschte Eingaben, Ausgaben oder Aktionen stoppen, bevor sie Schaden anrichten.
Guardrails sind Leitplanken, die um ein KI-System herum gebaut werden und nicht im Modell selbst stecken. Sie können filtern, was hineingeht (zum Beispiel personenbezogene Daten oder verdächtige Anweisungen blockieren), prüfen, was herauskommt (zum Beispiel erfundene Preise oder themenfremde Antworten blockieren), und Aktionen begrenzen (zum Beispiel mit einem Ausgabenlimit oder einer Liste erlaubter Empfänger).
Manche Guardrails sind einfache Regeln, andere nutzen ein zweites KI-Modell, das das erste beurteilt. Perfekt ist keine davon: Sie senken das Risiko durch Dinge wie Prompt Injection oder ein Datenleck, beseitigen es aber nicht.
Warum es für dich wichtig ist
KI im Kundenkontakt ohne Guardrails ist ein Reputationsrisiko: Ein einziger Screenshot eines Bots, der eine Erstattung verspricht, die es nicht gibt, oder etwas Beleidigendes sagt, kann sich schnell verbreiten. Guardrails machen KI so berechenbar, dass du sie Kunden zeigen kannst.
Own it
Leg deine eigenen roten Linien fest, also Themen, Daten und Aktionen, die tabu sind, und mach daraus Guardrails und Tests. Kombiniere sie mit Berechtigungen, Evals und menschlicher Aufsicht, statt dich auf eine einzige Schicht zu verlassen.
Woher es kommt
Das Wort stammt von den Leitplanken an Straßen und Brücken. In der KI wurde es 2023 zum Fachbegriff, als Tools aufkamen, mit denen man programmierbare Regeln um Chatbots legen konnte, etwa das Open-Source-Projekt NeMo Guardrails von NVIDIA, veröffentlicht im April 2023 (SiliconANGLE). Heute steht „Guardrails“ für jede Regel und jede Prüfung, die ein KI-System auf Kurs hält.
Verwandt
Your AI Learning Hub
Lern das ganze KI-Vokabular, Schritt für Schritt, und bau damit. Build it. Own it.