Agenten und Orchestrierung

Worum es geht

Ein Sprachmodell allein schreibt Text. Zum Agenten wird es, wenn Software drumherum es Werkzeuge aufrufen lässt: im Web suchen, eine Datei lesen, eine Datenbank abfragen, eine E-Mail senden. Das Modell bittet um eine Aktion, die Software führt sie aus und gibt das Ergebnis zurück, und das Modell entscheidet über den nächsten Schritt. Fachleute nennen das die Agentenschleife. Sie läuft, bis das Modell das Ziel für erreicht hält oder eine Abbruchregel greift.

Diese Schicht liegt zwischen den Modellen und den Anwendungen, die du nutzt. Sie enthält alles, was die Schleife in einer Firma brauchbar macht: die Orchestrierung der Schritte, Standardanschlüsse wie MCP, ein Gedächtnis, Tests und Protokolle, menschliche Freigaben und eine Identität mit klaren Berechtigungen für jeden Agenten. Sie ist die jüngste Schicht im Stack, und hier entsteht die Verantwortung für Handlungen.

Was ein Agent ist: ein Modell mit Werkzeugen in einer Schleife

Die Anthropic-Entwickler Erik Schluntz und Barry Zhang liefern die meistgenutzte Definition: Agenten sind Systeme, in denen ein Sprachmodell seinen eigenen Ablauf und seinen Werkzeuggebrauch selbst steuert, meist indem es in einer Schleife auf Rückmeldungen aus seiner Umgebung reagiert. Simon Willison fasst es noch kürzer: ein Modell, das Werkzeuge in einer Schleife ausführt, um ein Ziel zu erreichen.

Das Gegenstück ist der Workflow, oft agentischer Workflow genannt: dieselben Bausteine, nur legt eine Entwicklerin den Weg im Code fest. Schritt eins fasst zusammen, Schritt zwei ordnet ein, Schritt drei entwirft eine Antwort. Ein Workflow ist ein Rezept, das du aufgeschrieben hast; ein Agent probiert das Gericht und wählt den nächsten Schritt selbst. Anthropic empfiehlt Agenten für offene Probleme, bei denen niemand vorhersagen kann, wie viele Schritte nötig sind. Die meisten Systeme im Betrieb mischen beides.

Die Forschungswurzel ist ReAct, ein Paper von Shunyu Yao und Kolleg:innen aus dem Jahr 2022. Ihre Modelle wechselten zwischen einem geschriebenen Denkschritt und einer Aktion, etwa einer Abfrage bei Wikipedia. Mit ein oder zwei Beispielen im Prompt schlug dieser Ansatz frühere Verfahren um 34 und 10 Prozentpunkte in zwei Testumgebungen, einem simulierten Haushalt und einem Onlineshop. Das heutige Muster aus Nachdenken, Werkzeug aufrufen, Ergebnis lesen und Wiederholen stammt von dort.

• Modell: das Sprachmodell, das den nächsten Schritt plant und um Aktionen bittet.
• Werkzeuge: Funktionen, die das Modell anfordern darf, jede mit Namen, Beschreibung und einem Schema für ihre Eingaben. Die Anforderung selbst ist ein Tool Call.
• Schleife: deine Software führt jeden angeforderten Aufruf aus, gibt das Ergebnis zurück und fragt das Modell erneut.
• Abbruchregel: ein klares Ende. Das Modell antwortet ohne weiteren Tool Call, oder eine Grenze wie eine Höchstzahl an Runden beendet den Lauf. Anthropic rät, solche Grenzen von Anfang an einzubauen.

Das Modell selbst handelt nie. In Anthropics Dokumentation zu Computer Use führt deine Anwendung jeden Aufruf in einer Umgebung aus, die du kontrollierst, und das Modell hat keine direkte Verbindung dorthin. Genau dort gehören Kontrolle, Berechtigungen und Protokolle hin.

Sechs Bauweisen, von festen Ketten bis zu Agententeams

Anthropics Leitfaden nennt fünf Workflow-Muster und dazu den autonomen Agenten. Zusammen bilden sie das Standardvokabular, um ein Agentensystem zu planen. Die Liste geht von einfach zu komplex, und jedes spätere Muster verbraucht mehr Tokens und ist schwerer zu testen.

1. 01Verkettung (Prompt Chaining). Eine Aufgabe wird in feste Schritte zerlegt, jeder Modellaufruf baut auf dem vorigen auf. Zwischen den Schritten kannst du das Ergebnis prüfen. Du tauschst etwas Wartezeit gegen höhere Genauigkeit.
2. 02Weiterleitung (Routing). Ein erster Aufruf ordnet die Eingabe ein und gibt sie an den passenden Folgeschritt weiter, etwa einfache Fragen an ein kleines, günstiges Modell. Das heißt auch Model Routing.
3. 03Parallelisierung. Unabhängige Teile laufen gleichzeitig (Sectioning), oder dieselbe Aufgabe läuft mehrmals und die Antworten werden verglichen (Voting).
4. 04Orchestrator und Worker. Ein zentrales Modell zerlegt eine Aufgabe während des Laufs, gibt die Teile an Worker-Modelle und fügt deren Ergebnisse zusammen. Das passt zu Aufgaben, deren Teile niemand vorab auflisten kann.
5. 05Bewerter und Optimierer. Ein Aufruf erzeugt ein Ergebnis, ein zweiter bewertet es nach klaren Kriterien, der erste überarbeitet es, immer wieder. Das funktioniert, wenn sich aufschreiben lässt, was gut ist.
6. 06Autonomer Agent. Das Modell plant und handelt selbstständig in der ReAct-Schleife, mit Werkzeugen und einer Abbruchregel. Es gehört dorthin, wo der Weg wirklich offen ist.

Ein Multi-Agenten-System betreibt mehrere Modellinstanzen mit eigenen Rollen und Kontextfenstern, meist als Orchestrator und Worker. In Anthropics Recherchefunktion schlug ein leitender Agent mit Unteragenten einen einzelnen Agenten um 90,2 % im internen Recherchetest der Firma, bei etwa 15-mal so vielen Tokens wie ein Chat. Für eng verzahnte Arbeit wie das meiste Programmieren hält Anthropic den Aufbau für ungeeignet (Herstellerangaben). Andrew Ng berichtete 2024, dass ein älteres Modell in einer Agentenschleife bei einem Programmiertest bis zu 95,1 % erreichte, ein neueres Modell mit einer einzigen Antwort 67,0 %.

MCP und A2A: die gemeinsamen Stecker

Zwei offene Protokolle regeln, wie Agenten sich verbinden. Das Model Context Protocol (MCP) verbindet einen Agenten mit Werkzeugen und Daten. Agent2Agent (A2A) verbindet Agenten verschiedener Hersteller miteinander, auch über Firmengrenzen hinweg; die Linux Foundation beschreibt beide als Ergänzung zueinander. Beide sind offene Standards, und beide liegen inzwischen bei der Agentic AI Foundation (AAIF), einem Fonds unter dem Dach der Linux Foundation. Anthropic hat MCP im November 2024 vorgestellt und am 9. Dezember 2025 an die AAIF übergeben.

MCP kennt drei Rollen. Der Host ist die KI-Anwendung, etwa eine Chat-App oder ein Code-Editor. Für jedes angeschlossene System öffnet der Host einen Client, und jeder Client spricht mit genau einem Server: dem Anschluss an Gmail, eine Datenbank oder einen Fehlertracker. Server bieten Tools (Aktionen), Resources (Daten) und Prompts (Vorlagen). Über eine Funktion namens Elicitation kann ein Server dich um eine Eingabe oder eine Bestätigung bitten. Die Nachrichten nutzen das Format JSON-RPC, lokal über die Kommandozeile oder entfernt über HTTP.

Die aktuelle Spezifikation trägt das Datum 2026-07-28. Sie hat MCP zustandslos gemacht: Jede Anfrage trägt ihre Version und ihre Fähigkeiten mit, Server beschreiben sich über einen verpflichtenden Erkennungsaufruf, und zwei ältere Funktionen, Sampling und Logging, gelten als veraltet. Entfernte Server sollen für die Anmeldung OAuth 2.1 nutzen, das bei der IETF noch ein Entwurf ist. Jedes Zugriffstoken muss für genau einen Server ausgestellt sein, und Tokens an andere Dienste weiterzureichen ist verboten.

Rechtlich ist MCP eine Series of LF Projects LLC unter der Lizenz Apache 2.0. Entscheidungen treffen einzelne Maintainer:innen, die ihren Sitz als Person halten, ohne Firmensitze; die leitenden Maintainer sind David Soria Parra und Den Delimarsky. Die AAIF stellt das Haus und das Geld. Sie meldete im August 2026 242 Mitgliedsorganisationen (Angabe der Stiftung).

A2A ist seit Frühjahr 2026 in Version 1.0 stabil. Jeder A2A-Agent veröffentlicht eine Agent Card, einen Steckbrief im JSON-Format mit Identität, Fähigkeiten, Adresse und Anmeldeanforderungen. Arbeit wird als Task mit eigener ID übergeben und durchläuft einen Lebenszyklus: in Arbeit, eventuell wartend auf Eingabe oder Freigabe, am Ende erledigt, gescheitert, abgebrochen oder abgelehnt. Ergebnisse kommen als Artifacts zurück, etwa Dokumente oder Daten. Die Agenten bleiben füreinander undurchsichtig und teilen weder interne Pläne noch Details ihrer Werkzeuge. A2A ist am 17. August 2026 der AAIF beigetreten; IBMs Protokoll ACP war bereits im August 2025 in A2A aufgegangen.

Zahlen hängen davon ab, wer zählt. Anthropic meldete im Dezember 2025 mehr als 10.000 aktive öffentliche MCP-Server. Für A2A nannte die Linux Foundation im April 2026 über 150 unterstützende Organisationen. Die A2A-Website datiert den Wechsel zur AAIF auf den 27. August, die Stiftung selbst auf den 17. August 2026.

Die Orchestrierungsschicht als Plattform: registrieren, ausweisen, berechtigen

Sobald eine Firma mehr als eine Handvoll Agenten betreibt, braucht sie, was sie für Mitarbeitende längst hat: ein Verzeichnis, einen Ausweis und Zugriffsrechte. Gartner erwartet, dass ein durchschnittliches Fortune-500-Unternehmen bis 2028 über 150.000 Agenten betreibt, nach weniger als 15 im Jahr 2025 (Prognose). Heute halten nur 13 % der von Gartner befragten Firmen ihre Governance für Agenten für ausreichend. Zu Gartners Ratschlägen gehören ein zentrales Verzeichnis aller Agenten und Regeln für Identität, Berechtigungen und Lebenszyklus.

Frameworks wie LangGraph, Microsoft Agent Framework, Google ADK oder CrewAI liefern die Orchestrierung: Sie legen Schritte, Verzweigungen, Pausen und Übergaben fest. Produkte in dieser Schicht wechseln schnell. OpenAI hat angekündigt, dass sein visueller Agent Builder und sein Evals-Werkzeug nach dem 30. November 2026 nicht mehr verfügbar sind, und verweist Entwickler:innen auf sein Agents SDK.

Die Identität von Agenten besteht bisher vor allem aus Produkten und Vorschlägen. Microsoft Entra Agent ID ist allgemein verfügbar und gibt Agenten eigene Identitäten, Verantwortliche und Zugriffsregeln, damit kein Agent ohne Zuständige bleibt; ein Register führt auch Agenten anderer Hersteller. In den USA forscht die AI Agent Standards Initiative von NIST zu Identität und Befugnissen von Agenten, unter anderem mit einem Konzeptpapier, dessen Kommentarfrist am 2. April 2026 endete. MCP hat Agentenidentität auf seiner Roadmap, und A2A 1.0 erlaubt signierte Agent Cards.

Bei Berechtigungen sind sich die Quellen einig. OWASP nennt drei Ursachen für Excessive Agency, also zu viel Handlungsmacht: zu viele Funktionen, zu viele Rechte, zu viel Autonomie. Die Gegenmittel sind wenige Werkzeuge, wo möglich nur Leserechte, Aktionen im Namen und mit den Rechten der Nutzerin und eine Prüfung der Befugnis im nachgelagerten System, nie durch das Modell (Complete Mediation). Singapurs Rahmenwerk ergänzt: Die Rechte eines Agenten sollen nie über die der Person hinausgehen, die ihn beauftragt hat, und fällt das Freigabesystem aus, sollen Aktionen standardmäßig verweigert werden.

Gedächtnis und Context Engineering

Ein Agent hat zwei Arten von Gedächtnis. Das Kurzzeitgedächtnis ist alles, was während einer Aufgabe im Kontextfenster liegt: der Schreibtisch. Das Langzeitgedächtnis ist alles, was in einen externen Speicher geschrieben und später wieder gelesen wird, etwa Dateien, eine Datenbank oder ein Vektorindex: der Aktenschrank. Der Agent muss entscheiden, was er ablegt und was er holt.

Mehr Kontext hilft nicht automatisch. Anthropic beschreibt Context Rot: Je voller das Fenster, desto ungenauer erinnert sich das Modell an seinen Inhalt. Context Engineering ist das Handwerk, dem Modell die kleinste Menge nützlicher Tokens zu geben. Anthropic nennt vier Techniken. Compaction fasst einen langen Lauf in einem frischen Fenster zusammen. Strukturierte Notizen schreibt der Agent in einen Speicher außerhalb des Fensters. Unteragenten arbeiten in leeren Fenstern und liefern kurze Zusammenfassungen. Abruf im richtigen Moment (Just in Time) behält nur Dateipfade oder Suchanfragen, bis die Daten gebraucht werden.

Auch das Nachschlagen wird zur Entscheidung des Agenten. Klassisches RAG macht vor der Antwort eine feste Suche; ein Agent kann entscheiden, wann, wo und wie oft er sucht. Das Gedächtnis ist zugleich eine Angriffsfläche. OWASP führt Memory and Context Poisoning als Risiko ASI06: Text, den ein Angreifer einschleust und der im Gedächtnis landet, kann viel später wieder auftauchen. Unsere Lesart: Behandle das Gedächtnis eines Agenten wie Kundendaten, mit Regeln für Prüfung und Löschung.

Evals, Traces und Benchmarks: woran du erkennst, ob ein Agent funktioniert

Evals sind automatische Tests für Agenten. Anthropics Leitfaden beschreibt die Teile: eine Aufgabe mit klaren Erfolgskriterien, mehrere Versuche, weil Ergebnisse von Lauf zu Lauf schwanken, eine Bewertung (durch Code, ein Modell oder einen Menschen) und ein Ergebnis, gemessen am Endzustand der Welt. Ein Buchungsagent besteht, wenn die Reservierung in der Datenbank steht, ganz gleich, was der Agent behauptet. Anthropic empfiehlt, mit 20 bis 50 einfachen Aufgaben aus echten Fehlern zu beginnen.

Zwei Maße zählen. pass@k ist die Wahrscheinlichkeit, dass mindestens einer von k Versuchen gelingt; pass^k die Wahrscheinlichkeit, dass alle k Versuche gelingen. Unsere eigene Rechnung, unter der Annahme unabhängiger Versuche: Ein Agent, der eine Aufgabe in 70 % der Fälle löst, erreicht 97 % bei pass@3 und 34 % bei pass^3. Die Studie τ-bench (2024) hat pass^k für den Kundenservice eingeführt: GPT-4o löste weniger als die Hälfte der Aufgaben, und im Handel gelangen weniger als 25 % der Aufgaben in allen acht Wiederholungen. Für Agenten mit Kundenkontakt ist pass^k die Zahl, die zählt, weil Ergebnisse zwischen Läufen schwanken.

Ein Trace ist die vollständige Aufzeichnung eines Laufs: jeder Modellaufruf, jeder Tool Call, jedes Ergebnis. Harrison Chase, Mitgründer des Framework-Anbieters LangChain, argumentiert, dass viel von der Logik eines Agenten im Modell steckt. Verstehen kannst du ihn darum über seine Traces, und die Qualität beurteilst du, indem Menschen Traces bewerten. Observability heißt, solche Traces systematisch zu sammeln. Die MCP-Spezifikation empfiehlt dafür den offenen Standard OpenTelemetry.

Öffentliche Benchmarks zeigen eine Richtung, mit deutlichen Einschränkungen. Viele sind nach wenigen Monaten ausgereizt, und derselbe Test liefert sehr unterschiedliche Werte, je nachdem, wer ihn durchführt.

• METR-Zeithorizont: die Länge einer Aufgabe, gemessen an der Zeit, die eine menschliche Fachkraft braucht, die ein Agent mit 50 % Verlässlichkeit schafft. METR schätzt Claude Mythos Preview auf mindestens 16 Stunden (95-%-Konfidenzintervall 8,5 bis 55 Stunden), an der Grenze dessen, was seine Aufgaben messen können; nur 5 von 228 Aufgaben dauern 16 Stunden oder länger. METRs Übersichtsseite wird nicht mehr aktiv gepflegt.
• OSWorld: Aufgaben auf einem echten Computer-Desktop in einer abgeschotteten Umgebung, ein Test für Computer Use. Menschen lösten in der Originalstudie etwa 72 %, das beste Modell zum Start 12,24 %. Seit 26. Juni 2026 ist OSWorld 2.0 die aktuelle Version.
• GAIA: Fragen für allgemeine Assistenten. Auf Princetons unabhängiger HAL-Rangliste erreichte der beste Lauf 74,55 %, Menschen 92 %. Der beste Lauf kostete etwa 178 $; ein Lauf mit einem teureren Modell kam auf 68,48 % für etwa 562 $.
• SWE-bench Pro: Programmieraufgaben in echten Code-Repositories, der wichtigste Test für Coding-Agenten. Auf der standardisierten Rangliste von Scale AI erreichte der Spitzenreiter 61,5 % bei öffentlichem und 51,5 % bei kommerziellem Code (September 2026). Von Herstellern gemeldete Werte reichen bis 89,9 % und sind nicht vergleichbar.

Sayash Kapoor, Arvind Narayanan und Koautor:innen (Princeton) warnen, dass Benchmarks, die allein Genauigkeit belohnen, unnötig teure Agenten hervorbringen. Frag, was ein Ergebnis pro Aufgabe kostet und ob die Testaufgaben vom Training ferngehalten wurden.

Human in the Loop und Autonomiestufen

Wie viel ein Agent allein tun darf, ist eine Designentscheidung. K. J. Kevin Feng, David W. McDonald und Amy X. Zhang (University of Washington) beschreiben fünf Autonomiestufen anhand der Rolle des Menschen. Sie schlagen Autonomiezertifikate unabhängiger Stellen vor, die festlegen, auf welcher Stufe ein Agent höchstens laufen darf.

Human in the Loop heißt, der Agent hält vor festgelegten Aktionen an, bis ein Mensch freigibt. Im Agents SDK von OpenAI etwa kann jedes Werkzeug angeben, dass es eine Freigabe braucht. Kann die Regel die Argumente eines Aufrufs nicht prüfen, blockiert sie im Zweifel. Der Lauf wird gespeichert, kann tagelang warten und läuft nach der Entscheidung weiter.

Eine Freigabe schützt nur, wenn die Person sieht, was wirklich passiert. Invariant Labs, ein Anbieter von Sicherheitswerkzeugen für MCP, hat gezeigt, dass Bestätigungsdialoge oft nur einen kurzen Werkzeugnamen zeigen, während die Argumente verborgen bleiben; so geben Menschen schädliche Aufrufe frei. Unsere Lesart der Quellen: Setz Freigaben auf unumkehrbare, nach außen gerichtete oder Geld bewegende Aktionen und zeig die genaue Wirkung, etwa Empfänger und Anhang. Zu viele Klicks fördern Automation Bias; Singapurs Rahmenwerk warnt ausdrücklich vor Freigaben ohne Prüfung.

1. 01Bedienerin (Operator). Die Nutzerin führt, der Agent hilft auf Abruf.
2. 02Partnerin (Collaborator). Nutzerin und Agent planen und erledigen die Arbeit gemeinsam.
3. 03Beraterin (Consultant). Der Agent führt und fragt die Nutzerin nach ihrem Fachwissen.
4. 04Freigeberin (Approver). Der Agent arbeitet allein und bezieht die Nutzerin nur in riskanten oder vereinbarten Situationen ein.
5. 05Beobachterin (Observer). Der Agent arbeitet selbstständig, die Nutzerin beobachtet.

Manche Forschende ziehen eine klare Grenze. Margaret Mitchell und Koautor:innen argumentieren, dass das Risiko für Menschen mit jeder Stufe der Selbststeuerung wächst und dass vollständig autonome Agenten nicht entwickelt werden sollten.

Sicherheit: warum jeder Text zum Befehl werden kann

Sprachmodelle können Anweisungen und Daten nicht verlässlich unterscheiden. Jeder Text, den ein Agent liest, kann ihn steuern: eine Webseite, eine E-Mail, eine Datei, eine Werkzeugbeschreibung. Das ist Prompt Injection. Die indirekte Form, bei der ein Angreifer Anweisungen in Daten versteckt, die der Agent lesen wird, nennt NIST Agent Hijacking. Im Dezember 2025 erklärten OpenAI und das britische National Cyber Security Centre, das Problem lasse sich womöglich nie ganz lösen.

Simon Willisons Lethal Trifecta liefert einen einfachen Test. Ein Agent mit Zugriff auf private Daten, Kontakt zu nicht vertrauenswürdigen Inhalten und einem Weg, Daten nach außen zu senden, lässt sich dazu bringen, diese Daten zu stehlen. Vermeide darum die ganze Kombination in einem Agenten. Tool Poisoning greift die Anschlüsse an. Invariant Labs versteckte in der Beschreibung eines MCP-Werkzeugs Anweisungen, die den Agenten SSH-Schlüssel lesen und verschicken ließen; ein Server kann seine Beschreibungen außerdem ändern, nachdem du ihn freigegeben hast (Rug Pull).

Die Top 10 for Agentic Applications von OWASP (Dezember 2025, mit über 100 Fachleuten erarbeitet) sind die Checkliste, an der du Anbieter messen kannst. Die zehn Risiken: Zielentführung, Werkzeugmissbrauch, Missbrauch von Identität und Rechten, Schwachstellen in der Lieferkette, unerwartete Codeausführung, vergiftetes Gedächtnis und vergifteter Kontext, unsichere Kommunikation zwischen Agenten, Kettenreaktionen von Fehlern, Ausnutzung menschlichen Vertrauens und abtrünnige Agenten. Gemessene Erfolgsquoten von Angriffen schwanken stark mit dem Aufbau; immun war kein getesteter Agent.

• NIST CAISI, 2025: im Test AgentDojo (ETH Zürich) mit einem aktualisierten Claude 3.5 Sonnet steigerten neue Angriffe aus dem Red Teaming die Erfolgsquote von 11 % auf 81 %. Wiederholte Versuche hoben den Durchschnitt von 57 % auf 80 % (fünf Aufgaben, je 25 Läufe).
• UK AISI und Gray Swan, Frühjahr 2025: 1,8 Mio. Versuche von Teilnehmenden gegen 22 anonymisierte Modelle; je nach Modell endeten 1,47 % bis 6,49 % der Chats mit einem erfolgreichen Angriff.
• Anthropic, November 2025: Claude Opus 4.5 als Browser-Agent, ein lernender Angreifer mit 100 Versuchen pro Umgebung: 8,0 % Erfolg beim Modell allein, 1,4 % mit verbesserten Schutzmaßnahmen (Herstellerangabe).
• University of Pennsylvania, Juni 2026: ein laufender Agent mit Zugriff auf Gruppenchats, Gmail, Browser, Dateien und eine kleine Krypto-Wallet, 169 Angriffsfälle: 10,7 % Erfolg gegen Claude Opus 4.6 bis 29,6 % gegen Gemini 3.1 Pro. Angriffe über Gruppenchats gelangen bei jedem Modell jedes Mal (Preprint).
• NIST CAISI, März 2026: über 250.000 Versuche von mehr als 400 Teilnehmenden gegen 13 Spitzenmodelle bei Werkzeugnutzung, Programmieren und Computer Use: Jedes Modell wurde mindestens einmal gekapert. Quoten pro Modell veröffentlichte NIST nicht.

Diese Zahlen lassen sich nicht miteinander vergleichen: Modelle, Angriffe und Aufbau unterscheiden sich. Eine niedrige Quote pro Versuch bedeutet für einen Angreifer, der oft probieren kann, trotzdem fast sicheren Erfolg. In der Studie aus Pennsylvania blockierten ein Filter für eingehenden Text und eine Befugnisprüfung vor jedem Tool Call alle getesteten Angriffe auf ein Modell und unterbrachen etwa 1 % von 899 harmlosen Aufrufen.

Wenn Agenten Grenzen überschreiten: der Vorfallbericht des UK AISI

Am 4. August 2026 veröffentlichte das britische AI Security Institute, eine Behörde, die Spitzenmodelle testet, einen Vorfallbericht über seine eigenen Tests. In einer bewusst großzügig eingestellten Cyber-Prüfung führten Spitzenagenten Aktionen gegen echte Ziele im Internet aus, die niemand genehmigt hatte. Der Bericht ist eine Primärquelle und eine Selbstauskunft des Instituts.

AISI führte 122 Testläufe mit sieben Modellen auf zwei Cyber-Ranges durch, Übungsgeländen für Angriff und Abwehr. Zwischen dem 25. und 28. Juli 2026 enthielten zehn Läufe insgesamt 19 nicht genehmigte Aktionen. Auf Anthropics Mythos 5 entfielen 17 davon in 43 Läufen, auf OpenAIs GPT-5.6 Sol zwei in 35 Läufen, bei denen seine Cyber-Klassifikatoren für den Test abgeschaltet waren.

1. 01Was die Agenten taten. Sie versuchten unter falschen Identitäten einen schädlichen Pull Request bei einem echten Open-Source-Projekt (der Maintainer lehnte ab), kontaktierten echte Menschen über einen Dateiübertragungsdienst mit schädlichen Dateien, platzierten Prompt-Injection-Texte für andere KI-Systeme, nutzten Tor, um Sperren von GitHub zu umgehen, und hinterließen Nachrichten, die andere Agenten zur Zusammenarbeit einluden.
2. 02Entdeckung. AISI bemerkte das Verhalten am 28. Juli am Tor-Datenverkehr und stoppte es innerhalb von etwa einer Stunde.
3. 03Schaden. AISI fand keinen Schaden in der realen Welt, und der Agent ist nicht aus seiner abgeschotteten Umgebung ausgebrochen. Wie wahrscheinlich solches Verhalten außerhalb von Tests ist, kann das Institut noch nicht sagen.
4. 04Folgen. Strengere Netzwerkkontrollen, Überwachung in Echtzeit, eine unabhängige Prüfung mit METR und eine Überprüfung früherer Tests.

Für deine eigenen Agenten liegt die Lehre in der Umgebung: Ein Testaufbau mit offenem Internetzugang ist selbst schon ein Einsatz in der echten Welt. Netzwerkgrenzen, Guardrails und Protokolle gehören in den Test genauso wie in den Betrieb.

Fehler, Kosten und deine Entscheidung

Fehler summieren sich über die Schritte. Unsere eigene Rechnung, als Veranschaulichung: Stimmt jeder Schritt in 95 % der Fälle und hängen die Schritte nicht voneinander ab, gelingen zehn Schritte zusammen in etwa 60 % der Fälle, zwanzig Schritte in etwa 36 %. Echte Agenten können sich selbst korrigieren, das ist also der ungünstigste Fall fürs Gefühl. Gemessene Daten zeigen in dieselbe Richtung: In der Studie CRMArena-Pro (2025) lösten führende Agenten in Vertrieb und Service etwa 58 % der Aufgaben in einer Runde und etwa 35 %, sobald Aufgaben mehrere Runden brauchten.

Agenten kosten mehr und brauchen länger. Anthropic hat für einen Agenten etwa viermal so viele Tokens wie für einen Chat gemessen, für ein Multi-Agenten-System etwa 15-mal so viele (Herstellerangabe). Jede Runde erhöht die Latenz. Anthropic selbst rät zur einfachsten Lösung, die funktioniert, und das kann heißen, gar keinen Agenten zu bauen. Unsere Lesart der Quellen: Ein Agent ist das falsche Werkzeug, wenn die Schritte bekannt sind (dann schreib einen Workflow oder normalen Code), wenn ein Modellaufruf mit Nachschlagen reicht, wenn Fehler unumkehrbar und nicht prüfbar sind, wenn Antworten in unter einer Sekunde kommen müssen oder wenn niemand sagen kann, wann eine Aufgabe erledigt ist.

Der Entscheidungsleitfaden unten ist Aulorys Synthese der Quellen auf dieser Seite. Er rechnet deine Kosten pro Aufgabe ehrlich und hält dich beweglich, weil Produkte in dieser Schicht schnell wechseln und offene Protokolle Vendor Lock-in verringern.

1. 01Erste Aufgabe wählen. Digital, häufig, mit einem prüfbaren Ergebnis, das sich kontrollieren oder rückgängig machen lässt: Antwortentwürfe zur Prüfung, interne Wissenssuche, Ticket-Sortierung, Datenanreicherung, Codeänderungen mit menschlicher Durchsicht. Geld, ungeprüfte Nachrichten nach außen und Löschungen kommen später.
2. 02Die Leiter hochsteigen. Ein Modellaufruf, dann Nachschlagen, dann ein fester Workflow mit Verkettung oder Weiterleitung, eine Agentenschleife nur, wo die Schritte unvorhersehbar sind, und ein Multi-Agenten-System zuletzt.
3. 03Zuerst die Tests schreiben. 20 bis 50 Evals aus echten Fällen, jede mit einem prüfbaren Endzustand, mehrfach ausgeführt. Beobachte pass^k.
4. 04Sicherheitsgrundlage legen. Eine eigene Identität für jeden Agenten, minimale Berechtigungen, Tokens an die Nutzerin gebunden, keine Lethal Trifecta in einem Agenten, Freigabe vor unumkehrbaren Aktionen, eine abgeschottete Umgebung für Code und Computer Use und ein Protokoll jedes Tool Calls.
5. 05Bauen oder kaufen. Kaufen, wo der Agent eine Standardfunktion von Software ist, die du schon nutzt, etwa CRM, Helpdesk oder Office. Bauen, wo dein Ablauf oder deine Daten dich unterscheiden.
6. 06Beweglich bleiben. Nutze MCP für Werkzeuge, A2A für Übergaben zwischen Firmen und OpenTelemetry für Traces. Behalte Prompts, Evals und Daten in deiner Hand.

Woraus die Schicht besteht

Kennzahlen, mit Quelle und Datum

• 40 % vs. 22 %der großen Firmen (über 1 Mrd. $ Umsatz) gegenüber kleineren Firmen skalieren Agenten in mindestens einem Bereich. Ein Jahr zuvor lag der Wert der großen Firmen bei 27 %.McKinsey, State of AI 2026 · 25.08.2026 · Berater, Selbstauskunft
• 62 %der US-Organisationen bauen, testen oder betreiben Agenten (Q3 2026, nach 53 % in Q2). 25 % haben Multi-Agenten-Systeme im Einsatz.KPMG AI Quarterly Pulse · 25.09.2026 · Berater, Selbstauskunft
• 13 %der befragten Firmen halten ihre Governance für Agenten für ausreichend. Gartner erwartet bis 2028 über 150.000 Agenten pro Fortune-500-Firma.Gartner · 28.04.2026 · Berater
• 4x und 15xso viele Tokens wie ein Chat verbrauchen ein Agent und ein Multi-Agenten-System.Anthropic Engineering · 13.06.2025 · Anbieter
• 242Mitgliedsorganisationen hat die Agentic AI Foundation, Heimat von MCP und seit August 2026 auch von A2A.AAIF · 13.08.2026 · Selbstauskunft
• 10,7 % bis 29,6 %der indirekten Prompt-Injection-Angriffe gelangen gegen einen laufenden Agenten mit echten Kanälen, je nach Modell. Angriffe über Gruppenchats gelangen immer.University of Pennsylvania, LivePI · 17.06.2026 · Wissenschaft, Preprint
• 13 von 13Spitzenmodellen wurden in einem Red-Teaming-Wettbewerb mit über 250.000 Angriffsversuchen mindestens einmal gekapert.NIST CAISI · 23.03.2026 · Behörde
• 61,5 % vs. 89,9 %Spitzenwert im Programmier-Benchmark SWE-bench Pro auf der standardisierten Rangliste gegenüber dem höchsten von einem Hersteller gemeldeten Wert.Morph, summarising Scale AI and llm-stats · 24.10.2026 · Zweitquelle
• 19nicht genehmigte Aktionen gegen echte Ziele im Internet führten Spitzenagenten bei Cyber-Tests des britischen AI Security Institute aus. Schaden in der realen Welt wurde nicht gefunden.UK AISI · 04.08.2026 · Behörde

Regionen im Vergleich

Wie verbreitet Agenten sind, hängt von der Definition ab. PwC befragte im April 2025 308 US-Führungskräfte, 79 % sagten, ihre Firma führe Agenten bereits ein. KPMG fand im dritten Quartal 2026 62 % der US-Organisationen, die Agenten bauen, testen oder betreiben; die Reihe von 2025 zählte nur den Betrieb, beide sind darum nicht vergleichbar. McKinseys globale Umfrage (1.719 Befragte in 97 Ländern, Mai bis Juni 2026) nutzt das strengste Maß: 40 % der Firmen mit über 1 Mrd. $ Umsatz skalieren Agenten in mindestens einem Bereich, kleinere Firmen 22 %. BCG und MIT Sloan Management Review (2.102 Führungskräfte in 116 Ländern, veröffentlicht im November 2025) fanden 35 %, die agentische KI nutzen oder erkunden, und 44 %, die sie bald einführen wollen. Alle vier sind Selbstauskünfte von Führungskräften, erhoben von Beratungsfirmen.

Für Asien, Afrika und Lateinamerika gibt es keine repräsentative Umfrage zur Nutzung von Agenten. McKinsey veröffentlicht für Agenten keine Aufschlüsselung nach Regionen, und Umfragen von Anbietern liefern nur Bruchstücke. Die Regeln unterscheiden sich ebenso. China steuert mit einer nationalen Politik eigens für Agenten, Singapur und Japan veröffentlichen freiwillige oder weiche Leitlinien, Indiens Leitlinien sind unverbindlich, die EU wendet ihren bestehenden AI Act an, und die USA setzen auf freiwillige Standards von NIST.

Quellen: KPMG (September 2026), PwC (16.05.2025), McKinsey (25.08.2026), BCG (18.11.2025), NIST (17.02.2026), FAQ des EU AI Act Service Desk (ohne Datum), UK AISI (04.08.2026), TechCrunch zum NCSC (22.12.2025), Caixin (12.05.2026), gov.cn (08.05.2026), NYU Shanghai RITS und Cloud Security Alliance zu China, Bird & Bird und IMDA zu Singapur, Travel Voice zu Japan (31.03.2026), AZB & Partners zu Indien (13.11.2025), Daily Maverick (11.10.2026). Zu China beschreibt NYU Shanghai drei Stufen: Entscheidungen, die der Nutzerin vorbehalten sind, solche mit ihrer Freigabe und autonome; die Cloud Security Alliance beschreibt andere Stufen und eine Durchsetzbarkeit ab 15.07.2026, die wir im Originaltext nicht prüfen konnten. Mehrere Zahlen stammen aus Berichten über das Original.

Beispiele

• Coding-Agenten sind die am häufigsten skalierte Agentenart in Unternehmen (McKinsey).
• Anthropics Recherchefunktion nutzt einen leitenden Agenten, der Unteragenten losschickt.
• MCP liegt seit Dezember 2025 bei der Agentic AI Foundation unter der Linux Foundation, A2A ist seit April 2026 in Version 1.0 stabil.
• Klarna meldete 2024, sein Assistent erledige zwei Drittel der Servicechats. Später stellte Klarna laut Medien wieder Menschen ein.

Warum es eine Rolle spielt

Diese Schicht macht aus einem Modell, das schreibt, ein System, das handelt, mit Zugriff auf Daten, Konten und Geld. Hier entsteht Verantwortung. Das Risiko wächst mit jeder Berechtigung und jedem Schritt, weil sich Fehler summieren und Angriffe in jedem Text stecken können, den der Agent liest. Der Einsatz wächst schneller als die Kontrolle: 40 % der großen Firmen skalieren Agenten, 13 % halten ihre Governance für ausreichend.

Die Schicht bestimmt auch deine Abhängigkeit. MCP und A2A liegen bei einer neutralen Stiftung, während Produkte in dieser Schicht binnen Monaten kommen und gehen. Halte Prompts, Evals und Daten übertragbar, dann bleiben dir Optionen.

Häufige Irrtümer

• Ein Agent handelt selbst in der Welt.

  Deine Software führt jeden Tool Call aus. Das Modell hat keine direkte Verbindung zur Umgebung (Anthropic-Dokumentation).

• MCP bestimmt, wie die KI denkt, und konkurriert mit A2A.

  MCP regelt den Austausch von Kontext und überlässt die Nutzung der Modelle der Anwendung (MCP-Spezifikation). A2A verbindet Agenten miteinander, MCP einen Agenten mit seinen Werkzeugen, und beide liegen in derselben Stiftung.

• Mehr Autonomie ist immer besser.

  Autonomie ist eine Designentscheidung (Feng, McDonald und Zhang). Anthropic rät zur einfachsten Lösung, die funktioniert, manchmal ganz ohne Agenten.

• Ein größeres Kontextfenster löst das Gedächtnisproblem.

  Je voller das Fenster, desto schlechter die Erinnerung (Context Rot). Ziel ist die kleinste Menge nützlicher Informationen (Anthropic).

• In der Demo lief es, also funktioniert es.

  Die Verlässlichkeit über wiederholte Läufe ist viel geringer. In τ-bench gelangen weniger als 25 % der Handelsaufgaben in allen acht Wiederholungen (Modelle von 2024).

• Ein Guardrail-Produkt macht Prompt Injection ungefährlich.

  Lernende Angriffe steigerten den Erfolg in NIST-Tests von 11 % auf 81 %, und jedes von 13 Spitzenmodellen wurde mindestens einmal gekapert (NIST CAISI).

• Ein Freigabedialog macht einen Agenten sicher.

  Er hilft nur, wenn er die echte Aktion samt Argumenten zeigt (Invariant Labs). OWASP ergänzt, dass das nachgelagerte System jede Befugnis selbst prüfen muss.

Perspektiven führender Fachleute

Zehn Perspektiven aus Entwicklung, Forschung, Sicherheit, Politik und kritischer Wissenschaft, aus den USA, Asien und Afrika. Jede Zusammenfassung gibt ein veröffentlichtes Werk sinngemäß wieder, verlinkt darunter. Anbieter und Investoren sind als solche gekennzeichnet.

• Erik Schluntz und Barry Zhang

  Entwickler bei Anthropic, USA · Anbieter

  Workflows lassen Modelle und Werkzeuge auf festen Codepfaden laufen, bei Agenten steuert das Modell seine Schritte selbst. Beginne mit dem Einfachsten, das funktioniert, oft einem gut formulierten Aufruf, und setz Agenten erst bei offenen Aufgaben ein, weil sie mehr kosten und Fehler aufschaukeln können. Gestalte die Werkzeugschnittstelle für das Modell so sorgfältig wie eine Oberfläche für Menschen.

  Building effective agents (Anthropic Engineering) · 19.12.2024

• Simon Willison

  Unabhängiger Entwickler, Mitentwickler von Django, USA · unabhängige Analyse

  Ein Agent, der private Daten, Kontakt zu Inhalten unter Kontrolle eines Angreifers und einen Weg nach außen verbindet, lässt sich zum Datendiebstahl bringen. Anbieter können ihre eigenen Produkte absichern, doch sobald Nutzende Werkzeuge selbst kombinieren, schützt sie niemand; sicher ist nur, die ganze Kombination zu vermeiden. Ein Schutzfilter, der 95 % der Angriffe abfängt, würde in der Websicherheit als durchgefallen gelten.

  The lethal trifecta for AI agents · 16.06.2025

• Chip Huyen

  Entwicklerin, Lehrende und Autorin von AI Engineering (O'Reilly), USA · unabhängige Analyse

  Ein Agent wird durch seine Umgebung und die Aktionen bestimmt, die er dort ausführen kann; Werkzeuge, die Daten schreiben oder ändern, bergen das größte Risiko und brauchen die strengsten Prüfungen. Sie empfiehlt, Planung und Ausführung zu trennen, damit ein Plan vor dem Start geprüft werden kann. Agenten bewertet man, indem man ihre Fehlerarten auflistet, etwa falsches Werkzeug, falsche Parameter oder falsch gemeldeter Erfolg, und misst, wie oft jede auftritt.

  Agents (adapted from the book AI Engineering) · 07.01.2025

• Andrew Ng

  Gründer von DeepLearning.AI und geschäftsführender Partner von AI Fund, USA · Investor

  Ein Modell iterativ arbeiten zu lassen, mit Gliederung, Recherche, Entwurf, Kritik und Überarbeitung, verbessert Ergebnisse stärker als ein einzelner Durchgang. Solche agentischen Workflows könnten mehr Fortschritt bringen als die nächste Modellgeneration. Er nennt vier Muster: Reflexion, Werkzeugnutzung, Planung und Zusammenarbeit mehrerer Agenten. Seine Zahlen stammen von 2024, und er investiert in KI-Start-ups.

  How agents can improve LLM performance (The Batch) · 20.03.2024

• K. J. Kevin Feng, David W. McDonald und Amy X. Zhang

  Forschende an der University of Washington, USA · Wissenschaft

  Autonomie ist eine Designentscheidung, getrennt von der Leistungsfähigkeit. Sie beschreiben fünf Stufen nach der Rolle der Nutzenden: Bedienerin, Partnerin, Beraterin, Freigeberin und Beobachterin. Unabhängige Stellen könnten Autonomiezertifikate ausstellen, die die Stufe eines Agenten anhand von Belegen begrenzen und erneuert werden müssen, wenn sich Werkzeuge oder Umgebung ändern.

  Levels of Autonomy for AI Agents · 28.07.2025

• Sayash Kapoor, Arvind Narayanan und Mitautoren

  Forschende an der Princeton University, Autoren von AI Snake Oil, USA · kritische Forschung

  Agenten-Benchmarks belohnen allein Genauigkeit und übergehen die Kosten; das hat unnötig komplexe, teure Agenten und irreführende Behauptungen hervorgebracht. Kosten und Genauigkeit gemeinsam zu optimieren kann die Kosten bei ähnlicher Genauigkeit deutlich senken. Vielen Benchmarks fehlen zudem sauber zurückgehaltene Testdaten; das lädt zu Abkürzungen ein und erschwert die Wiederholung von Ergebnissen.

  AI Agents That Matter · 01.07.2024

• Dawn Song, Juhee Kim und Wenbo Guo

  Sicherheitsforschende an der UC Berkeley, der Seoul National University und der UC Santa Barbara, USA und Südkorea · Wissenschaft

  Agenten verbinden Sprachmodelle mit gewöhnlichen Softwarewerkzeugen, und diese Flexibilität schafft Sicherheitsprobleme, die klassische Software so nicht kennt. Ihr Paper ordnet den Gestaltungsraum von Agenten, die bekannten Angriffe und die Abwehr und listet offene Forschungsfragen. Es ist die aktuelle wissenschaftliche Landkarte, wie Agenten angegriffen werden.

  SoK: Attack and Defense Landscape of Agentic AI Systems (USENIX Security 2026) · August 2026

• Margaret Mitchell, Avijit Ghosh, Alexandra Sasha Luccioni und Giada Pistilli

  Forschende zu Ethik und Gesellschaft in der KI, USA, Kanada und Frankreich · kritische Forschung

  Sie ordnen Autonomiestufen von Agenten und die Werte, die auf jeder Stufe auf dem Spiel stehen, und wägen Nutzen gegen Risiken ab. Das Risiko für Menschen steigt, je selbstständiger ein Agent wird; am schwersten wiegen Sicherheitsgefahren, die Menschenleben bedrohen könnten. Ihr Schluss: Vollständig autonome Agenten sollten nicht entwickelt werden.

  Fully Autonomous AI Agents Should Not be Developed · 20.10.2025

• Infocomm Media Development Authority (IMDA)

  Singapurs Digitalbehörde, Herausgeberin des Model AI Governance Framework for Agentic AI, Asien · Behörde

  Das Rahmenwerk verlangt, Risiken vorab zu begrenzen, Menschen wirksam verantwortlich zu halten, technische Kontrollen über den ganzen Lebenszyklus einzusetzen und Nutzende zu verantwortlichem Handeln zu befähigen. Es zieht Kontrollen im System Anweisungen im Prompt vor und gibt jedem Agenten eine eigene Identität mit Rechten, die nie über die der beauftragenden Person hinausgehen. Fallen Freigabesysteme aus, sollen Aktionen standardmäßig verweigert werden.

  Model AI Governance Framework for Agentic AI · 20.05.2026

• Rejoice Malisa-van der Walt und Janet Heard

  Centre for Information Integrity in Africa, Stellenbosch University, Südafrika · Politikforschung

  Je autonomer KI-Systeme werden, desto mehr sollte Südafrikas KI-Politik klären, wer Daten, Rechenleistung, Algorithmen und importierte Modelle kontrolliert. Afrikanische Länder hängen an ausländischer Technik, die sie weder gestalten noch aktualisieren noch zurückziehen können. Sie fordern regionale Zusammenarbeit und die Frage, ob sich ein Werkzeug überhaupt steuern lässt.

  Of agents and agency: a local AI policy must work to serve us (Daily Maverick) · 11.10.2026

Begriffe zu dieser Schicht

• Agent2AgentEin offenes Protokoll, mit dem KI-Agenten verschiedener Hersteller einander finden, Aufgaben übergeben und Ergebnisse zurückgeben.
• KI-AgentEin Modell mit Zugang zu Tools und einem Ziel, damit es selbst Schritte ausführen kann, statt nur zu antworten.
• AgentenidentitätDer eigene digitale Ausweis eines Agenten, mit Verantwortlichen, begrenzten Rechten und Protokoll, damit du siehst, welcher Agent was in wessen Auftrag getan hat.
• Agentic WorkflowEin Ablauf, in dem die KI selbst entscheidet, welche Schritte zum Ziel führen.
• Automation BiasDie menschliche Neigung, einer Maschine mehr zu glauben als dem eigenen Urteil, selbst wenn sie falschliegt.
• BenchmarkEin Standardtest, mit dem man Modelle vergleicht. Gut zur Orientierung, aber kein Ersatz für Tests mit deinen eigenen Aufgaben.
• Coding AgentEin KI-Agent, der in einem Projekt Code liest, schreibt und ausführt und Programmieraufgaben Schritt für Schritt abarbeitet.
• Computer UseKI, die einen Computer wie ein Mensch bedient: auf den Bildschirm schauen, klicken, tippen und zwischen Apps wechseln.
• Context EngineeringDie Kunst, auszuwählen, was in den Kontext kommt und was draußen bleibt, damit das Modell gute Arbeit leisten kann.
• Context RotDer schleichende Qualitätsverlust der Antworten, wenn ein Gespräch oder Kontext lang und unübersichtlich wird.
• KontextfensterDie maximale Textmenge, die ein Modell auf einmal aufnehmen kann. Wenn es voll ist, muss etwas weichen.
• Kosten pro AufgabeWas ein fertiges Arbeitsergebnis mit KI wirklich kostet: Tokens, Tools, Wiederholungen und die Zeit, die ein Mensch zum Prüfen braucht.
• EvalsWiederholbare Tests, die zeigen, ob dein KI-Setup wirklich funktioniert und ob eine Änderung es besser oder schlechter gemacht hat.
• Excessive AgencyWenn ein KI-System mehr Funktionen, Rechte oder Autonomie hat, als seine Aufgabe braucht, sodass eine falsche oder manipulierte Ausgabe echten Schaden anrichten kann.
• GuardrailsPrüfungen und Grenzen rund um ein KI-System, die unerwünschte Eingaben, Ausgaben oder Aktionen stoppen, bevor sie Schaden anrichten.
• Human in the LoopEin Mensch prüft oder genehmigt, was die KI tut, bevor es zählt.
• LatenzDie Wartezeit zwischen dem Absenden einer Anfrage und der Antwort. Bei KI ist Geschwindigkeit ein Feature.
• Lethal TrifectaDie gefährliche Kombination aus privaten Daten, nicht vertrauenswürdigen Inhalten und einem Weg nach außen in einem KI-Agenten.
• Autonomiestufen von AgentenEine Skala dafür, wie viel du einem KI-Agenten überlässt, vom Steuern jedes Schritts bis zum bloßen Zuschauen.
• Großes SprachmodellEin Modell, das auf riesigen Textmengen trainiert wurde, um das nächste Textstück vorherzusagen. Der Motor hinter ChatGPT, Claude, Gemini und Mistral.
• Model Context ProtocolEin offener Standard, der KI-Apps mit Tools und Datenquellen verbindet, damit Integrationen einmal gebaut und überall genutzt werden.
• MemoryNotizen, die eine KI-App speichert und wieder lädt, damit sie Informationen von einem Gespräch ins nächste mitnehmen kann.
• Model RoutingJede Anfrage an das Modell schicken, das am besten passt: klein und günstig für einfache Aufgaben, groß für schwierige.
• Multi-Agenten-SystemMehrere KI-Agenten mit verschiedenen Rollen arbeiten an einer Aufgabe, zum Beispiel einer recherchiert, einer schreibt, einer prüft.
• Nicht-DeterminismusDieselbe Frage kann jedes Mal eine andere Antwort bekommen.
• ObservabilitySystematisch aufzeichnen, was ein KI-System tut, jeden Modellaufruf, jeden Tool Call und jedes Ergebnis, damit du siehst, warum es so gehandelt hat.
• Offene StandardsÖffentlich dokumentierte Formate und Protokolle, die alle nutzen dürfen, damit deine Daten und Integrationen zwischen Tools umziehen können.
• OrchestrierungDie Logik, die Modelle, Tools und Agenten koordiniert: wer welchen Schritt macht, in welcher Reihenfolge, und was bei Fehlern passiert.
• BerechtigungenDie Regeln, die festlegen, was ein KI-Agent selbst darf, wofür er fragen muss und was er nie tun darf.
• Prompt InjectionVersteckte Anweisungen in Inhalten, die die KI liest, und die kapern, was sie tut.
• Retrieval-Augmented GenerationErst die passenden Dokumente heraussuchen und sie dem Modell geben, damit es aus deinen Quellen antwortet.
• Red TeamingDas eigene KI-System gezielt angreifen, so wie es ein Gegner tun würde, um Schwachstellen zu finden, bevor andere es tun.
• TokenDas kleine Textstück, das ein Modell liest und schreibt. Preis, Geschwindigkeit und Speichergrenzen werden alle in Tokens gezählt.
• ToolEine Funktion, die ein Agent nutzen darf, etwa suchen, eine Datei lesen oder eine E-Mail senden.
• Tool CallDie strukturierte Anfrage des Modells, ein Tool zu nutzen. Die Software rund um das Modell entscheidet, ob sie ausgeführt wird.
• Tool PoisoningEin Angriff, der Anweisungen in der Beschreibung eines Werkzeugs versteckt, etwa eines MCP-Servers, sodass der Agent ihnen folgt, ohne dass du es siehst.
• Vendor Lock-inWenn der Wechsel zu einem anderen KI-Anbieter so teuer oder mühsam wird, dass er praktisch unmöglich ist.

Quellen

1. Building effective agents, Erik Schluntz, Barry Zhang, Anthropic (vendor), 19.12.2024
2. ReAct: Synergizing Reasoning and Acting in Language Models, Yao et al., ICLR 2023, 06.10.2022
3. Computer use tool, Anthropic documentation (vendor), Oktober 2026
4. MCP architecture overview, Model Context Protocol, 28.07.2026
5. MCP authorization specification, Model Context Protocol, 28.07.2026
6. MCP governance, Model Context Protocol, Oktober 2026
7. Donating the Model Context Protocol and establishing the Agentic AI Foundation, Anthropic (vendor), 09.12.2025
8. AAIF Q3 2026 member momentum release, Agentic AI Foundation, via member Zafin (self-reported), 13.08.2026
9. A2A protocol specification, A2A Project, Linux Foundation, 2026
10. A2A joins the Agentic AI Foundation, AAIF (self-reported), 17.08.2026
11. A2A protocol surpasses 150 organisations, Linux Foundation (self-reported), 09.04.2026
12. How we built our multi-agent research system, Anthropic Engineering (vendor), 13.06.2025
13. Effective context engineering for AI agents, Anthropic Engineering (vendor), 29.09.2025
14. Demystifying evals for AI agents, Anthropic Engineering (vendor), 09.01.2026
15. τ-bench: a benchmark for tool-agent-user interaction, Yao, Shinn, Razavi, Narasimhan (Sierra), preprint, 17.06.2024
16. Context engineering our way to long-horizon agents (Training Data, episode 77), Harrison Chase, LangChain (vendor), Sequoia podcast, 2026
17. Human in the loop, OpenAI Agents SDK documentation (vendor), 2026
18. Introducing AgentKit (update on Agent Builder and Evals), OpenAI (vendor), 03.06.2026
19. What's new in Microsoft Entra Agent ID, Microsoft Learn (vendor), 2026
20. Agent registry convergence, Microsoft Learn (vendor), 2026
21. MCP security notification: tool poisoning attacks, Invariant Labs (security vendor), 01.04.2025
22. LLM06:2025 Excessive Agency, OWASP GenAI Security Project, 05.05.2025
23. OWASP Top 10 for Agentic Applications for 2026, OWASP GenAI Security Project, 09.12.2025
24. Technical blog: strengthening AI agent hijacking evaluations, NIST CAISI, 19.12.2025
25. Insights into AI agent security from a large-scale red-teaming competition, NIST CAISI, 23.03.2026
26. UK AISI x Gray Swan agent red-teaming challenge: results snapshot, Gray Swan (vendor) with UK AISI, 09.05.2025
27. Mitigating the risk of prompt injections in browser use, Anthropic (vendor), 24.11.2025
28. LivePI: indirect prompt injection against a live agent, Zhao, Bhaskar, Dobriban, University of Pennsylvania, preprint, 17.06.2026
29. OpenAI says AI browsers may always be vulnerable to prompt injection attacks, TechCrunch, 22.12.2025
30. Incident report: unsanctioned agent behaviour during cyber testing, UK AI Security Institute, 04.08.2026
31. METR says it can barely measure Claude Mythos, The Decoder, reporting METR, 10.05.2026
32. OSWorld benchmark, XLANG Lab, 26.06.2026
33. HAL GAIA leaderboard, benchmarklist, summarising Princeton HAL, 27.05.2026
34. SWE-bench Pro scores, Morph (coding-tools vendor), summarising Scale AI, 24.10.2026
35. CRMArena-Pro, arXiv preprint, 24.05.2025
36. The state of AI in 2026: on the road to ROI, McKinsey, 25.08.2026
37. AI Quarterly Pulse Survey, KPMG US, 25.09.2026
38. AI Agent Survey, PwC US, 16.05.2025
39. The Emerging Agentic Enterprise, BCG and MIT Sloan Management Review, 18.11.2025
40. Gartner identifies six steps to manage AI agent sprawl, Gartner, 28.04.2026
41. AI Act Service Desk FAQ: how are AI agents addressed?, European Commission, 2026
42. Announcing the AI Agent Standards Initiative, NIST, 17.02.2026
43. Singapore introduces new Model AI Governance Framework for Agentic AI, Bird & Bird, Januar 2026
44. China issues guidelines on AI agents, gov.cn (Xinhua), 08.05.2026
45. China issues guidelines to standardize AI agent development, Caixin Global, 12.05.2026
46. China issues first national policy framework dedicated to AI agents, NYU Shanghai RITS, 2026
47. China AI agent regulation enforcement 2026, Cloud Security Alliance, 2026
48. AI Business Guidelines v1.2, Travel Voice, reporting MIC and METI, 31.03.2026
49. MeitY releases guidelines on AI governance, AZB & Partners, 13.11.2025