Das KI-Vokabular · 04 Mit KI bauen

Was ist Observability?

Systematisch aufzeichnen, was ein KI-System tut, jeden Modellaufruf, jeden Tool Call und jedes Ergebnis, damit du siehst, warum es so gehandelt hat.

Fortgeschritten

Observability, übersetzt Beobachtbarkeit, heißt Traces zu sammeln: vollständige Aufzeichnungen eines Laufs mit jedem Modellaufruf, jedem Tool Call, jedem Ergebnis, dazu Zeit und Kosten. Bei einem Agenten ist das wichtiger als bei klassischer Software, weil viel seiner Logik im Modell steckt und sich von Lauf zu Lauf ändert.

Traces sind der Rohstoff für Qualitätsarbeit. Harrison Chase vom Framework-Anbieter LangChain beschreibt, wie man Agenten über ihre Traces versteht und ihre Qualität beurteilt, indem Menschen Traces bewerten. Anthropic nennt den Trace eines Testlaufs Transkript und nutzt ihn in Evals. Für das Format empfiehlt die MCP-Spezifikation den offenen Standard OpenTelemetry.

Warum es für dich wichtig ist

Beschwert sich eine Kundin, zeigt ein Trace, was der Agent gesehen hat, welche Werkzeuge er aufgerufen hat und wo er falsch abgebogen ist. Ohne Traces kannst du nur raten und nicht belegen, was passiert ist.

Own it

Protokolliere jeden Agentenlauf vom ersten Tag an, in einem offenen Format, das du in ein anderes Werkzeug mitnehmen kannst. Prüf, wer die Traces lesen darf, denn sie enthalten oft Kundendaten.

Verwandt