Das KI-Vokabular · 07 Wenn es schiefgeht

Was ist Evals?

Wiederholbare Tests, die zeigen, ob dein KI-Setup wirklich funktioniert und ob eine Änderung es besser oder schlechter gemacht hat.

Profi

Evals, kurz für Evaluations, sind Tests für KI-Systeme. Du sammelst realistische Beispiele für die Aufgabe, legst fest, wie ein gutes Ergebnis aussieht, lässt dein Setup alle Beispiele durchlaufen und misst, wie oft es gelingt. Manche Prüfungen laufen automatisch, für andere braucht es einen Menschen oder ein zweites Modell als Bewerter.

Weil KI-Ergebnisse durch Nicht-Determinismus schwanken, reichen ein paar Stichproben nicht. Evals machen aus „schien zu funktionieren“ eine Zahl, die du über die Zeit verfolgen und zwischen Modellen, Prompts und Anbietern vergleichen kannst.

Der beste Einstieg ist oft ganz einfach: Schau dir echte Fehler genau an, sortiere sie nach Typen und mach aus jedem Typ einen Test.

Warum es für dich wichtig ist

Ohne Evals ist jede Änderung ein Glücksspiel: Ein neues Modell, ein umgeschriebener Prompt oder ein anderer Anbieter kann die Ergebnisse unbemerkt verschlechtern. Mit Evals entscheidest du auf Basis von Belegen und kannst Kunden oder Prüfern zeigen, wie du die Qualität kontrolliert hast.

Own it

Dein Eval-Set gehört zu den wertvollsten KI-Assets, die du besitzen kannst. Es hält fest, was „gut“ für dein Business bedeutet, und erlaubt dir, jederzeit sicher das Modell zu wechseln.

Verwandt