Das KI-Vokabular · 07 Wenn es schiefgeht

Was ist Benchmark-Kontamination?

Wenn Testfragen in den Trainingsdaten eines Modells landen und sein Benchmark-Ergebnis seine Fähigkeit überschätzt.

Profi

Modelle lernen aus riesigen Mengen Webtext, und öffentliche Benchmarks stehen ebenfalls im Netz. Geraten Testfragen in die Trainingsdaten, hat das Modell die Antworten womöglich schon gesehen. Sein Ergebnis überschätzt dann, was es bei neuen Aufgaben kann.

Ein Team aus Yale prüfte das am Benchmark MMLU: Sollten ChatGPT und GPT-4 eine verdeckte falsche Antwortoption erraten, trafen sie in 52 und 57 % der Fälle genau, ein Zeichen, dass sie die Fragen kannten. Am größten ist das Risiko bei Modellen, deren Trainingsdaten nicht offengelegt sind.

Warum es für dich wichtig ist

Kontamination ist ein Grund, warum ein Modell eine Bestenliste anführen und bei deinen Aufgaben trotzdem enttäuschen kann. Zusammen damit, dass Anbieter viele private Varianten testen und nur die beste veröffentlichen, sind öffentliche Ranglisten höchstens ein grober Anhaltspunkt.

Own it

Bau dir ein kleines privates Testset aus eigenen Fällen und veröffentliche es nie. Lass jedes infrage kommende Modell daran laufen, bevor du entscheidest; das ist dein kontaminationsfreies Eval.

Verwandt