Das KI-Vokabular · 01 Das Modell
Was ist Benchmark?
Ein Standardtest, mit dem man Modelle vergleicht. Gut zur Orientierung, aber kein Ersatz für Tests mit deinen eigenen Aufgaben.
Ein Benchmark ist ein fester Satz an Fragen oder Aufgaben, etwa Matheprobleme, Programmieraufgaben oder Wissensfragen, mit dem Modelle bewertet und in eine Rangliste gebracht werden. Neue Modelle kommen fast immer mit Benchmark-Ergebnissen auf den Markt.
Benchmarks haben Grenzen. Sie messen enge Fähigkeiten, veralten schnell, sobald Modelle gezielt darauf optimiert werden, und manchmal landen Testfragen in den Trainingsdaten, was die Werte aufbläht. Ein Modell, das einen Benchmark anführt, ist nicht automatisch das beste für deine Arbeit.
Warum es für dich wichtig ist
Nutze Benchmarks für eine Vorauswahl, nicht für die Entscheidung. Die eigentliche Frage ist, wie ein Modell mit deinen Dokumenten, deinen Kundinnen und Kunden und deinen Sonderfällen umgeht.
Own it
Bau dir ein eigenes kleines Testset: ein paar Dutzend echte Beispiele mit bekannten guten Antworten. Lass die Kandidaten-Modelle darauf laufen. Das ist dein privater Benchmark und der Anfang richtiger Evals.
Woher es kommt
„Benchmark“ war ursprünglich ein Wort der Landvermesser, erstmals belegt 1838: eine feste Markierung, auf die man eine Nivellierlatte stellen konnte, damit sich jede spätere Messung auf denselben Punkt beziehen ließ. Ab den 1880er-Jahren stand es auch für jeden Vergleichsmaßstab. In der KI wurden aus dieser Idee gemeinsame Testsets und öffentliche Ranglisten, deshalb erscheinen neue Modelle mit ganzen Tabellen voller Benchmark-Ergebnisse. Etymonline: benchmark · Benchmark in surveying
Verwandt
Your AI Learning Hub
Lern das ganze KI-Vokabular, Schritt für Schritt, und bau damit. Build it. Own it.