Das KI-Vokabular · 01 Das Modell
Was ist Test-Time Compute?
Rechenleistung, die beim Antworten eingesetzt wird, damit ein Modell länger nachdenken oder mehrere Lösungen probieren kann, statt nur im Training.
Lange kamen bessere Modelle vor allem aus größerem Training. Test-Time Compute ist der andere Hebel: mehr Rechenleistung im Moment der Antwort, also bei der Inferenz. Das Modell schreibt längere Gedankenketten, probiert mehrere Lösungen oder prüft seine Arbeit, bevor es antwortet. So arbeiten Reasoning-Modelle.
Als OpenAI im September 2024 o1 vorstellte, berichtete es: Die Leistung steigt mit mehr Denkzeit. Bei einem Mathewettbewerb, AIME 2024, gab es für sein früheres Modell GPT-4o 12 Prozent an und für o1 74 Prozent bei einem einzigen Versuch. Das sind Angaben des Herstellers selbst.
Unabhängige Forschung zeigt in dieselbe Richtung, mit Bedingungen. Charlie Snell und Kollegen zeigten 2024: Wird die zusätzliche Rechenleistung je Frage klug verteilt, ist das mehr als viermal so effizient, wie einfach viele Antworten zu erzeugen. Und ein kleineres Modell mit mehr Denkzeit kann ein 14-mal größeres schlagen, aber nur bei Aufgaben, die das kleine Modell schon teilweise lösen kann.
Warum es für dich wichtig ist
Die Kosten wandern vom Training in jede einzelne Anfrage: mehr Tokens, mehr Wartezeit (Latenz) und höhere Kosten pro Aufgabe. Bei schweren Problemen lohnt sich das, bei einfachen ist es Verschwendung.
Own it
Nutz Model Routing: Schwere Fragen gehen an ein denkendes Modell, Routinearbeit an ein schnelles, günstiges. Miss, welche Aufgaben wirklich besser werden.
Woher es kommt
Eine einzelne Prägung gibt es nicht. Die zwei wichtigsten Quellen sind OpenAIs Learning to reason with LLMs (12. September 2024) und Scaling LLM Test-Time Compute Optimally can be More Effective than Scaling Model Parameters von Charlie Snell, Jaehoon Lee, Kelvin Xu und Aviral Kumar (August 2024).
Verwandt
Your AI Learning Hub
Lern das ganze KI-Vokabular, Schritt für Schritt, und bau damit. Build it. Own it.