Das KI-Vokabular · 02 KI-Infrastruktur

Was ist Time to First Token (TTFT)?

Wie lange ein KI-Modell braucht, bis der erste Teil der Antwort erscheint. Zusammen mit der Zeit pro ausgegebenem Token beschreibt sie, wie schnell sich ein Modell anfühlt.

Profi

Eine KI-Antwort entsteht in zwei Phasen. Zuerst liest das Modell die gesamte Eingabe, genannt Prefill. Die Zeit, bis das erste Token erscheint, ist die Time to First Token, TTFT. Danach schreibt es die Antwort Token für Token, genannt Decode. Die Zeit pro ausgegebenem Token, TPOT, bestimmt, wie schnell der Text nachläuft.

Die beiden Phasen belasten die Hardware unterschiedlich. Das Forschungssystem DistServe, vorgestellt auf der Systemkonferenz OSDI 2024, verteilt sie auf getrennte GPUs und bediente innerhalb der Latenzziele bis zu 7,4-mal so viele Anfragen wie frühere Systeme. Anbieter setzen eigene Ziele: Ein Benchmark von NVIDIA rechnet für ein sehr großes Modell mit 5 Sekunden bis zum ersten Token und 50 Millisekunden pro Token (Herstellerangabe).

Warum es für dich wichtig ist

Nutzende spüren die TTFT als Reaktionsschnelle und die TPOT als Lesetempo. Lange Eingaben erhöhen die TTFT, lange Antworten vervielfachen die TPOT. Beides prägt die Latenz und deine Kosten pro Aufgabe.

Own it

Miss TTFT und TPOT mit deinen echten Eingaben bei jedem Anbieter, den du erwägst, und zu den Tageszeiten, an denen deine Nutzenden aktiv sind. Wenn Tempo für dein Produkt zählt, schreib beide Werte in Vertrag oder Service-Level.

Verwandt