Das KI-Vokabular · 01 Das Modell
Was ist Latenz?
Die Wartezeit zwischen dem Absenden einer Anfrage und der Antwort. Bei KI ist Geschwindigkeit ein Feature.
Latenz ist die Zeit, die du auf eine Antwort wartest. Bei KI hat sie zwei Teile: die Zeit, bis die ersten Wörter erscheinen, und wie schnell der Rest der Antwort hereinfließt, meist gemessen in Tokens pro Sekunde.
Die Latenz hängt von der Größe des Modells ab, davon, wie ausgelastet der Modellanbieter ist, wie viel Input du schickst und wie viel Output erzeugt wird. Reasoning-Modelle brauchen zusätzlich Zeit, weil sie zuerst Zwischenschritte erzeugen. Kleine Modelle und kürzere Eingaben sind schneller.
Warum es für dich wichtig ist
Bei einem Chat oder einem Sprachassistenten fühlen sich ein paar Sekunden Verzögerung kaputt an. Bei einem Bericht, der über Nacht entsteht, interessiert es niemanden. Entscheide pro Anwendungsfall, wie schnell es sein muss, und wähl Modell und Setup danach.
Own it
Geschwindigkeit ist Teil der Nutzererfahrung, die du steuerst. Kürzerer Kontext, kleinere Modelle für einfache Schritte und gestreamte Antworten helfen oft mehr als der Wechsel zu einem größeren Modell.
Woher es kommt
Latenz kommt vom lateinischen latere, „verborgen liegen“, derselben Wurzel wie „latent“. Zuerst beschrieb das Wort Verborgenes, ab 1882 die Verzögerung zwischen Reiz und Reaktion, und in den 1950er-Jahren übernahm es die Informatik. Eine passende Geschichte: Latenz ist die Zeit, die zwischen deiner Frage und dem ersten Wort der Antwort verborgen liegt. Etymonline: latency
Verwandt
Your AI Learning Hub
Lern das ganze KI-Vokabular, Schritt für Schritt, und bau damit. Build it. Own it.