Das KI-Vokabular · 01 Das Modell
Was ist Inferenz?
Ein fertiges Modell laufen lassen, um eine Antwort zu bekommen. Das, wofür du bei jeder Nachricht bezahlst.
Inferenz ist der Moment, in dem ein trainiertes Modell genutzt wird: Deine Eingabe geht hinein, das Modell erzeugt Tokens, heraus kommt eine Antwort. Jede Nachricht an einen KI-Assistenten ist eine Inferenz-Anfrage.
Training passiert einmal, Inferenz milliardenfach am Tag. Deshalb ist Inferenz für Nutzerinnen und Nutzer der Kostenfaktor, der zählt. Sie läuft auf fremder oder eigener Hardware: bei einem Modellanbieter in der Cloud oder auf deinem eigenen Rechner mit lokaler KI.
Die Kosten der Inferenz hängen von der Modellgröße und der Zahl der Tokens ab, die hinein- und herausgehen. Agenten, die viele Schritte machen, stellen auch viele Inferenz-Anfragen.
Warum es für dich wichtig ist
Deine laufenden KI-Kosten sind Inferenzkosten. Sie wachsen mit der Nutzung: Mehr Nutzer, längere Dokumente und mehrstufige Agenten vervielfachen sie. Plane das ein, bevor aus einem Pilotprojekt ein Produkt wird.
Own it
Du kannst wählen, wo die Inferenz stattfindet. Wer sie lokal oder auf eigener Infrastruktur betreibt, tauscht Gebühren pro Token gegen Hardware und Wartung und behält die Daten in der eigenen Hand.
Woher es kommt
„Inferenz“ stammt aus der Statistik, wo es bedeutet, aus Daten Schlüsse zu ziehen. Die Unterscheidung zwischen Training und Inferenz wurde im Deep-Learning-Boom der 2010er-Jahre zum Alltagsvokabular. NVIDIA erklärte es 2016 mit einem Bild aus der Schule: Training ist die Ausbildung, Inferenz ist die Anwendung im Job.
Verwandt
Your AI Learning Hub
Lern das ganze KI-Vokabular, Schritt für Schritt, und bau damit. Build it. Own it.