Das KI-Vokabular · 06 Own Your AI
Was ist Quantisierung?
Ein Modell verkleinern, indem seine Zahlen mit weniger Genauigkeit gespeichert werden, damit es auf kleinerer, günstigerer Hardware läuft.
Die Parameter eines Modells sind Zahlen, die normalerweise mit hoher Genauigkeit gespeichert werden. Bei der Quantisierung werden sie mit weniger Bits gespeichert, zum Beispiel mit 8 oder 4 statt 16. Die Modelldatei wird viel kleiner, braucht weniger Speicher und läuft oft schneller.
Der Preis ist ein gewisser Qualitätsverlust, bei moderater Quantisierung meist gering, bei aggressiver deutlicher spürbar. Quantisierte Versionen machen es überhaupt erst möglich, leistungsfähige Open-Weight-Modelle mit Tools für lokale KI auf einem Laptop zu betreiben. Bezeichnungen wie „Q4“ oder „4-bit“ in Modellnamen meinen genau das.
Warum es für dich wichtig ist
Wenn du KI auf deiner eigenen Hardware betreiben willst, entscheidet die Quantisierung, welche Modelle überhaupt passen. Sie kann aus „wir brauchen einen teuren GPU-Server“ ein „es läuft auf den Rechnern, die wir haben“ machen.
Own it
Teste das quantisierte Modell mit deinen echten Aufgaben, bevor du dich darauf verlässt. Bei vielen Business-Aufgaben ist der Unterschied unsichtbar, bei präzisem Schlussfolgern oder Zahlen kann er eine Rolle spielen. Ein schneller Vergleich mit Evals gibt dir die Antwort.
Woher es kommt
Das Wort stammt aus der Signalverarbeitung, wo kontinuierliche Signale auf eine begrenzte Zahl von Stufen gerundet werden. Für große Sprachmodelle zeigten Tim Dettmers und Kollegen 2022 mit LLM.int8(), dass riesige Modelle mit 8-Bit-Genauigkeit fast ohne Qualitätsverlust laufen können. Projekte wie llama.cpp machten 4-Bit-Modelle dann zum ganz normalen Weg, KI auf Laptops zu betreiben.
Verwandt
Your AI Learning Hub
Lern das ganze KI-Vokabular, Schritt für Schritt, und bau damit. Build it. Own it.