Das KI-Vokabular · 06 Own Your AI

Was ist Destillation?

Ein kleineres Modell so trainieren, dass es ein großes nachahmt. So bekommst du viel von der Qualität zu einem Bruchteil der Kosten.

Profi

Bei der Destillation erzeugt ein großes „Lehrer“-Modell Antworten auf viele Beispiele, und ein kleineres „Schüler“-Modell wird trainiert, diese Antworten zu reproduzieren. Der Schüler lernt, sich bei dieser Art von Aufgabe wie der Lehrer zu verhalten, ist aber günstiger und schneller im Betrieb.

Viele Small Language Models entstehen auf diesem Weg. Unternehmen nutzen es auch für eigene Zwecke: Mit einem Frontier-Modell hochwertige Ergebnisse für eine eng umrissene Aufgabe erzeugen und dann ein kleines Modell darauf trainieren. Achtung: Manche Anbieter schränken in ihren Bedingungen ein, ihre Ausgaben zum Training konkurrierender Modelle zu verwenden. Prüf also die Lizenz.

Warum es für dich wichtig ist

Mit Destillation wird eine enge, wiederkehrende Aufgabe günstig im großen Maßstab oder klein genug, um sie selbst zu hosten. Das lohnt sich nur bei hohem Volumen und einer klar definierten Aufgabe.

Own it

Ein destilliertes Modell, trainiert auf deine Aufgabe und betrieben auf deiner Infrastruktur, ist ein Asset, das du kontrollierst. Behandle es wie Fine-Tuning: Es braucht gute Daten, Evals und Pflege.

Verwandt