Das KI-Vokabular · 01 Das Modell
Was ist Pre-Training?
Die erste und teuerste Trainingsphase, in der ein Modell aus riesigen, breiten Datenmengen allgemeine Muster lernt.
Im Pre-Training, auf Deutsch auch Vortraining, sieht ein Modell riesige Mengen meist unbeschrifteter Trainingsdaten und lernt, indem es vorhersagt, was als Nächstes kommt. Das Ergebnis ist ein Basismodell. Es weiß viel, folgt aber noch nicht zuverlässig Anweisungen und führt kein Gespräch.
Das kommt danach. Das Post-Training macht aus dem Basismodell einen brauchbaren Assistenten, und Fine-Tuning kann es weiter an eine Aufgabe anpassen.
Dieses Muster in zwei Schritten, einmal breit trainieren und dann für viele Zwecke anpassen, macht ein Foundation Model aus. Die Stanford-Forschenden, die den Begriff 2021 prägten, warnten auch: Die Schwächen eines Basismodells gehen auf alles über, was darauf aufbaut.
Warum es für dich wichtig ist
Das Pre-Training entscheidet, was ein Modell grundsätzlich weiß, welche Sprachen es gut beherrscht und wo sein Wissensstand endet. Es braucht so viele Daten und so viel Rechenleistung, dass nur eine Handvoll Unternehmen es an der Spitze leisten kann.
Own it
Du wirst kein Modell vortrainieren, aber du wählst, auf welchem du aufbaust. Frag, mit welchen Daten es vortrainiert wurde, unter welcher Lizenz und bis zu welchem Datum. Mit einem Open-Weight-Modell kannst du ein Basismodell nehmen und selbst formen.
Woher es kommt
Ein Netz erst breit zu trainieren und dann anzupassen, ist älter als die heutigen Sprachmodelle. Ein einflussreiches Beispiel war BERT von Jacob Devlin und Kollegen bei Google (2018): Es lernte aus unbeschriftetem Text und wurde dann mit einer einzigen zusätzlichen Ausgabeschicht feinabgestimmt. Der Begriff Foundation Model stammt aus On the Opportunities and Risks of Foundation Models von Rishi Bommasani und Kolleginnen in Stanford (2021).
Verwandt
Your AI Learning Hub
Lern das ganze KI-Vokabular, Schritt für Schritt, und bau damit. Build it. Own it.