Das KI-Vokabular · 01 Das Modell

Was ist Post-Training?

Alles, was nach dem Pre-Training passiert, um aus einem rohen Basismodell einen hilfreichen, sichereren Assistenten zu machen.

Fortgeschritten

Nach dem Pre-Training setzt ein Basismodell einfach Text fort. Das Post-Training bringt ihm bei, Fragen zu beantworten, Anweisungen zu folgen und schädliche Anfragen abzulehnen.

Meist hat es zwei Teile. Zuerst schreiben Menschen Beispiele guter Antworten, und das Modell lernt daraus. Dann vergleichen Menschen mehrere Antworten, und das Modell lernt aus diesen Rangfolgen. Dieser zweite Schritt heißt RLHF, Reinforcement Learning from Human Feedback, also bestärkendes Lernen aus menschlichem Feedback (siehe Reinforcement Learning). Heute sind viele dieser Daten auch synthetisch.

Die Wirkung kann groß sein. In OpenAIs Studie zu InstructGPT von 2022 bevorzugten menschliche Bewertende die Antworten eines nachtrainierten Modells mit 1,3 Milliarden Parametern gegenüber denen von GPT-3 mit 175 Milliarden Parametern. Das berichtet OpenAI über das eigene Modell.

Warum es für dich wichtig ist

Vieles, was du als Persönlichkeit eines Modells erlebst, stammt aus dem Post-Training: sein Ton, was es ablehnt, wie vorsichtig es ist, und Gewohnheiten wie Sycophancy. Zwei Modelle auf derselben Basis können sich sehr unterschiedlich verhalten.

Own it

Wähl nicht nach Marke. Teste mit Evals, wie sich ein Modell bei deinen eigenen Aufgaben verhält. Wenn du das Verhalten selbst formen willst, ist das Fine-Tuning.

Verwandt