Das KI-Vokabular · 01 Das Modell
Was ist Skalierungsgesetze?
Die Beobachtung, dass der Fehler eines Modells vorhersagbar sinkt, wenn Modellgröße, Daten und Rechenleistung wachsen.
Skalierungsgesetze, englisch Scaling Laws, beschreiben eine Regelmäßigkeit: Machst du ein Sprachmodell größer und gibst ihm mehr Trainingsdaten und mehr Rechenleistung, sinkt sein Vorhersagefehler entlang einer glatten, vorhersagbaren Kurve.
2020 zeigten Jared Kaplan und Kollegen bei OpenAI, dass diese Kurve über mehr als sieben Größenordnungen hält. Ihr Schluss: Zusätzliches Budget sollte vor allem in größere Modelle fließen.
2022 korrigierten Jordan Hoffmann und Kolleginnen bei DeepMind das. Nach mehr als 400 trainierten Modellen fanden sie: Viele große Modelle waren untertrainiert, Modellgröße und Datenmenge sollten im gleichen Maß wachsen. Ihr Modell Chinchilla hatte 70 Milliarden Parameter, etwa viermal weniger als DeepMinds Gopher, wurde mit gleichem Rechenbudget auf etwa viermal mehr Daten trainiert und schnitt besser ab.
Warum es für dich wichtig ist
Skalierungsgesetze erklären, warum KI-Unternehmen so viel in Chips, Rechenzentren und Daten stecken und warum es zählt, wenn gute Daten knapp werden. Sie sind Beobachtungen, keine Naturgesetze, und sie sagen den Fehler auf Testtext voraus, nicht den Nutzen für deine Aufgabe.
Own it
Größer ist für dich nicht automatisch besser. Ein Small Language Model mit guten Daten kann für eine enge Aufgabe reichen. Miss es mit Evals, statt es anzunehmen.
Woher es kommt
Der Begriff stammt aus Scaling Laws for Neural Language Models von Jared Kaplan und Kollegen (OpenAI, Januar 2020). Die Korrektur ist Training Compute-Optimal Large Language Models von Jordan Hoffmann und Kolleginnen (DeepMind, März 2022), oft das Chinchilla-Paper genannt.
Verwandt
Your AI Learning Hub
Lern das ganze KI-Vokabular, Schritt für Schritt, und bau damit. Build it. Own it.