Das KI-Vokabular · 01 Das Modell

Was ist Gradientenabstieg?

Die Methode, mit der ein Modell lernt: jeden Parameter ein kleines Stück in die Richtung verstellen, in der seine Fehler kleiner werden, und wiederholen.

Profi

Beim Training macht eine Verlustfunktion aus jeder Vorhersage eine Zahl, die angibt, wie falsch sie war. Der Gradientenabstieg berechnet für jeden Parameter, in welche Richtung diese Zahl sinken würde, und verschiebt alle Parameter einen kleinen Schritt dorthin. Milliardenfach wiederholt, schrumpfen die Fehler.

Der Lehrende Grant Sanderson beschreibt es als Abstieg durch eine Landschaft aus Fehlern. Die Schrittgröße heißt Lernrate: Ist sie zu groß, schießt das Modell übers Ziel hinaus, ist sie zu klein, dauert das Training ewig. Die Methode findet meist ein gutes Tal, ohne Garantie, dass es das beste ist.

Warum es für dich wichtig ist

Der Gradientenabstieg erklärt, warum Training so viel Rechenleistung frisst: Jeder Schritt berührt jeden Parameter eines Modells mit Milliarden davon. Er erklärt auch, warum Trainingsergebnisse von Lauf zu Lauf leicht schwanken und warum die Trainingsdaten alles prägen, was das Modell lernt.

Own it

Wenn du ein Modell selbst per Fine-Tuning anpasst, sind Lernrate und Zahl der Schritte die ersten Einstellungen zum Testen. Beginn mit den Standardwerten des Anbieters und ändere jeweils nur eine Sache.

Verwandt