Das KI-Vokabular · 01 Das Modell
Was ist Parameter?
Die Milliarden Zahlen in einem Modell, festgelegt beim Training. Alles, was das Modell weiß, steckt in ihnen.
Parameter, auch Gewichte genannt, sind die Zahlen in einem Modell. Das Training passt sie so lange an, bis das Modell Text gut vorhersagt. Darin steckt keine Datenbank voller Fakten: Was das Modell „weiß“, ist über diese Zahlen verteilt.
Parameterzahlen werden oft in Milliarden angegeben (zum Beispiel „8B“ oder „70B“). Mehr Parameter bedeuten meist mehr Fähigkeiten, aber auch mehr Speicher, mehr Rechenleistung und höhere Kosten. Die Größe allein ist kein verlässliches Maß für Qualität.
Ist das Training abgeschlossen, sind die Parameter eingefroren. Nichts, was du eintippst, verändert sie. Das schafft nur weiteres Training, etwa Fine-Tuning.
Warum es für dich wichtig ist
Die Parameterzahl verrät dir grob, welche Hardware ein Modell braucht und was der Betrieb kosten kann. Ob das Modell deine Aufgabe gut löst, verrät sie nicht. Teste mit deinen eigenen Beispielen.
Own it
Wenn ein Unternehmen die Parameter veröffentlicht, wird das Modell zum Open-Weight-Modell, das du selbst betreiben kannst. Die Gewichte selbst zu haben, ist die greifbarste Form, ein Modell zu besitzen.
Woher es kommt
„Parameter“ verbindet das griechische para, „neben“, mit metron, „Maß“. Das Wort tauchte in den 1650er-Jahren in der Geometrie auf, als Konstante, die eine Kurve festlegt, und bekam erst später die Bedeutung eines beliebigen messbaren Faktors eines Systems. Die moderne KI trieb es zu erstaunlichen Größen: GPT-3 hatte 2020 175 Milliarden Parameter. Etymonline: parameter
Verwandt
Your AI Learning Hub
Lern das ganze KI-Vokabular, Schritt für Schritt, und bau damit. Build it. Own it.