Das KI-Vokabular · 01 Das Modell

Was ist Attention?

Der Mechanismus im Transformer, mit dem jedes Wortstück abwägt, wie wichtig jedes andere Stück für seine Bedeutung ist.

Profi

Attention, auf Deutsch Aufmerksamkeit, ist der Kern des Transformers. Für jedes Token der Eingabe berechnet das Modell, wie stark jedes andere Token damit zusammenhängt, und mischt deren Information entsprechend. Im Satz „Die Bank erhöhte ihre Zinsen“ kann sich „ihre“ so auf „Bank“ beziehen.

Weil all diese Vergleiche gleichzeitig laufen können, passt Attention zu GPUs und machte es möglich, sehr große Sprachmodelle zu trainieren. Der Preis: Jedes Token wird mit jedem anderen verglichen, lange Eingaben werden dadurch teuer.

Warum es für dich wichtig ist

Attention erklärt, warum ein langes Kontextfenster mehr kostet und warum Modelle lange Eingaben ungleich gut nutzen. Eine Stanford-Studie fand, dass Informationen in der Mitte einer langen Eingabe deutlich schlechter genutzt wurden als am Anfang oder Ende.

Own it

Stell das Wichtigste an den Anfang oder das Ende deines Prompts und streich, was das Modell nicht braucht. Du bezahlst für jedes Token, das es beachten muss.

Verwandt