Das KI-Vokabular · 01 Das Modell
Was ist Transformer?
Die Architektur neuronaler Netze hinter heutigen Sprachmodellen, gebaut, um abzuwägen, wie jeder Teil eines Textes mit jedem anderen zusammenhängt.
Der Transformer ist eine Architektur für neuronale Netze, die Google-Forschende 2017 im Paper „Attention Is All You Need“ vorgestellt haben. Ihr Kernmechanismus, Attention, lässt das Modell abwägen, wie jedes Token der Eingabe mit allen anderen zusammenhängt. So kann es ein Pronomen dem richtigen Namen zuordnen oder einen Funktionsaufruf seiner Definition.
Transformer lassen sich effizient und parallel auf riesigen Datenmengen trainieren. Genau das hat moderne große Sprachmodelle möglich gemacht. Das „T“ in GPT steht für Transformer.
Warum es für dich wichtig ist
Die Architektur erklärt einige praktische Grenzen. Weil jedes Token mit jedem anderen verglichen wird, werden sehr lange Eingaben teuer, und die Qualität kann sinken, je voller das Kontextfenster wird. Kurzer, fokussierter Input funktioniert meist besser, als alles hineinzukippen.
Own it
Eine Architektur wählst du selten selbst. Was du steuerst, ist, womit du das Modell fütterst: Halt den Kontext relevant, und du bekommst bessere Ergebnisse für weniger Geld.
Woher es kommt
Der Transformer wurde im Juni 2017 von acht Google-Forschenden im Paper Attention Is All You Need vorgestellt. Ursprünglich für maschinelle Übersetzung gebaut, ersetzte er ältere Designs, die Wort für Wort arbeiteten, allein durch Attention. Das machte das Training schneller und viel leichter parallelisierbar. Sein Einfluss ist leicht zu erkennen: Das „T“ in GPT steht für Transformer.
Verwandt
Your AI Learning Hub
Lern das ganze KI-Vokabular, Schritt für Schritt, und bau damit. Build it. Own it.