Modelle

Worum es geht

Wenn du einem Chatbot eine Frage stellst, liest ein Modell sie als Folge von Tokens und berechnet Token für Token, welches Textstück als Nächstes kommen soll. Sein ganzes Wissen steckt in Milliarden Parametern, Zahlen, die beim Training eingestellt wurden und beim Antworten fest bleiben.

Die Modellschicht liegt zwischen den Daten, aus denen ein Modell lernt, und den Agenten und Anwendungen, die darauf aufbauen. Sie bestimmt zu einem großen Teil, was KI kann, was sie kostet und von wem du abhängst. Hier laufen auch die heftigsten Debatten, über Offenheit und über die Grenzen der heutigen Methoden.

Was ein Modell ist: Gewichte, Parameter, Tokens

Ein Modell ist eine sehr große Sammlung von Zahlen, angeordnet als neuronales Netz. Jedes künstliche Neuron hält eine Zahl. Es bildet eine gewichtete Summe aus den Neuronen der Schicht davor, addiert einen kleinen Versatz und gibt das Ergebnis weiter. Gewichte und Versätze zusammen sind die Parameter; nach dem Training nennt man sie meist einfach Gewichte. Lernen heißt, all diese Zahlen so lange zu verstellen, bis die Ausgaben gut sind.

Die Größe trennt ein Lehrbuchbeispiel von einem Chatbot. Das kleine Netz aus Grant Sandersons 3Blue1Brown-Lektion, das handgeschriebene Ziffern erkennt, hat 13.002 Parameter. OpenAIs GPT-3 hatte 2020 schon 175 Mrd. Auf der Festplatte sind Gewichte ganz handfest: Ein Modell mit 70 Mrd. Parametern belegt bei zwei Bytes pro Zahl etwa 140 GB. Andrej Karpathy beschreibt es als Parameterdatei plus ein kleines Programm, das sie ausführt.

Sprachmodelle lesen und schreiben Tokens, also Wortstücke. OpenAIs Faustregel für Englisch lautet: etwa vier Zeichen oder drei Viertel eines Worts pro Token. Wie ein Text zerfällt, hängt von der Sprache ab, und andere Sprachen brauchen für denselben Inhalt oft mehr Tokens. Dieselbe Nachricht kann also mehr kosten. Das Kontextfenster gibt an, wie viele Tokens ein Modell auf einmal aufnehmen kann, Eingabe und Antwort zusammen. DeepSeek V4 nennt 1 Mio. Tokens (Herstellerangabe), nach OpenAIs Faustregel etwa 750.000 englische Wörter.

• Architektur: wie die Zahlen angeordnet sind. Fast alle heutigen Sprachmodelle nutzen den Transformer, den der nächste Abschnitt erklärt.
• Basismodell: ein Foundation Model wird mit breiten Daten trainiert und dann für viele Aufgaben angepasst. Seine Stärken und Schwächen wandern in jedes Produkt, das darauf aufbaut.
• Inferenz: Inferenz heißt, ein fertig trainiertes Modell laufen zu lassen, um eine Antwort zu bekommen. Die Gewichte bleiben fest, nur die Eingabe ändert sich.
• Modell und System: die KI-Verordnung der EU behandelt das KI-Modell mit allgemeinem Verwendungszweck als Baustein und das KI-System als Modell plus Software und Oberfläche.

Ein Token nach dem anderen: Die Entwickler beschreiben GPT-3 als autoregressives Modell, jedes neue Token wird also aus allem Vorherigen vorhergesagt. Eine lange Antwort heißt, dass das Modell für jedes geschriebene Token einmal durchläuft.

Transformer und Attention einfach erklärt

Ältere Sprachmodelle lasen einen Satz Wort für Wort und trugen eine laufende Zusammenfassung mit. 2017 ersetzten acht Google-Forschende das durch den Transformer, eine Bauart, die allein auf Attention beruht, auf Deutsch Aufmerksamkeit. Attention lässt jedes Token gleichzeitig auf alle anderen Tokens der Eingabe schauen und abwägen, welche für seine Bedeutung zählen. Im Satz „Die Bank erhöhte ihre Zinsen“ kann sich „ihre“ so auf „Bank“ beziehen.

Die Bauart passt zu GPUs, weil all diese Vergleiche parallel laufen können. Das Originalpaper erreichte einen neuen Bestwert bei der Übersetzung von Englisch nach Deutsch und trainierte ein Modell für Englisch nach Französisch in 3,5 Tagen auf acht GPUs. Diese Parallelität ist ein großer Grund, warum sich die Architektur bis zu den heutigen Modellen hochskalieren ließ.

Attention hat ihren Preis. Jedes Token wird mit jedem anderen verglichen, lange Eingaben werden also teuer, und Modelle nutzen die Stellen eines langen Texts ungleich gut. Eine Stanford-Studie fand, dass die Genauigkeit meist am höchsten war, wenn die wichtige Information am Anfang oder am Ende stand, und in der Mitte deutlich sank, auch bei Modellen für langen Kontext. Die Studie stammt von 2023; ob Modelle von 2026 den Effekt noch so stark zeigen, ist nicht belegt.

Viele neue offene Modelle verändern die Attention, um Speicher zu sparen. Sebastian Raschka vergleicht zehn Veröffentlichungen vom Jahresanfang 2026 und findet hybride, lineare und komprimierte Attention als wiederkehrende Kniffe, neben Mixture of Experts. Er argumentiert, dass Datenqualität und Trainingsrezept wahrscheinlich mehr zählen als die Architektur allein.

Wie ein Modell lernt: Vortraining und Nachtraining

Das Training beginnt mit Zufallszahlen. Im Vortraining liest das Modell riesige Textmengen und sagt immer wieder das nächste Token voraus. Eine Verlustfunktion macht aus jeder Vorhersage eine einzige Zahl, die angibt, wie falsch sie war. Der Gradientenabstieg verstellt dann jeden Parameter ein kleines Stück in die Richtung, in der diese Zahl sinkt. Über Billionen Tokens wiederholt, entsteht so allgemeines Wissen über Sprache und Welt.

Ein vortrainiertes Modell setzt Texte gut fort und befolgt Anweisungen schlecht. OpenAIs InstructGPT-Paper hielt 2022 fest: Größere Modelle werden dadurch allein nicht besser darin, das zu tun, was jemand will. Das Nachtraining formt das Verhalten in mehreren Schritten.

1. 01Überwachtes Feintuning (SFT). Menschen schreiben Musterantworten auf Beispielanfragen, und das Modell wird per Fine-Tuning darauf trainiert.
2. 02Menschliche Vorlieben (RLHF). Menschen ordnen mehrere Antworten nach Qualität, und das Modell lernt per bestärkendem Lernen aus menschlichem Feedback weiter. Bei InstructGPT wurde ein so trainiertes Modell mit 1,3 Mrd. Parametern dem GPT-3 mit 175 Mrd. vorgezogen, machte aber weiter einfache Fehler.
3. 03Überprüfbare Belohnungen (RLVR). Ein Programm prüft die Antwort: Stimmt das Rechenergebnis, laufen die Code-Tests durch? Das Allen Institute for AI gab dem 2024 den Namen Reinforcement Learning mit überprüfbaren Belohnungen. Andrej Karpathy nennt es die große neue Trainingsstufe des Jahres 2025, die Rechenleistung vom Vortraining abzog.
4. 04Denken durch RL. DeepSeek berichtete 2025, begutachtet in Nature, dass reines Reinforcement Learning einem Modell das schrittweise Denken beibringen kann, ohne von Menschen geschriebene Denkbeispiele. Selbstprüfung und Strategiewechsel entstanden dabei von allein.
5. 05Tests und Veröffentlichung. Die Labore testen das Modell, auch per Red Teaming, und veröffentlichen eine Model Card oder System Card. Sie beschreiben Einsatzzweck und bekannte Risiken, verfasst vom Anbieter selbst.

Unsere Lesart der Quellen: Mathematik und Programmieren wurden 2025 und 2026 am schnellsten besser, weil sich Antworten dort automatisch prüfen lassen, und genau dort wirkt RLVR.

Skalierungsgesetze, Reasoning-Modelle und Denkzeit

2020 fanden Kaplan und Kollegen bei OpenAI heraus, dass der Fehler eines Sprachmodells gleichmäßig und vorhersagbar sinkt, wenn Modellgröße, Daten und Rechenleistung wachsen, über mehr als sieben Größenordnungen. Diese Skalierungsgesetze machten Modellbau zu einem Investitionsplan. 2022 korrigierte DeepMind das Rezept: Größe und Trainingsdaten sollen gemeinsam wachsen, bei jeder Verdopplung der Größe auch doppelt so viele Tokens. Das Modell Chinchilla mit 70 Mrd. Parametern, mit derselben Rechenleistung wie das 280-Mrd.-Modell Gopher, aber mit viermal so vielen Daten trainiert, schlug Gopher und noch größere Modelle.

Die Ausgaben folgen den Gesetzen. Die Trainingsrechenleistung für Spitzenmodelle wächst seit 2020 etwa um das Fünffache pro Jahr, die Trainingskosten um etwa das 3,5-Fache (Epoch AI, Februar 2026). Viele neue Open-Weight-Modelle trainieren mit etwa 20-mal mehr Daten pro Parameter als das Chinchilla-Optimum (Epoch AI, 2025). Die führenden Labore nennen keine Parameterzahlen und Datenmengen mehr; die gemeldeten Zahlen liegen seit drei Jahren bei rund einer Billion, was laut Stanford AI Index das echte Wachstum wohl unterschätzt.

Seit September 2024 gibt es einen zweiten Hebel: Rechenleistung beim Antworten. Reasoning-Modelle wie OpenAIs o1 schreiben vor der Antwort eine lange interne Gedankenkette. Beim Mathewettbewerb AIME 2024 löste GPT-4o etwa 12 % der Aufgaben, o1 mit einem Versuch 74 % und mit Mehrheitsentscheid über 64 Versuche 83 % (Herstellerangabe). Forschende der UC Berkeley und von Google DeepMind zeigten, dass zusätzliches Nachdenken beim Antworten bei manchen Aufgaben ein 14-mal größeres Modell bei gleichem Rechenaufwand schlägt.

Für dich ist Denken eine Einstellung. Anbieter verkaufen Aufwandsstufen oder Denkmodi; DeepSeek V4 etwa hat einen Modus mit und einen ohne Nachdenken. Mehr Nachdenken heißt mehr Ausgabe-Tokens, jede Anfrage kostet also mehr und dauert länger. Ein Reasoning-Modell ist ein Sprachmodell, das mit RL weitertrainiert wurde und vor der Antwort mehr Tokens verbraucht.

Skalierungsgesetze sagen den Fehler eines Modells auf Text voraus. Konkrete Geschäftsfähigkeiten sind eine andere Frage: Ein Stanford-Paper von 2023 zeigte, dass viele scheinbar plötzliche Fähigkeitssprünge von der Wahl des Maßstabs kommen und mit glatteren Messgrößen verschwinden.

Welche Arten von Modellen es gibt

Chatmodelle sind eine Familie unter mehreren. Allein die Modellseite von Google DeepMind listet Modelle für Text, Bild, Video, Musik, Sprache, Embeddings, Robotik und Weltmodelle (Oktober 2026). Für Gründer:innen zählen sechs Typen am meisten.

• Mixture of Experts: ein Mixture-of-Experts-Modell enthält viele Teilnetze, und ein Verteiler aktiviert pro Token nur wenige davon. DeepSeek V4-Pro hat 1,6 Bio. Parameter, von denen pro Token 49 Mrd. rechnen. Pro Token rechnet es wie ein viel kleineres Modell, alle Gewichte brauchen aber trotzdem Speicher.
• Multimodal: multimodale Modelle verbinden Text mit Bild, Ton und Video. Ein wichtiger Vorläufer ist OpenAIs CLIP von 2021, trainiert darauf, 400 Mio. Bilder aus dem Internet ihren Bildunterschriften zuzuordnen.
• Diffusion: die meisten Bildgeneratoren sind Diffusionsmodelle. Sie lernen, Rauschen Schritt für Schritt zu entfernen, und erzeugen ein Bild, indem sie reines Rauschen in ein Motiv verwandeln. Forschende der LMU München und aus Heidelberg machten das 2021 bezahlbar, indem sie in einem komprimierten Raum rechneten und ihn per Text steuerten.
• Embeddings: Embedding-Modelle machen aus Text Zahlenlisten, in denen Nähe ähnliche Bedeutung heißt. Sie treiben semantische Suche und RAG an. OpenAIs kleines Embedding-Modell nutzt 1.536 Zahlen pro Text (Herstellerangabe). Du wählst es getrennt vom Chatmodell.
• Kleine Modelle: kleine Sprachmodelle mit wenigen Milliarden Parametern laufen auf Laptop oder Smartphone. Microsoft meldete sein Phi-3-mini (3,8 Mrd. Parameter, 2024) in Benchmarks als vergleichbar mit GPT-3.5, vor allem dank gefilterter und synthetischer Trainingsdaten (Herstellerangabe).
• Weltmodelle: ein Weltmodell sagt voraus, wie sich eine Umgebung verändert, wenn jemand darin handelt. Google DeepMind führt Genie 3 in dieser Kategorie; World Labs von Fei-Fei Li und AMI Labs von Yann LeCun bauen ihre Firmen auf dieser Idee auf.

Wie Modelle kleiner und günstiger werden

Zwei Techniken tragen Fähigkeiten von großen in kleine Modelle. Bei der Destillation lernt ein kleines Modell, ein großes nachzuahmen. Geoffrey Hinton und Kollegen bei Google beschrieben das Verfahren 2015, und DeepSeek berichtet, dass sich die Denkmuster seines großen Modells in kleinere destillieren lassen. Die Quantisierung speichert jedes Gewicht mit weniger Bits. Das Verfahren GPTQ vom IST Austria und der ETH Zürich verkleinerte Modelle mit 175 Mrd. Parametern auf 3 oder 4 Bit bei kaum messbarem Genauigkeitsverlust, sodass eine einzige GPU sie betreiben konnte.

Eine einfache Rechnung zeigt den Effekt: Die 140-GB-Datei eines Modells mit 70 Mrd. Parametern schrumpft bei 4 Bit auf etwa ein Viertel. Darum gibt es eine Modellfamilie in günstigen, schnellen Varianten, und darum laufen Open-Weight-Modelle als lokale KI auf eigener Hardware. Der Qualitätsverlust ist meist klein und nie null, also teste mit deiner eigenen Aufgabe.

Die Preise fallen entsprechend. Ein festes Leistungsniveau wurde zwischen 2022 und Anfang 2025 je nach Aufgabe 9- bis 900-mal pro Jahr günstiger, so Epoch AI; die schnellsten Rückgänge waren die jüngsten und halten vielleicht nicht an. Innerhalb eines Anbieters spannen die Preise heute den Faktor 100: OpenAI verlangt 0,50 bis 50 $ pro Million Ausgabe-Tokens, je nach Modellgröße (Oktober 2026, Herstellerangabe).

Offene und geschlossene Modelle, USA und China

„Offen“ umfasst drei getrennte Fragen. Offene Gewichte heißt, dass sich die trainierten Parameter herunterladen lassen. Open-Source-KI nach der Definition der Open Source Initiative vom Oktober 2024 verlangt zusätzlich genaue Angaben zu den Trainingsdaten und den vollständigen Code für Training und Betrieb. Die Lizenz entscheidet dann, was du darfst: Die Lizenz von Metas Llama 3 etwa verlangt von Firmen mit mehr als 700 Mio. monatlichen Nutzenden, bei Meta eine Lizenz anzufragen, und bindet alle an eine Nutzungsrichtlinie.

Kaum ein Modell erfüllt die volle Definition. Von 102 bedeutenden Modellen des Jahres 2025 kamen 47 nur mit API-Zugang, und 4 wurden mit Open-Source-Trainingscode veröffentlicht (Stanford AI Index 2026). Insgesamt legen die Labore weniger offen: Der Durchschnitt im Foundation Model Transparency Index von Stanford fiel zwischen 2024 und 2025 von 58 auf 40 von 100 Punkten. IBM erreichte mit 95 den Bestwert, xAI und Midjourney mit je 14 den niedrigsten, und über Trainingsdaten erfährt man am wenigsten. Diese fehlende Transparenz erschwert unabhängige Prüfungen.

Wie weit liegen offene Modelle zurück? Epoch AI misst den Abstand in Monaten: Seit Januar 2026 lagen die besten Open-Weight-Modelle im Schnitt vier Monate hinter der geschlossenen Spitze, 8 Punkte auf Epochs Fähigkeitsindex (Mai 2026). Epoch zählt jedes herunterladbare Modell als offen, von freien bis zu nicht kommerziellen Lizenzen. Bei Cyber-Aufgaben ist der Rückstand größer, 6 bis 7 Monate (Epoch, Oktober 2026); das britische AI Security Institute misst 4 bis 7 Monate. In der Chatbot Arena, wo Menschen zwischen zwei anonymen Antworten abstimmen, erreichte das beste geschlossene Modell 2026 1.503 Punkte, das beste offene 1.454 (AI Index). Monate und Punkte sind verschiedene Einheiten und lassen sich nicht umrechnen.

Auch der Vergleich USA und China hängt an Definitionen. Der AI Index zählt ein bedeutendes Modell für ein Land, wenn mindestens eine Person, die das Paper verfasst hat, an einer Einrichtung dort arbeitet; ein Modell kann also doppelt zählen. Nach dieser Regel hatten 2025 59 bedeutende Modelle Beteiligte aus den USA, 35 aus China und 8 aus Südkorea. Eine viel geteilte Zusammenfassung nennt niedrigere Zahlen (50, 30 und 5), wir nutzen den Bericht selbst. In der Arena lag das beste US-Modell mit 1.503 zu 1.464 Punkten vor dem besten chinesischen, die 39 Punkte werden oft als 2,7 % zitiert. Die stärksten Open-Weight-Modelle kommen inzwischen überwiegend aus chinesischen Laboren wie DeepSeek, Alibaba (Qwen), Moonshot (Kimi) und Z.ai (GLM), das zeigen die Listen von Epoch AI, Artificial Analysis und Sebastian Raschka; einen Anteil nennt keine Quelle.

Wo Modelle scheitern: Halluzinationen und Benchmarks

Ein Modell sagt Tokens aus seinen Gewichten voraus und schlägt nichts nach. Darum kann es flüssige, falsche Aussagen erzeugen, sogenannte Halluzinationen. Forschende von OpenAI erklären sie als gewöhnliche Einordnungsfehler: Kann ein Modell manche wahren Aussagen nicht von falschen unterscheiden, entstehen allein durch Statistik Falschaussagen. Sie bleiben, weil die meisten Tests „Ich weiß es nicht“ mit null Punkten bewerten und damit Raten belohnen. In OpenAIs Test SimpleQA lag ein Modell, das bei 52 % der Fragen passte, bei 26 % falsch; ein älteres Modell, das fast nie passte, irrte bei 75 % (Herstellerangabe).

Wie oft Modelle halluzinieren, hängt vom Test ab. Der AI Index 2026 meldet 1,8 bis 5,4 % für die besten 15 Modelle beim Zusammenfassen eines vorgegebenen Texts und 22 bis 94 % für 26 Modelle bei einem Wissenstest. Jedes Modell hat außerdem einen Wissensstichtag; Anbieter beschreiben das Wissen als bis zu diesem Datum am umfassendsten und verlässlichsten, die Abdeckung wird also schon davor dünner. Antworten in eigenen Dokumenten zu verankern (Grounding), dem Modell ein „weiß ich nicht“ zu erlauben und Ausgaben zu prüfen, senkt das Risiko.

Benchmarks sind Standardtests, um Modelle zu vergleichen, und sie sind anfällig. Testfragen sickern in Trainingsdaten, das nennt man Kontamination: Ein Team aus Yale fand, dass ChatGPT und GPT-4 eine verdeckte falsche Antwortoption im Test MMLU in 52 und 57 % der Fälle erraten konnten. Bestenlisten lassen sich ausreizen: Die Studie Leaderboard Illusion (Cohere Labs mit Universitäten, 2025) fand, dass manche Anbieter viele private Varianten in der Chatbot Arena testen und nur die beste veröffentlichen, Meta vor Llama 4 angeblich 27. Google und OpenAI erhielten geschätzt 19,2 und 20,4 % aller Arena-Daten, 83 Open-Weight-Modelle zusammen 29,7 %.

Tests nutzen sich auch schnell ab. Bei OSWorld, das die Bedienung von Computern misst, stieg der Bestwert binnen eines Jahres von etwa 5 auf 66,3 %, Menschen schaffen 72,35 % (AI Index 2026). Und die Fähigkeiten sind zerklüftet: Der International AI Safety Report 2026 hält fest, dass Spitzensysteme schwierige Aufgaben meistern und an einfacheren scheitern können und dass Modelle Testsituationen zunehmend von echtem Einsatz unterscheiden. Auch die Sprache zählt. GPT-5 erreichte bei einem slowenischen Test zum Alltagswissen 99,8 % in der Standardsprache und 88,6 % im Dialekt, und ein Benchmark für afrikanische Sprachen von 2024 sah das beste offene Modell bei etwa 63 % des besten geschlossenen.

Tabellen zum Marktstart sind Herstellerangaben, und jedes Labor wählt die Benchmarks, bei denen es vorn liegt. Nutze unabhängige, datierte Ranglisten für die Vorauswahl und entscheide dann mit Evals an deinen eigenen Aufgaben.

Die große Debatte: weiter skalieren oder anders bauen

Die Forschung ist uneins, woher die nächsten Fortschritte kommen. Führende Köpfe vertreten beide Positionen, mehrere davon mit geschäftlichen Interessen, und die Frage ist offen. Hier die Argumente nebeneinander.

• Skalierung und RL wirken: Skalierungsgesetze und das Reasoning-Rezept von 2025 trugen den Großteil des jüngsten Fortschritts. Karpathy beschreibt RL an prüfbaren Aufgaben als große neue Trainingsstufe von 2025, das DeepSeek-Team zeigte, dass RL allein schrittweises Denken beibringen kann, und der International AI Safety Report 2026 führt große Sprünge in Mathematik, Programmieren und Naturwissenschaft auch auf mehr Rechenleistung beim Antworten zurück. Für dieses Lager wird oft Rich Suttons Essay The Bitter Lesson (2019) zitiert: Über 70 Jahre gewannen allgemeine Methoden, die mit Rechenleistung skalieren.
• Reine Textmodelle reichen nicht: Yann LeCun hält die Wette für verfehlt, dass größere Sprachmodelle zu menschenähnlicher Intelligenz führen, und arbeitet an Weltmodellen, die aus einer Handlung den nächsten Zustand der Welt vorhersagen (Vortrag an der Brown University, April 2026, laut Bericht). Fei-Fei Li argumentiert, dass Sprachmodelle stark mit Worten und schwach beim Einschätzen von Raum, Abstand und Größe sind. Sutton selbst sagt, Sprachmodelle ahmen nach, was Menschen sagen, und haben kein Ziel; seine Lehre spreche daher eher für Systeme, die aus Erfahrung lernen.
• Interessen: LeCun ist Executive Chairman von AMI Labs in Paris, das im März 2026 laut Bericht 1,03 Mrd. $ in einer ersten Runde einsammelte, und Li hat World Labs mitgegründet; beide bauen den Ansatz, für den sie werben. Sara Hooker, Kritikerin von Rechenschwellen und Bestenlisten, baut inzwischen ihre eigene Firma Adaption Labs auf. Auch OpenAI, Google, Anthropic und DeepSeek werben für den Weg, den sie verkaufen.
• Gemeinsamer Nenner: Karpathy, der Sicherheitsbericht und Melanie Mitchell beschreiben aus verschiedenen Lagern dasselbe: ungleichmäßige, zerklüftete Fähigkeiten und eine Lücke zwischen Testergebnis und echtem Einsatz.

Wie du ein Modell auswählst

Für die Modellwahl gibt es keinen neutralen Standard. Die Liste unten ist Aulorys Synthese aus den Quellen dieser Seite. Unsere Lesart dahinter: Fähigkeiten wandern schnell in kleinere, günstigere Modelle, ein dauerhafter Vorsprung liegt also in deinen Daten, deinen Tests und deinen Abläufen.

1. 01Mit eigenen Aufgaben testen. Sammle 20 bis 100 echte Beispiele aus deinem Geschäft und lass zwei oder drei Kandidaten daran arbeiten. Öffentliche Ranglisten dienen nur der Vorauswahl; deine Evals entscheiden.
2. 02Kosten pro Aufgabe vergleichen. Miss die Kosten pro erledigter Aufgabe auf der Aufwandsstufe, die du brauchst, inklusive Wiederholungen. Reasoning-Modelle schreiben viel mehr Tokens, der Preis pro Token führt also in die Irre. Unabhängige Testfirmen wie Artificial Analysis nennen die Kosten eines kompletten Testlaufs.
3. 03Tempo prüfen. Fürs Weiterleiten, Extrahieren und Einordnen reicht oft die schnellste, günstigste Stufe; achte auf die Latenz, die deine Nutzer:innen akzeptieren. Model Routing schickt jede Anfrage an das kleinste Modell, das sie schafft.
4. 04Kontext planen. Schätze, wie viel Material jede Anfrage braucht, zähle Tokens in jeder Sprache, die du bedienst, und stell Wichtiges an den Anfang oder das Ende des Kontextfensters.
5. 05Über Kontrolle entscheiden. Eine geschlossene API ist schnell eingerichtet. Offene Gewichte auf eigener oder regionaler Infrastruktur, per Self-Hosting, geben dir Kontrolle über deine Daten. Lies in beiden Fällen die Lizenz.
6. 06Frisches Wissen ergänzen. Vergleiche den Wissensstichtag mit deinem Bedarf an aktuellen Informationen und ergänze bei Bedarf Suche oder RAG.
7. 07Die Karten lesen. Die Model oder System Card nennt bekannte Grenzen und Risikoeinstufungen. Sie ist die Selbsteinschätzung des Anbieters, nimm sie als Ausgangspunkt.
8. 08Jede neue Version testen. Allein zwischen Anfang September und Mitte Oktober 2026 brachten drei führende Labore neue Spitzenmodelle heraus. Behalte dein Testset, wechsle, wenn die Zahlen es nahelegen, und meide Funktionen, die nur ein Modell liefert, um den Vendor Lock-in klein zu halten.

Woraus die Schicht besteht

Kennzahlen, mit Quelle und Datum

• etwa 5x pro Jahrwächst die Trainingsrechenleistung für Spitzenmodelle seit 2020. Die Trainingskosten wachsen um etwa das 3,5-Fache pro Jahr.Epoch AI · 05.02.2026 · neutral
• 9x bis 900xgünstiger pro Jahr wurde ein festes Leistungsniveau, je nach Aufgabe (Daten bis Anfang 2025). Die schnellsten Rückgänge waren die jüngsten und halten vielleicht nicht an.Epoch AI · 12.03.2025 · neutral
• 59 / 35 / 8bedeutende Modelle von 2025 hatten Beteiligte in den USA, China und Südkorea. Ein Modell zählt für jedes Land, in dem jemand aus dem Autorenteam arbeitet.Stanford AI Index 2026 (Epoch AI data) · April 2026 · Wissenschaft
• 4 Monatelagen die besten Open-Weight-Modelle seit Januar 2026 im Schnitt hinter der geschlossenen Spitze, 8 Punkte auf Epochs Fähigkeitsindex.Epoch AI · 29.05.2026 · neutral
• 4 von 102bedeutenden Modellen von 2025 kamen mit Open-Source-Trainingscode. 47 gab es nur per API-Zugang.Stanford AI Index 2026 · April 2026 · Wissenschaft
• von 58 auf 40sank der durchschnittliche Transparenzwert großer Modellentwickler von 100 möglichen Punkten, von 2024 auf 2025. Über Trainingsdaten wird am wenigsten offengelegt.Foundation Model Transparency Index, Stanford · 11.12.2025 · Wissenschaft
• 1.503 zu 1.464Arena-Punkte erreichten 2026 das beste US- und das beste chinesische Modell, ein Vorsprung von 39 Punkten oder etwa 2,7 %.Stanford AI Index 2026 · April 2026 · Wissenschaft
• 22 bis 94 %Halluzinationsrate von 26 Modellen bei einem Wissenstest, gegenüber 1,8 bis 5,4 % für die besten 15 Modelle beim Zusammenfassen eines vorgegebenen Texts. Die Zahl hängt vom Test ab.Stanford AI Index 2026 · April 2026 · Wissenschaft
• 1.112generative KI-Dienste waren bis 31.08.2026 bei Chinas Internetbehörde gemeldet. Gezählt werden Dienste, viele davon auf denselben Basismodellen.remio, citing a CAC notice · 15.09.2026 · Zweitquelle

Regionen im Vergleich

Spitzenmodelle entstehen vor allem in den USA und in China. Europa, Südkorea, die Golfstaaten, Indien und Lateinamerika bauen überwiegend kleinere Modelle für ihre eigenen Sprachen, in den gefundenen Beispielen von 270 Mio. bis etwa 105 Mrd. Parametern. Genauso unterschiedlich sind die Regeln: Die EU reguliert Modelle direkt, China verlangt Meldungen für öffentliche Dienste, die USA setzen auf ihre Bundesstaaten, und Großbritannien testet Modelle ohne eigenes Gesetz.

Die Zahlen folgen unterschiedlichen Definitionen und sind nicht direkt vergleichbar. Wo unsere Recherche nichts Belastbares fand, steht das in der Tabelle.

Quellen: Stanford AI Index 2026, Kapitel 1, 2 und 8 (April 2026), Europäische Kommission (GPAI-Leitlinien, Verhaltenskodex, Stand 25.10.2026), KI-Verordnung Art. 51, Gouverneur von Kalifornien (29.09.2025), CAC (13.07.2023), remio nach CAC (15.09.2026), UK AI Security Institute, Mistral, LG AI Research, TII-Falcon-Blog, OpenSourceForU (März 2026), Radio Universidad de Chile (10.02.2026), IrokoBench (2024). Modellfamilien in der US-Zeile von den Seiten der Labore, Stand 25.10.2026. Mehrere Zahlen stammen aus Berichten über das Original.

Beispiele

• Geschlossene Familien: GPT (OpenAI), Claude (Anthropic), Gemini (Google).
• Offene Familien: Llama (Meta), Mistral, DeepSeek, Qwen (Alibaba), Gemma (Google).
• DeepSeek veröffentlichte im April 2026 ein Modell mit 1,6 Billionen Parametern, von denen pro Token nur 49 Milliarden rechnen (Mixture of Experts).
• Ein Modell mit 70 Milliarden Parametern ist etwa 140 GB groß (Andrej Karpathy).

Warum es eine Rolle spielt

Die Modellschicht bestimmt drei Dinge, die du direkt spürst: was dein Produkt kann, was jede Aufgabe kostet und von wem du abhängst. Preise für gleiche Leistung fallen schnell, offene Modelle liegen Monate hinter der geschlossenen Spitze, und alle paar Wochen erscheinen neue Versionen. Eine Wahl, die im Frühjahr richtig war, kann im Herbst teuer sein.

Sie bestimmt auch deine Risiken. Halluzinationen folgen daraus, wie Modelle trainiert und bewertet werden, Benchmarks können täuschen, und die großen Labore legen immer weniger offen. Die Regeln unterscheiden sich je nach Region: Baust du in der EU, den USA oder China auf einem Modell auf, hat sein Anbieter andere Pflichten, und womöglich auch du.

Häufige Irrtümer

• Mehr Parameter heißt besseres Modell.

  DeepMinds Chinchilla mit 70 Mrd. Parametern schlug Modelle mit 280 bis 530 Mrd., und ein nachtrainiertes Modell mit 1,3 Mrd. Parametern wurde GPT-3 mit 175 Mrd. vorgezogen (DeepMind 2022; OpenAI 2022).

• Offene Gewichte sind Open Source.

  Die OSI-Definition verlangt auch Angaben zu Trainingsdaten und den vollständigen Code. Nur 4 von 102 bedeutenden Modellen von 2025 kamen mit Open-Source-Trainingscode (OSI 2024; AI Index 2026).

• Offene Gewichte heißt freie Nutzung für alles.

  Lizenzen können Bedingungen setzen. Llama 3 verlangt von Firmen mit über 700 Mio. monatlichen Nutzenden eine Lizenzanfrage bei Meta und bindet alle an eine Nutzungsrichtlinie.

• Halluzinationen sind ein Fehler, den die nächste Version behebt.

  Sie folgen aus der Statistik im Training und aus Tests, die Raten belohnen (OpenAI, 2025). Die Raten schwanken stark je nach Modell und Test.

• Der Benchmark-Sieger ist das beste Modell für mein Geschäft.

  Testfragen sickern in Trainingsdaten, Anbieter testen private Varianten und veröffentlichen die beste, und Fähigkeiten sind zerklüftet (Yale 2023; Leaderboard Illusion 2025; International AI Safety Report 2026).

• Ein Kontextfenster von 1 Mio. Tokens heißt, das Modell liest alles gleich gut.

  Informationen in der Mitte einer langen Eingabe wurden deutlich schlechter genutzt als am Anfang oder Ende (Stanford, 2023).

• Der Preis pro Token ist, was eine Aufgabe kostet.

  Reasoning-Modelle schreiben pro Aufgabe weit mehr Tokens, darum messen unabhängige Testfirmen die Kosten eines kompletten Laufs (Artificial Analysis).

Perspektiven führender Fachleute

Zehn Perspektiven aus Praxis, Forschung, Politik und kritischer Wissenschaft, von Optimist:innen der Skalierung bis zu ihren schärfsten Kritiker:innen. Jede Zusammenfassung gibt ein veröffentlichtes Werk sinngemäß wieder, verlinkt darunter. Anbieter sind als solche gekennzeichnet, auch Forschende, die inzwischen Firmen führen.

• Andrej Karpathy

  KI-Forscher und Lehrender, Autor viel genutzter Einführungen in Sprachmodelle · unabhängige Analyse

  2025 kam eine neue Trainingsstufe hinzu, Reinforcement Learning an automatisch prüfbaren Aufgaben wie Mathematik und Code, die viel Fähigkeit pro Dollar brachte. Er beschreibt Sprachmodelle eher als herbeigerufene Geister denn als heranwachsende Tiere, mit zerklüfteten Fähigkeiten: brillant nahe prüfbarer Gebiete und anderswo leicht zu überlisten. Weil auch Benchmarks prüfbar sind, können Labore gezielt auf sie hin trainieren.

  2025 LLM Year in Review · 19.12.2025

• DeepSeek-AI team

  Labor hinter den Open-Weight-Modellen von DeepSeek, China · Anbieter

  Schrittweises Denken lässt sich allein durch Reinforcement Learning entwickeln, ohne von Menschen geschriebene Denkbeispiele. Selbstreflexion, Überprüfung und Strategiewechsel entstanden während des Trainings. Die Denkmuster des großen Modells lassen sich in kleinere Modelle destillieren.

  DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning (arXiv; Nature 2025) · 22.01.2025

• Yoshua Bengio und the International AI Safety Report

  Turing-Preisträger, Vorsitzender eines Berichts von über 100 Fachleuten, getragen von mehr als 30 Staaten und Organisationen · Politikforschung

  Die jüngsten Fortschritte kamen auch daher, dass Modelle beim Antworten mehr rechnen, mit großen Sprüngen in Mathematik, Programmieren und Naturwissenschaft, während Spitzensysteme an einfacheren Aufgaben scheitern können. Der Bericht nennt eine Evaluationslücke zwischen Testergebnis und tatsächlichem Nutzen und Risiko. Die Politik steht vor einem Evidenzdilemma: Fähigkeiten wachsen schnell, Belege für Risiken kommen langsam, und zu frühes wie zu spätes Handeln hat Kosten.

  International AI Safety Report 2026, executive summary · 03.02.2026

• Fei-Fei Li

  Informatikerin und Mitgründerin von World Labs, das Weltmodelle baut · Anbieter und Wissenschaft

  Sprachmodelle sind stark mit Worten und haben keinen Halt in der physischen Welt; multimodale Modelle schätzen Abstand, Ausrichtung und Größe noch fast wie per Zufall. Sie fordert Weltmodelle, die stimmige Welten erzeugen, viele Arten von Eingaben verarbeiten und aus Handlungen den nächsten Zustand vorhersagen. Ihre Firma World Labs baut ein solches Modell.

  From Words to Worlds: Spatial Intelligence is AI's Next Frontier · 10.11.2025

• Yann LeCun

  Professor an der NYU und Executive Chairman von AMI Labs, Paris, Frankreich und USA · Anbieter und Wissenschaft

  Heutige KI ist in der physischen Welt hilflos, reine Sprachsysteme wirken nur klug; die Wette, dass größere Sprachmodelle zu menschenähnlicher Intelligenz führen, lehnt er ab. Er schlägt Weltmodelle vor, die aus einer Handlung den nächsten Zustand der Welt vorhersagen, trainiert mit Bildern, Video, Ton und wissenschaftlichen Daten. Menschenähnliche KI ist aus seiner Sicht viel schwerer, als die meisten glauben.

  Lecture at Brown University, as reported by Brown University · 01.04.2026

• Richard Sutton

  Pionier des Reinforcement Learning, Autor von The Bitter Lesson · Wissenschaft

  Sprachmodelle ahmen nach, was Menschen sagen würden, und sagen nicht voraus, was in der Welt passiert; ihnen fehlen daher eine überprüfbare Wahrheit und ein Ziel, das für ihn den Kern von Intelligenz ausmacht. Ob sie zu seiner Bitter Lesson passen, lässt er offen, da sie mit Rechenleistung skalieren und zugleich stark auf von Menschen geschriebenen Daten beruhen. Er erwartet, dass Systeme, die aus Erfahrung lernen, sie ablösen.

  Interview on the Dwarkesh Podcast · 26.09.2025

• Emily M. Bender, Timnit Gebru und Mitautoren

  Autorinnen des Stochastic-Parrots-Papers; Bender ist Linguistin · kritische Forschung

  Immer größere Sprachmodelle haben Kosten: Energie und Emissionen, die Menschen tragen, die am wenigsten profitieren, hohe Einstiegskosten, die Forschung bündeln und viele Sprachen vernachlässigen, und zusammengekratzte Daten, die vorherrschende Sichtweisen festschreiben. Ein Sprachmodell fügt Wortfolgen nach Wahrscheinlichkeit zusammen, ohne Bezug zur Bedeutung, und Menschen halten seine Gewandtheit für eine verantwortliche Sprecherin.

  On the Dangers of Stochastic Parrots: Can Language Models Be Too Big? (ACM FAccT) · März 2021

• Melanie Mitchell

  Informatikerin und Autorin des Newsletters AI: A Guide for Thinking Humans · Wissenschaft

  Frühere KI-Systeme lernten oft oberflächliche Abkürzungen, und die Fachwelt ist gespalten, ob Sprachmodelle echte Weltmodelle bilden oder ungefähr aus ihren Trainingsdaten abrufen. Für den Begriff Weltmodell gibt es keine anerkannte Definition. Auf einer Skala von der Nachschlagetabelle bis zum Simulator liest sie die Belege als kartenähnlich, mit wenig Hinweisen auf eine genaue Simulation von Ursache und Wirkung.

  LLMs and World Models, Part 1 · 13.02.2025

• Sara Hooker

  Mitgründerin von Adaption Labs, zuvor Leiterin von Cohere Labs · Anbieter und Wissenschaft

  Schwellen für Trainingsrechenleistung, etwa die 10^25 FLOP der EU und die damalige US-Grenze von 10^26, sind ein kurzsichtiger Ersatz für Risiko. Kleinere Modelle schlagen größere zunehmend durch bessere Daten und Methoden, und Techniken beim Antworten verändern das Risiko, ohne die Trainingsrechenleistung zu ändern. Sie schlägt dynamische Schwellen und einen Index aus mehreren Risikomaßen vor.

  On the Limitations of Compute Thresholds as a Governance Strategy · 08.07.2024

• David Ifeoluwa Adelani und Mitautoren

  Forschende hinter IrokoBench, einem Benchmark für afrikanische Sprachen · Wissenschaft

  Sprachmodelle zeigen eine deutliche Leistungslücke zwischen gut erfassten Sprachen wie Englisch und Französisch und wenig erfassten afrikanischen Sprachen. Das beste getestete offene Modell erreichte nur etwa 63 % des besten geschlossenen. Wurden die Tests zuerst ins Englische übersetzt, schrumpfte die Lücke für große, englisch geprägte Modelle.

  IrokoBench: A New Benchmark for African Languages in the Age of Large Language Models · 05.06.2024

Begriffe zu dieser Schicht

• ModellDie trainierte Datei voller Zahlen, die aus Input Output macht. Allein kann sie weder surfen noch sich erinnern noch handeln.
• ParameterDie Milliarden Zahlen in einem Modell, festgelegt beim Training. Alles, was das Modell weiß, steckt in ihnen.
• Neuronales NetzEine geschichtete Struktur aus einfachen Rechnungen, lose vom Gehirn inspiriert, die Muster aus Daten lernt.
• TokenDas kleine Textstück, das ein Modell liest und schreibt. Preis, Geschwindigkeit und Speichergrenzen werden alle in Tokens gezählt.
• KontextfensterDie maximale Textmenge, die ein Modell auf einmal aufnehmen kann. Wenn es voll ist, muss etwas weichen.
• TransformerDie Architektur neuronaler Netze hinter heutigen Sprachmodellen, gebaut, um abzuwägen, wie jeder Teil eines Textes mit jedem anderen zusammenhängt.
• AttentionDer Mechanismus im Transformer, mit dem jedes Wortstück abwägt, wie wichtig jedes andere Stück für seine Bedeutung ist.
• Foundation ModelEin großes, vielseitiges Modell, auf breiten Daten trainiert, auf dem viele verschiedene Produkte und Aufgaben aufbauen.
• InferenzEin fertiges Modell laufen lassen, um eine Antwort zu bekommen. Das, wofür du bei jeder Nachricht bezahlst.
• KI-Modell mit allgemeinem VerwendungszweckDer Begriff der KI-Verordnung für breit einsetzbare Modelle wie große Sprachmodelle, die für viele verschiedene Aufgaben nutzbar sind.
• KI-SystemDer zentrale Rechtsbegriff der KI-Verordnung: ein maschinengestütztes System, das aus Eingaben ableitet, wie es Ergebnisse wie Inhalte, Empfehlungen oder Entscheidungen erzeugt.
• GPUEin Grafikprozessor: ein Chip, der Tausende einfache Rechnungen gleichzeitig ausführt und dadurch zum Arbeitstier der KI wurde.
• TrainingDer einmalige, sehr teure Prozess, der die Parameter eines Modells festlegt, indem er ihm riesige Datenmengen zeigt.
• Pre-TrainingDie erste und teuerste Trainingsphase, in der ein Modell aus riesigen, breiten Datenmengen allgemeine Muster lernt.
• GradientenabstiegDie Methode, mit der ein Modell lernt: jeden Parameter ein kleines Stück in die Richtung verstellen, in der seine Fehler kleiner werden, und wiederholen.
• Post-TrainingAlles, was nach dem Pre-Training passiert, um aus einem rohen Basismodell einen hilfreichen, sichereren Assistenten zu machen.
• Fine-TuningEin bestehendes Modell mit deinen eigenen Beispielen weitertrainieren, um sein Verhalten zu ändern. Selten der erste Schritt.
• RLHFBestärkendes Lernen aus menschlichem Feedback: Menschen ordnen Antworten eines Modells, und das Modell lernt, Antworten zu geben, die Menschen bevorzugen.
• RLVRReinforcement Learning mit überprüfbaren Belohnungen: Ein Programm prüft, ob die Antwort des Modells stimmt, und belohnt nur Antworten, die den Test bestehen.
• Reinforcement LearningEine Trainingsart, bei der ein System durch Ausprobieren lernt, welche Handlungen auf Dauer die meiste Belohnung bringen.
• Red TeamingDas eigene KI-System gezielt angreifen, so wie es ein Gegner tun würde, um Schwachstellen zu finden, bevor andere es tun.
• Model CardEin kurzes Dokument zu einem KI-Modell, das sagt, wofür es gedacht ist, wie es getestet wurde und wo es Schwächen hat.
• ComputeDie Rechenleistung samt Chips und Software dahinter, die KI fürs Training und für den Betrieb braucht.
• SkalierungsgesetzeDie Beobachtung, dass der Fehler eines Modells vorhersagbar sinkt, wenn Modellgröße, Daten und Rechenleistung wachsen.
• Test-Time ComputeRechenleistung, die beim Antworten eingesetzt wird, damit ein Modell länger nachdenken oder mehrere Lösungen probieren kann, statt nur im Training.
• Reasoning-ModellEin Modell, das vor der finalen Antwort Zwischenschritte erzeugt und so Zeit und Tokens gegen bessere Ergebnisse bei schweren Aufgaben tauscht.
• Chain of ThoughtEin Modell ein Problem Schritt für Schritt durcharbeiten lassen, bevor es antwortet. Das verbessert meist die Ergebnisse bei mehrstufigen Aufgaben.
• Mixture of ExpertsEin Modell aus vielen spezialisierten Teilnetzen, von denen pro Eingabe nur wenige eingeschaltet werden.
• MultimodalEin Modell, das mit mehr als Text arbeitet: Bilder, Audio, Video, Dokumente.
• DiffusionsmodellEin generatives Modell, das Bilder und andere Medien erzeugt, indem es bei Rauschen beginnt und es Schritt für Schritt entfernt.
• EmbeddingsText, umgewandelt in Zahlenlisten, die seine Bedeutung erfassen. Die Grundlage für semantische Suche und RAG.
• Retrieval-Augmented GenerationErst die passenden Dokumente heraussuchen und sie dem Modell geben, damit es aus deinen Quellen antwortet.
• Kleines SprachmodellEin kompaktes Sprachmodell, das schnell und günstig läuft, oft auf Laptop oder Smartphone, auf Kosten mancher Fähigkeiten.
• WeltmodellEin KI-Modell, das vorhersagt, wie sich eine Umgebung verändert, wenn jemand darin handelt, und damit simulieren und planen kann.
• Großes SprachmodellEin Modell, das auf riesigen Textmengen trainiert wurde, um das nächste Textstück vorherzusagen. Der Motor hinter ChatGPT, Claude, Gemini und Mistral.
• DestillationEin kleineres Modell so trainieren, dass es ein großes nachahmt. So bekommst du viel von der Qualität zu einem Bruchteil der Kosten.
• QuantisierungEin Modell verkleinern, indem seine Zahlen mit weniger Genauigkeit gespeichert werden, damit es auf kleinerer, günstigerer Hardware läuft.
• Open-Weight-ModellEin Modell, dessen trainierte Parameter veröffentlicht sind, sodass alle es herunterladen und selbst betreiben können.
• Lokale KIEin Modell auf deinem eigenen Laptop oder Server betreiben. Nichts verlässt das Gerät, dafür passen nur kleinere Modelle.
• Open-Source-KIKI, die mit der Freiheit veröffentlicht wird, sie zu nutzen, zu untersuchen, zu verändern und zu teilen. Dafür braucht es mehr als veröffentlichte Gewichte.
• TransparenzOffen damit umgehen, dass KI beteiligt ist, was sie tut und wo ihre Grenzen liegen.
• HalluzinationWenn KI etwas Falsches mit voller Überzeugung behauptet, weil sie plausiblen Text erzeugt und keine geprüften Fakten.
• Knowledge CutoffDas Datum, ab dem ein Modell nichts Neues mehr gelernt hat. Alles, was danach kam, musst du ihm mitgeben.
• GroundingDie Antwort eines Modells an konkrete, vertrauenswürdige Quellen binden, damit es mit Fakten arbeitet, die du bereitstellst, statt aus dem Gedächtnis.
• BenchmarkEin Standardtest, mit dem man Modelle vergleicht. Gut zur Orientierung, aber kein Ersatz für Tests mit deinen eigenen Aufgaben.
• Benchmark-KontaminationWenn Testfragen in den Trainingsdaten eines Modells landen und sein Benchmark-Ergebnis seine Fähigkeit überschätzt.
• Zerklüftete FähigkeitenDas ungleichmäßige Können von KI-Modellen: hervorragend bei manchen schweren Aufgaben, unzuverlässig bei manchen leichten.
• EvalsWiederholbare Tests, die zeigen, ob dein KI-Setup wirklich funktioniert und ob eine Änderung es besser oder schlechter gemacht hat.
• Kosten pro AufgabeWas ein fertiges Arbeitsergebnis mit KI wirklich kostet: Tokens, Tools, Wiederholungen und die Zeit, die ein Mensch zum Prüfen braucht.
• LatenzDie Wartezeit zwischen dem Absenden einer Anfrage und der Antwort. Bei KI ist Geschwindigkeit ein Feature.
• Model RoutingJede Anfrage an das Modell schicken, das am besten passt: klein und günstig für einfache Aufgaben, groß für schwierige.
• Self-HostingKI-Modelle oder Tools auf Infrastruktur betreiben, die du kontrollierst, statt den Dienst eines anderen zu nutzen.
• Vendor Lock-inWenn der Wechsel zu einem anderen KI-Anbieter so teuer oder mühsam wird, dass er praktisch unmöglich ist.

Quellen

1. Attention Is All You Need, Vaswani et al., Google, 12.06.2017
2. But what is a neural network?, Grant Sanderson, 3Blue1Brown, 05.10.2017
3. Language Models are Few-Shot Learners (GPT-3), Brown et al., OpenAI (vendor), 28.05.2020
4. Intro to Large Language Models, summary, Andrej Karpathy, via Simon Willison, 23.11.2023
5. What are tokens and how to count them, OpenAI Help Center (vendor), undated
6. DeepSeek-V4 release, DeepSeek (vendor), 24.04.2026
7. Lost in the Middle: How Language Models Use Long Contexts, Liu et al., Stanford, 06.07.2023
8. A Dream of Spring for Open-Weight LLMs, Sebastian Raschka, Ahead of AI, 25.02.2026
9. Training language models to follow instructions with human feedback (InstructGPT), Ouyang et al., OpenAI (vendor), 04.03.2022
10. Tulu 3: Pushing Frontiers in Open Language Model Post-Training, Lambert et al., Allen Institute for AI, 22.11.2024
11. Scaling Laws for Neural Language Models, Kaplan et al., OpenAI (vendor), 23.01.2020
12. Training Compute-Optimal Large Language Models (Chinchilla), Hoffmann et al., DeepMind (vendor), 29.03.2022
13. Learning to reason with LLMs, OpenAI (vendor), 12.09.2024
14. Scaling LLM Test-Time Compute Optimally, Snell et al., UC Berkeley and Google DeepMind, 06.08.2024
15. Are Emergent Abilities of Large Language Models a Mirage?, Schaeffer, Miranda, Koyejo, Stanford, 28.04.2023
16. Models overview, Google DeepMind (vendor), 25.10.2026
17. Learning Transferable Visual Models From Natural Language Supervision (CLIP), Radford et al., OpenAI (vendor), 26.02.2021
18. High-Resolution Image Synthesis with Latent Diffusion Models, Rombach et al., LMU Munich and Heidelberg University, 20.12.2021
19. Embeddings guide, OpenAI (vendor), 25.10.2026
20. Phi-3 Technical Report, Abdin et al., Microsoft (vendor), 22.04.2024
21. Distilling the Knowledge in a Neural Network, Hinton, Vinyals, Dean, Google, 09.03.2015
22. GPTQ: Accurate Post-Training Quantization for Generative Pre-trained Transformers, Frantar et al., IST Austria and ETH Zurich, 31.10.2022
23. LLM inference price trends, Epoch AI, 12.03.2025
24. Introducing GPT-6.1 Sol, OpenAI (vendor), Oktober 2026
25. The Open Source AI Definition 1.0, Open Source Initiative, 28.10.2024
26. Meta Llama 3 Community License, Meta (vendor), 18.04.2024
27. AI Index Report 2026, Chapter 1: Research and Development, Stanford HAI, April 2026
28. AI Index Report 2026: Technical Performance, Stanford HAI, April 2026
29. AI Index Report 2026, Chapter 3: Responsible AI, Stanford HAI, April 2026
30. AI Index Report 2026, Chapter 8: Policy and Governance, Stanford HAI, April 2026
31. The 2025 Foundation Model Transparency Index, Wan, Bommasani, Liang et al., Stanford CRFM, 11.12.2025
32. Trends in AI, Epoch AI, 05.02.2026
33. Open-weight models lag closed frontier by about four months, Epoch AI, 29.05.2026
34. Open models topic page, Epoch AI, 16.10.2026
35. AI models leaderboard, Intelligence Index v4.3.2, Artificial Analysis (independent, commercial), 25.10.2026
36. Frontier AI Trends Report, UK AI Security Institute, 2025
37. Why language models hallucinate, OpenAI (vendor), 05.09.2025
38. Transparency Hub, Anthropic (vendor), 25.10.2026
39. Investigating Data Contamination in Modern Benchmarks for Large Language Models, Deng et al., Yale, 16.11.2023
40. The Leaderboard Illusion, Singh et al., Cohere Labs with universities, 29.04.2025
41. The Bitter Lesson, Richard Sutton, 13.03.2019
42. Yann LeCun's AMI Labs raises $1.03 billion, The Next Web, 10.03.2026
43. EU AI Act, Article 51: classification of GPAI models with systemic risk, European Union, 2024
44. Guidelines on obligations for providers of general-purpose AI models, European Commission, 18.07.2025
45. General-Purpose AI Code of Practice, signatories, European Commission, 25.10.2026
46. Governor Newsom signs SB 53, Office of the Governor of California, 29.09.2025
47. Interim Measures for the Management of Generative AI Services, Cyberspace Administration of China, 13.07.2023
48. CAC generative AI filings hit 1,112, remio, citing CAC, 15.09.2026
49. Mistral news, Mistral AI (vendor), 25.10.2026
50. EXAONE, LG AI Research (vendor), 25.10.2026
51. Falcon blog, Technology Innovation Institute (vendor), 06.10.2026
52. Sarvam releases 30B and 105B LLMs under Apache 2.0, OpenSourceForU, März 2026
53. Gobierno lanza Latam-GPT, Radio Universidad de Chile, 10.02.2026
54. AI Security Institute, UK Department for Science, Innovation and Technology, 25.10.2026