Das KI-Vokabular · 03 Mit KI arbeiten
Was ist Kontextfenster?
Die maximale Textmenge, die ein Modell auf einmal aufnehmen kann. Wenn es voll ist, muss etwas weichen.
Das Kontextfenster (englisch: Context Window) begrenzt, wie viel ein Modell in einer Anfrage sehen kann, gemessen in Tokens. Alles zählt mit: Anweisungen, der gesamte bisherige Gesprächsverlauf, angehängte Dateien und die Antwort, die gerade geschrieben wird.
Moderne Fenster sind groß, oft Hunderttausende Tokens, genug für lange Berichte. Zwei Dinge bleiben aber wahr. Lange Gespräche füllen es irgendwann, und Apps fassen dann ältere Teile zusammen oder lassen sie weg. Und schon bevor es voll ist, sinkt die Qualität meist, je größer der Kontext wird, weil die wichtigen Details mit allem anderen konkurrieren.
Warum es für dich wichtig ist
Wenn ein Assistent in einem langen Chat frühere Anweisungen zu vergessen beginnt, ist das Gespräch zu groß geworden. Starte einen neuen Chat mit einer kurzen Zusammenfassung dessen, was zählt. Das geht oft schneller, als mit einer müden Sitzung zu diskutieren.
Own it
Größere Fenster bedeuten auch größere Rechnungen, denn du zahlst für jeden gesendeten Token. Den Kontext schlank zu halten, ist eine Entscheidung für Qualität und für Kosten.
Woher es kommt
Es gibt keinen einzelnen Urheber. „Context Window“ wurde schon in früherer Sprachforschung für die Spanne benachbarter Wörter verwendet, die ein Modell betrachtet, etwa in der word2vec-Arbeit von 2013 (Mikolov et al.). Mit großen Sprachmodellen bekam der Begriff die Bedeutung des gesamten Inputs, den ein Modell auf einmal lesen kann. Das Fenster von GPT-3 umfasste 2020 genau 2.048 Tokens (Brown et al., 2020); heutige Fenster sind um ein Vielfaches größer.
Verwandt
Your AI Learning Hub
Lern das ganze KI-Vokabular, Schritt für Schritt, und bau damit. Build it. Own it.