Das KI-Vokabular · 03 Mit KI arbeiten
Was ist Chunking?
Lange Dokumente in kleinere Stücke zerlegen, bevor sie für die KI-Suche gespeichert werden. Wie du teilst, entscheidet, was gefunden wird.
Lange Dokumente passen als Ganzes schlecht in eine Suche oder ins Kontextfenster. Beim Chunking werden sie in kleinere Stücke geschnitten, zum Beispiel nach Absatz, Abschnitt oder fester Länge, bevor sie in Embeddings umgewandelt und in einer Vektordatenbank gespeichert werden. Kommt eine Frage, werden nur die relevantesten Stücke abgerufen.
Die Größe der Stücke ist ein Abwägen. Zu klein, und ein Stück verliert seinen Zusammenhang („es“ bezieht sich auf nichts mehr). Zu groß, und der entscheidende Satz geht im Rauschen unter. Gutes Chunking folgt oft der Struktur des Dokuments selbst und lässt Überschriften beim Text.
Warum es für dich wichtig ist
Viele enttäuschende „Chatte mit deinen Dokumenten“-Tools scheitern am Chunking: Sie finden ein Stück, das das Thema erwähnt, schneiden aber die eigentliche Antwort ab. Wenn die Suche schwach ist, prüf zuerst, wie die Dokumente geteilt werden, bevor du dem Modell die Schuld gibst.
Own it
Gut strukturierte Quelldokumente mit klaren Überschriften, einem Thema pro Abschnitt und Datumsangaben lassen sich mit jedem Tool besser zerlegen. Für Menschen zu schreiben und für RAG zu schreiben, ist am Ende dieselbe Disziplin.
Woher es kommt
Das Wort ist älter als Computer. Der Psychologe George A. Miller beschrieb „Chunking“ 1956 in seinem berühmten Aufsatz über die Grenzen des Kurzzeitgedächtnisses: Menschen merken sich mehr, wenn sie Informationen zu sinnvollen Einheiten bündeln (Chunking in psychology). KI-Builder haben die Idee für RAG übernommen, wo Dokumente in Stücke geteilt werden, die klein genug sind, um sie zu durchsuchen und in den Kontext eines Modells zu passen.
Verwandt
Your AI Learning Hub
Lern das ganze KI-Vokabular, Schritt für Schritt, und bau damit. Build it. Own it.