Das KI-Vokabular · 01 Das Modell

Was ist Web-Crawl?

Das automatische Herunterladen riesiger Mengen öffentlicher Webseiten. Der Rohstoff fast jedes Trainingsdatensatzes.

Einstieg

Ein Web-Crawler ist ein Programm, das öffentliche Webseiten besucht, speichert und ihren Links folgt, um weitere zu finden. Ein Web-Crawl ist die Sammlung, die dabei entsteht. Das bekannteste offene Archiv ist Common Crawl: Allein sein Crawl vom Oktober 2026 umfasst 2,16 Mrd. Seiten und 371 TiB unkomprimierte Daten.

Die meisten Trainingsdaten für Sprachmodelle beginnen als solcher Crawl. Vor dem Training lösen Entwickler den Text heraus, filtern Spam und Duplikate und behalten nur einen kleinen, hochwertigen Teil. Website-Betreiber:innen können Crawler mit einer Datei namens robots.txt bitten, fernzubleiben; Crawler halten sich freiwillig daran.

Warum es für dich wichtig ist

Deine öffentliche Website, dein Blog und deine Dokumentation stecken wahrscheinlich schon in mehreren Crawls und haben vielleicht Modelle geprägt, die du nutzt. Ob das erlaubt ist, hängt von der Region und von den Signalen ab, die du setzt.

Own it

Leg fest, welche Crawler deine Seite lesen dürfen, und trag es in deine robots.txt ein. Prüf, was du veröffentlichst: Alles Öffentliche kann in Trainingsdaten landen.

Verwandt