Das KI-Vokabular · 08 Regeln & Verantwortung

Was ist robots.txt?

Eine kleine Textdatei auf einer Website, die Crawlern, auch KI-Crawlern, sagt, welche Seiten sie auslassen sollen.

Einstieg

robots.txt ist eine einfache Textdatei im Hauptverzeichnis einer Website, standardisiert als RFC 9309. Sie nennt Crawler beim Namen, etwa GPTBot, ClaudeBot oder CCBot, und legt fest, welche Bereiche jeder besuchen darf. Crawler halten sich freiwillig daran; die Datei ist eine Bitte, eine Firewall ist eine andere Sache.

Wie viele Seiten KI-Crawler sperren, hängt von der Stichprobe ab: rund 6 % von etwa 140 Mio. Websites (Ahrefs, ein SEO-Anbieter) und über 28 % der am aktivsten gepflegten Quellen hinter dem Trainingsdatensatz C4 (Longpre und Kolleg:innen, 2024). Der EU-Verhaltenskodex für KI mit allgemeinem Verwendungszweck verlangt von Unterzeichnern, robots.txt zu beachten. Bei der IETF ist ein Vokabular, das KI-Training, Nutzung als Modelleingabe und Suche unterscheidet, noch ein Entwurf.

Warum es für dich wichtig ist

Deine robots.txt ist das einfachste Signal, mit dem du KI-Firmen sagst, wie sie deine öffentlichen Inhalte nutzen dürfen. In der EU kann sie als maschinenlesbarer Rechtevorbehalt gelten.

Own it

Ruf deineseite.de/robots.txt auf und prüf, was dort zu KI-Crawlern steht. Entscheide pro Crawler, ob du in KI-Suchen gefunden, fürs Training genutzt oder keins von beidem werden willst.

Verwandt