Die robots.txt ist die älteste Absprache zwischen Websites und Crawlern. Sie ist einfach aufgebaut und trotzdem eine häufige Ursache für SEO-Probleme, weil sie oft mit einem Werkzeug für die Indexierung verwechselt wird.
Aufbau
Die Datei liegt unter /robots.txt und besteht aus Gruppen. Jede Gruppe beginnt mit einer oder mehreren User-agent-Zeilen, die festlegen, für welche Crawler sie gilt, gefolgt von Disallow- und Allow-Regeln für Pfade. Zusätzlich kann sie auf die XML-Sitemap verweisen. Seit 2022 ist das Protokoll als RFC 9309 standardisiert; die grossen Suchmaschinen halten sich daran.
Crawling ist nicht Indexierung
Eine Disallow-Regel verhindert, dass ein Crawler eine Seite abruft. Sie verhindert nicht, dass die URL im Index erscheint, wenn andere Seiten auf sie verlinken — dann oft ohne Beschreibung. Wer eine Seite aus dem Index heraushalten will, muss sie abrufbar lassen und mit noindex kennzeichnen. Eine noindex-Anweisung in der robots.txt selbst unterstützt Google seit 2019 nicht mehr. Den Unterschied beschreibt der Eintrag zur Indexierung.
KI-Crawler steuern
Über eigene User-agent-Gruppen lassen sich KI-Crawler gezielt erlauben oder ausschliessen, getrennt nach Training, Suche und Nutzerabrufen, soweit die Anbieter getrennte Kennungen verwenden. Für die Sichtbarkeit in KI-Antworten ist das eine bewusste Entscheidung, keine Voreinstellung.
Häufige Fehler
Eine vom Entwicklungsserver übernommene Sperre der gesamten Website. Gesperrte CSS- und JavaScript-Dateien, die das Rendern verhindern. Seiten mit noindex, die gleichzeitig per Disallow gesperrt sind, sodass der Crawler das noindex nie sieht. Und Sperren für Bereiche, die eigentlich ranken sollen. Nach jeder Änderung lohnt eine Prüfung mit dem robots.txt-Bericht in der Search Console.
In Next.js
In Next.js lässt sich die robots.txt als Code erzeugen, etwa mit einer robots.ts im App-Verzeichnis. Das erlaubt unterschiedliche Regeln pro Umgebung, damit Previews gesperrt und die Produktion offen ist, und eine gepflegte Liste von User-Agents. Die Prüfung der Gesamtkonfiguration gehört zu unserem Technical-SEO-Audit.