Neben den klassischen Suchmaschinen-Crawlern besuchen heute zahlreiche Bots von KI-Anbietern Websites. Wer in KI-Antworten genannt werden will, muss wissen, welche das sind und was sie tun. Wer seine Inhalte schützen will, ebenfalls.
Drei Zwecke
KI-Crawler lassen sich nach Zweck unterscheiden. Trainings-Crawler sammeln Inhalte für das Training künftiger Modelle. Such-Crawler bauen einen Index auf, aus dem KI-Assistenten mit Websuche Antworten mit Quellen erzeugen. Nutzer-Abrufe holen eine Seite in Echtzeit, weil ein Nutzer im Assistenten danach gefragt hat. Viele Anbieter verwenden für diese Zwecke getrennte User-Agents, sodass sich die Zwecke getrennt steuern lassen.
Die wichtigsten User-Agents
OpenAI verwendet GPTBot für Training, OAI-SearchBot für die Suche und ChatGPT-User für Nutzerabrufe. Anthropic verwendet unter anderem ClaudeBot, Claude-User und Claude-SearchBot. Perplexity verwendet PerplexityBot und Perplexity-User. CCBot sammelt für das offene Common-Crawl-Archiv, das in viele Trainingsdatensätze einfliesst. Google-Extended ist kein eigener Crawler, sondern ein Token in robots.txt, mit dem Websites steuern, ob ihre Inhalte für Googles KI-Modelle verwendet werden; die Indexierung für die Google-Suche bleibt davon unberührt. Die Liste ändert sich; die Dokumentation der Anbieter ist massgeblich.
Steuerung per robots.txt
In der robots.txt lassen sich Regeln pro User-Agent festlegen: alles erlauben, bestimmte Bereiche sperren oder einen Bot vollständig ausschliessen. Seriöse Anbieter erklären, diese Regeln zu respektieren; technisch erzwingen kann robots.txt sie nicht. Wer Inhalte wirksam schützen muss, braucht zusätzlich Zugriffsschutz.
Die Abwägung für GEO
Wer in Antworten von KI-Assistenten als Quelle erscheinen will, sollte zumindest die Such- und Nutzerabruf-Crawler zulassen, sonst kann der Assistent die Seite weder finden noch lesen. Die Frage, ob man Trainings-Crawler zulässt, ist eine eigene Entscheidung: Training kann die Bekanntheit einer Marke in Modellen stärken, gibt aber Inhalte für eine Nutzung frei, die man nicht kontrolliert. Für ein Beratungsunternehmen, das Sichtbarkeit sucht, überwiegt meist der Nutzen. In der robots.txt von innopulse.io sind die wichtigsten KI-Crawler deshalb namentlich geregelt.
Prüfen
Server-Logs zeigen, welche Bots tatsächlich zugreifen und wie oft. Eine regelmässige Prüfung zeigt, ob Regeln wirken und ob neue Bots auftauchen. Wie man darüber hinaus zitierfähig wird, beschreibt die Entscheidungshilfe GEO oder klassisches SEO.