Crawl-Budget bezeichnet den Umfang, in dem eine Suchmaschine eine Website in einem gegebenen Zeitraum abruft. Es ergibt sich aus zwei Grössen: der Belastung, die der Server verträgt, und dem Interesse der Suchmaschine an den Inhalten dieser Website.
Wann es überhaupt zählt
Für die meisten Websites ist Crawl-Budget kein Thema. Eine Seite mit einigen hundert URLs wird vollständig erfasst, ohne dass jemand darüber nachdenken müsste. Relevant wird es bei grossen Beständen — vielen tausend URLs —, bei häufig wechselnden Inhalten, und überall dort, wo automatisiert URLs entstehen. Wer bei einer kleinen Website an Crawl-Budget arbeitet, optimiert ein Problem, das er nicht hat.
Was es tatsächlich verschwendet
Der Engpass entsteht selten durch die Zahl der guten Seiten. Er entsteht durch URLs ohne eigenen Wert, die trotzdem abgerufen werden: Parameter-Varianten derselben Seite, endlose Filterkombinationen, interne Suchergebnisse, Kalenderansichten mit unbegrenzter Zukunft, Sortiervarianten. Diese URLs sind einzeln harmlos und in der Summe der Grund, warum wichtige Seiten seltener besucht werden.
Weiterleitungsketten und Fehlerseiten
Zwei weitere Verbraucher werden unterschätzt. Jede Weiterleitung kostet einen Abruf; eine Kette aus mehreren Weiterleitungen kostet entsprechend mehr und wird ab einer gewissen Länge abgebrochen. Und URLs, die dauerhaft Fehler liefern oder in der Sitemap stehen, ohne zu existieren, werden weiterhin abgerufen. Beides sind Aufräumarbeiten mit unmittelbarer Wirkung.
Was wirkt und was nicht
Wirksam ist, wertlose URLs gar nicht erst entstehen zu lassen oder sie über die robots.txt vom Abruf auszunehmen. Ebenfalls wirksam sind eine saubere Sitemap ohne tote oder de-indexierte Einträge, kurze interne Wege zu wichtigen Seiten und schnelle Serverantworten. Nicht wirksam ist ein noindex zur Budgetsteuerung: Eine Seite mit noindex wird weiterhin abgerufen, sie wird nur nicht indexiert. Wer Abrufe sparen will, muss den Abruf verhindern, nicht die Indexierung.
Der Zusammenhang mit der internen Verlinkung
Wie oft eine Seite besucht wird, hängt auch davon ab, wie leicht sie erreichbar ist. Eine Seite, auf die nur ein einziger Link zeigt und die vier Klicks von der Startseite entfernt liegt, wird seltener abgerufen als eine gut eingebundene. Interne Verlinkung ist deshalb kein reines Nutzerthema, sondern wirkt unmittelbar auf die Erfassung — und ist meist der wirksamere Hebel als jede Budgetoptimierung.
Praktische Konsequenz
Die nützliche Reihenfolge lautet: erst prüfen, ob überhaupt ein Engpass besteht; dann wertlose URLs beseitigen statt gute zu reduzieren; dann Weiterleitungsketten und Fehlerseiten aufräumen; und erst danach über feinere Steuerung nachdenken. Bei den meisten Websites endet die Arbeit nach dem ersten Schritt.