Crawl-Budget: Praxisleitfaden für große Websites

Eine Website mit 800 Seiten benötigt selten „mehr Crawl-Budget“. Eine Website mit 80,000 durch Filterkombinationen erzeugten URLs kann Googlebot dagegen überwiegend mit Seiten beschäftigen, die niemand indexieren möchte. Die Symptome können in der Search Console ähnlich aussehen, doch die Lösungen unterscheiden sich grundlegend.

Dieser Leitfaden richtet sich an Onlineshops, Publisher, Marktplätze und Programmatic-SEO-Projekte mit vielen URLs im Status „Discovered – currently not indexed“, verzögerter Sitemap-Entdeckung oder Serverprotokollen voller parametrisierter Seiten.

Was ist Crawl-Budget?

Crawl-Budget umfasst die URLs, die Google innerhalb eines Zeitraums auf einer Website crawlen kann und möchte. Es besteht aus zwei Komponenten:

• Crawl capacity limit: Anzahl der möglichen Googlebot-Anfragen ohne Serverüberlastung.
• Crawl demand: Googles Interesse an erneuten URL-Besuchen anhand von Aktualität, Beliebtheit, Qualität und Wert.

Ein schnellerer Server verbessert die Kapazität, garantiert aber kein zusätzliches Crawling. Sind Tausende URLs inhaltsarm, fast identisch oder ohne Suchnachfrage, bleibt der Crawl-Bedarf gering.

Laut Google ist Crawl-Budget hauptsächlich für sehr große Websites, Websites mit etwa 10,000 oder mehr täglich geänderten URLs oder einem großen Anteil „Discovered – currently not indexed“ relevant. Für kleine Blogs genügen normalerweise eine saubere Sitemap und sinnvolle interne Links.

Zuerst prüfen, ob Crawl-Budget tatsächlich das Problem ist

Beginnen Sie nicht mit Änderungen an robots.txt. Beantworten Sie vier Fragen:

1. Werden wichtige URLs zeitnah nach Veröffentlichung oder wesentlichen Aktualisierungen gecrawlt?
2. Bleiben viele gültige URLs wochenlang im Status „Discovered – currently not indexed“?
3. Zeigen die Crawling-Statistiken Googlebot-Anfragen an Parameter, interne Suchseiten oder Duplikate?
4. Liefert der Server bei Crawl-Spitzen häufig 5xx, Zeitüberschreitungen oder langsame Antworten?

Lauten alle Antworten nein, sind Qualität, interne Verlinkung oder Indexierbarkeit wahrscheinlichere Ursachen als das Crawl-Budget.

Mit Serverprotokollen statt Intuition beginnen

GA4 liefert keine Server-Zugriffsprotokolle. Prüfen Sie angeforderte URLs, Statuscodes und Zeiten in autorisierten Protokollen; ein öffentlicher Tag-Check liefert diese Daten nicht.

Ein hilfreicher Ausgangsbericht enthält:

Vertrauen Sie User-Agents nicht blind. Schädliche Bots können sich als Googlebot ausgeben. Prüfen Sie Reverse DNS oder offizielle IP-Bereiche, bevor Sie Anfragen in den Crawl-Bericht aufnehmen.

Sieben Wege zu effizienterem Crawling

1. Den entdeckbaren URL-Bestand reduzieren

Facettierte Navigation ist ein häufiger Verursacher. Eine Kategorie mit 10 Filtern, mehreren Werten je Filter und uneingeschränkten Kombinationen kann Zehntausende URLs erzeugen.

Teilen Sie diese in drei Gruppen:

• Suchnachfrage und einzigartiger Mehrwert: indexieren, Self-Canonical setzen und intern verlinken.
• Nützlich für Besucher, aber nicht für die Suche vorgesehen: Crawling und Indexierung bewusst steuern.
• Kein Wert: Erzeugung oder Verlinkung beenden.

Canonical-Tags verhindern Crawling nicht, da Google die Seite zum Lesen abrufen muss. Am wirksamsten ist es, nutzlose URLs nicht weiter zu verbreiten.

2. Sitemap als Prioritätenliste behandeln

Eine Sitemap ist kein Datenbankexport. Nehmen Sie nur URLs auf, die:

• kanonisch sind;
• 200 zurückgeben;
• indexierbar sind;
• ausreichend nützliche Inhalte besitzen;
• ein wahrheitsgemäßes <lastmod>-Datum haben.

Wird jeder Lastmod-Wert bei einer Footer-Bereitstellung geändert, verliert das Signal an Nutzen. Aktualisieren Sie ihn bei Änderungen am Hauptinhalt, an Produktdaten oder wichtigen Informationen.

Mit dem Sitemap Checker prüfen Sie Sitemap-Indizes, URL-Anzahl und Lastmod-Abdeckung.

3. Weiterleitungsketten und veraltete Links entfernen

Googlebot kann Weiterleitungen folgen, aber A → B → C → D verzögert die Ankunft und erhöht den Wartungsaufwand. Interne Links sollten direkt zu D führen; die Sitemap sollte nur D enthalten.

Entfernen Sie alte Weiterleitungen nach einer Migration nicht zu früh. Verkürzen Sie Ketten auf einen Schritt und beobachten Sie in Logs, ob alte URLs noch Anfragen erhalten. Der Redirect Chain Checker zeigt sämtliche Schritte schnell an.

4. Aussagekräftige Statuscodes zurückgeben

Ein dauerhaft entferntes Produkt sollte 404 oder 410 liefern, keine „Nicht gefunden“-Seite mit Status 200. Soft 404 hält Crawler mit wertlosen URLs beschäftigt.

Wiederholte 5xx-Fehler und Zeitüberschreitungen sind schwerwiegender. Bei Serverausfällen kann die Crawl-Kapazität sinken, um zusätzliche Last zu vermeiden. Gruppieren Sie Fehler nach Vorlage und Zeitpunkt, um Anwendungsfehler von Traffic-Spitzen zu unterscheiden.

5. Abruf und Rendering von Seiten vereinfachen

Schnelle Antworten, kompaktes HTML und stabile Ressourcen ermöglichen Google unter gleichen Bedingungen mehr Inhaltsverarbeitung. TTFB, Caching, Datenbankabfragen, Bilder und JavaScript beeinflussen sowohl Crawl-Effizienz als auch Nutzererfahrung.

JavaScript-lastige Seiten benötigen nach dem HTML-Crawling zusätzlich Rendering. Serverseitiges Rendering oder Vorab-Rendering wichtiger Inhalte reduziert die Abhängigkeit von der Rendering-Warteschlange.

6. Interne Links nach geschäftlichem Wert aufbauen

Eine wichtige URL, die nur in einer Sitemap existiert, kann weiterhin schwach wirken. Kategorien, Hubs, Breadcrumbs und verwandte Inhalte sollten natürliche Crawl-Pfade zu priorisierten Produkten und Landingpages bilden.

Praktische Regel: Kann das Inhaltsteam nicht erklären, wie Besucher die Seite erreichen, hat ein Crawler möglicherweise dieselbe Schwierigkeit.

7. Große Veröffentlichungs- und Aktualisierungsbatches planen

Publisher und Marktplätze erzeugen Lastspitzen, wenn sie Hunderttausende Datensätze gleichzeitig ändern. Sinnvolle Batches, Sitemap-Indizes nach Inhaltstyp und genaue Lastmod-Werte helfen Crawlern, sich auf Änderungen zu konzentrieren.

Crawl-Budget-Tricks, die nach hinten losgehen

Überall Noindex hinzufügen

Google muss eine URL crawlen, um noindex zu sehen. Die Anfrage entfällt dadurch nicht. Auch Robots-Regeln sind kein beliebiger Budgetregler: Blockierte URLs können lange bekannt und in der Warteschlange bleiben.

CSS und JavaScript blockieren

Google benötigt wichtige Ressourcen zum Rendern und Bewerten. Ihre Blockierung kann Seiten unvollständig oder mobil ungeeignet erscheinen lassen.

Sitemaps austauschen, um Priorität zu erzwingen

Sitemaps unterstützen die Entdeckung, vergeben aber kein garantiertes Kontingent. Eine saubere Sitemap verdeutlicht den Bestand, macht dünne Inhalte jedoch nicht crawlwürdig.

Crawl-Rate um jeden Preis erhöhen

Ist der Server langsam oder fehlerhaft, verschlimmert mehr Crawling das Problem. Stellen Sie zuerst die Crawl-Gesundheit wieder her, bevor Sie sich um das Volumen kümmern.

Ein 14-Tage-Plan für große Websites

Tag 1–3: Ausgangslage festhalten

Exportieren Sie Crawling-Statistiken, Indexierungsberichte und Access-Logs für 7–14 Tage. Gruppieren Sie URLs nach Vorlage, Status, Parametertyp und Antwortzeit.

Tag 4–6: Drei größte Verschwendungsquellen auswählen

Häufig sind das facettierte URLs, Weiterleitungsketten und Soft 404. Werden 20 Probleme gleichzeitig behoben, ist eine Wirkungszuordnung unmöglich.

Tag 7–10: URL-Erzeugung korrigieren

Entfernen Sie Parameterlinks aus Komponenten, vereinheitlichen Sie die URL-Erzeugung, aktualisieren Sie Sitemap-Generatoren und liefern Sie richtige Statuscodes. Testen Sie auf Staging und bedenken Sie, dass Crawler die öffentliche Umgebung bewerten.

Tag 11–14: Bereitstellung überwachen

Vergleichen Sie Anfragen an priorisierte URLs, 5xx-Häufigkeit, Antwortzeiten und Indexierungsentwicklung. Crawl-Muster ändern sich nicht über Nacht, doch Logs liefern frühere Belege als Gesamtberichte.

Search Console und Protokolle im Vergleich

Search Console eignet sich am besten für Crawl-Trends, Indexierungsstatus und websiteweite Fehler. Logs beantworten Details: welcher Bot welche URL wann mit welchem Status und welcher Latenz angefordert hat.

Die Quellen ergänzen sich. Search Console liefert die Landkarte, Logs zeigen die Fußspuren.

Woran Erfolg erkennbar sein sollte

Bewerten Sie das Projekt nicht nach der Gesamtzahl der Googlebot-Anfragen. Eine erfolgreiche Effizienzverbesserung kann das Anfragevolumen unverändert lassen und lediglich dessen Verteilung ändern.

Verfolgen Sie vier bis sechs Wochen lang eine kleine Kennzahlenübersicht:

• Anteil der Googlebot-Anfragen an kanonische 200-Seiten;
• für Parameter, Weiterleitungen, Soft 404 und Fehler verschwendete Anfragen;
• mittlere Antwortzeit der am häufigsten gecrawlten Vorlagen;
• Zeit zwischen Veröffentlichung einer wichtigen URL und erstem Crawling;
• Zahl wertvoller, gefundener, aber nicht indexierter URLs;
• Serverfehler bei Crawl-Spitzen.

Das beste Ergebnis ist nicht isoliert „mehr Crawling“. Es sind die schnellere Entdeckung wichtiger Änderungen, weniger Anfragen an nutzlose Varianten und stabile Serverleistung.

Saisonalität ist wichtig. Ein Marktplatz vor einer großen Verkaufsaktion, ein Publisher bei Eilmeldungen oder ein Katalog nach einer Migration kann vorübergehende Bedarfsänderungen erleben. Vergleichen Sie gleichwertige Zeiträume und vermerken Sie Bereitstellungen, damit eine geschäftige Woche keine falschen Schlussfolgerungen erzeugt.

Trennen Sie schließlich Crawling und Indexierung. Eine URL kann häufig abgerufen werden und trotzdem unindexiert bleiben, weil ihr Inhalt dünn, doppelt oder nicht nützlich genug ist. Sobald Logs zuverlässige Google-Zugriffe belegen, optimieren Sie nicht weiter die Crawl-Regeln, sondern die Seite selbst.

Erster Schritt: Führen Sie ein kostenloses SEO-Audit für Sitemap, Robots, Weiterleitungen und Indexierbarkeit durch. Messen Sie anschließend das tatsächliche Crawling großer Websites mit Serverprotokollen.

Fazit

Crawl-Budget-Optimierung sucht keinen Trick für häufigere Googlebot-Besuche. Sie lenkt vorhandenes Crawling auf wertvolle URLs, während der Server schnell und zuverlässig antwortet. Reduzieren Sie unnötige Bestände, pflegen Sie wahrheitsgemäße Sitemaps, korrigieren Sie Statuscodes, kürzen Sie Weiterleitungen und priorisieren Sie interne Links. Ist Ihre Website noch zu klein für relevante Crawl-Budget-Fragen, ist bessere Inhaltsqualität meist die sinnvollere Investition.

Quellen: Google Search Central – Crawl Budget Management und Googlebot-Dokumentation.