Überprüfen Sie robots.txt und Sitemaps, ohne Crawling und Indexierung zu verwechseln

robots.txt steuert regelkonformes Crawling, während eine Sitemap dabei hilft, URLs offenzulegen. Keines von beiden ist eine Garantie für die Indexierung. Überprüfen Sie den angeforderten Hostnamen, die exakte URL und die Indexierungsanweisungen separat, wenn Sie eine fehlende Seite untersuchen.

Überprüfen Sie die Crawl-Regeln

Rufen Sie die robots.txt für das gewünschte Protokoll und den Host ab. Identifizieren Sie die User-Agent-Gruppe und die für die Seite relevanten Pfadregeln. Vergleichen Sie erlaubte und nicht erlaubte Pfade sorgfältig; eine Regel, die ein Verzeichnis betrifft, kann einen viel größeren Geltungsbereich haben als die Seite, die Sie untersuchen. Veröffentlichen Sie keine Anmeldeinformationen oder privaten Datensätze nur deshalb, weil ein Pfad gesperrt ist.

Überprüfen Sie die Sitemap als Inventar

Überprüfen Sie, ob die Antwort das erwartete XML und keine HTML-Fehler- oder Anmeldeseite ist. Folgen Sie Sitemap-Index-Einträgen, falls zutreffend. Vergleichen Sie representative URLs mit ihrer finalen Antwort, dem bevorzugten Canonical und dem beabsichtigten Indexierungsstatus. Ein Parser, der eine gültige Datei meldet, hat nicht zwangsläufig jede URL darin gecrawlt.

Praxisbeispiel: Die Sitemap enthält einen blockierten Artikel

Stellen Sie sich vor, ein Artikel ist in der Sitemap aufgeführt, aber sein Verzeichnis ist gesperrt. Wenn Sie möchten, dass er indexiert wird, überprüfen Sie, ob diese Crawl-Einschränkung beabsichtigt ist, und verifizieren Sie dann die Seitenantwort und die Indexierungsanweisungen. Wenn Sie den Artikel ausschließen möchten, verwenden Sie eine geeignete Indexierungssteuerung, die der Crawler lesen kann; das reine Blockieren des Crawlings kann dazu führen, dass eine zuvor entdeckte URL weiterhin ohne nützliches Snippet erscheinen kann. Dies ist ein anschaulicher Konfigurationskonflikt.

Testen Sie das beabsichtigte Ergebnis erneut

1. Speichern Sie die Regel- oder Sitemap-Änderung sowie deren Grund.
2. Rufen Sie die Dateien erneut vom Produktions-Host ab.
3. Testen Sie den spezifischen betroffenen Pfad und einen unbetroffenen Pfad.
4. Vergleichen Sie die ausgelieferten Robots-Meta-Angaben und den X-Robots-Tag.
5. Verfolgen Sie den Status der URL in der Search Console, ohne von einem sofortigen Re-Crawling auszugehen.

Verwenden Sie den Robots Checker und den Sitemap Checker als separate Prüfungen. Entfernen Sie keine umfassenden Regeln, ohne deren Zweck zu prüfen, und versprechen Sie nicht, dass das erneute Einreichen einer Sitemap dazu führt, dass Google alle Einträge indexiert.

Weitere Informationen finden Sie in Googles Einführung in robots.txt und Sitemap-Übersicht.)