Robots.txt Checker

Überprüfen Sie Ihre robots.txt-Datei – analysieren Sie Allow/Disallow-Regeln, Sitemap und User-Agents

Zu prüfender Bot

Bis zu 6 Prüfungen/IP/Stunde plus gemeinsame Limits. Nur robots.txt wird geladen. Maximal 500 KiB und 5 Weiterleitungen; private Netze sind gesperrt.

Darf dieser Bot die URL laut robots.txt crawlen?

Vollständige URL mit Pfad und Query eingeben, Bot wählen und prüfen. Passende Gruppen werden kombiniert, die spezifischste Regel entscheidet. Bei Gleichstand gewinnt Allow. Gruppe, Regel und Zeile mit der Originaldatei vergleichen.

Die Simulation belegt weder tatsächlichen Zugriff noch Indexierung, Ranking oder KI-Zitate. Training ist nicht Suche. Für ChatGPT-User kann robots.txt nicht gelten. Google-Extended ist ein Produkttoken, kein eigener HTTP-Bot. llms.txt garantiert keine Zitate.

Beispiel: Disallow: /private und Allow: /private/open in derselben Gruppe erlauben /private/open. $ markiert das Ende von Pfad und Query.

Quellen und Methode: RFC 9309 · Google · OpenAI · Anthropic

Was macht robots.txt für SEO?

Prüfen Sie User-agent-Gruppe und Pfad, bevor Sie eine Crawling-Regel ändern.

Disallow steuert Crawling, garantiert aber keine Entfernung aus Suchergebnissen. Der Checker zeigt Gruppen, Regeln, Sitemaps und Originaltext. Eine Regel für einen Bot gilt nicht automatisch für alle. Google muss auf die Seite zugreifen können, um noindex zu lesen. Vertrauliche Inhalte benötigen Authentifizierung; eine fehlende Datei und ein Serverfehler erfordern unterschiedliche Diagnosen.

Zählt Allow/Disallow-Regeln und User-Agents
Erkennt Sitemap-Deklarationen in robots.txt
Zeigt den Rohinhalt zur Überprüfung an

Kostenlos starten

Beispiel: Einen Befund interpretieren und beheben

Nur zur Illustration, keine Prüfung Ihrer Website.

Nach einem Release enthält die Produktionsdatei „User-agent: *“ und „Disallow: /“. Prüfen Sie betroffene Gruppe und Pfade, bevor Sie die Regel entfernen; bewahren Sie gewollte Einschränkungen.

Google muss eine Seite crawlen können, um noindex zu lesen. Eine gesperrte URL kann durch externe Links weiterhin erscheinen. Vertrauliche Dokumente benötigen Authentifizierung; robots.txt ist keine Zugriffskontrolle.

Google Search Central

So funktioniert es in 3 Schritten

1Geben Sie Ihre Website-URL ein (das Tool findet /robots.txt automatisch).
2Klicken Sie auf „Robots.txt prüfen“, um die Datei abzurufen und zu analysieren.
3Überprüfen Sie die Allow/Disallow-Regeln, User-Agents und die Sitemap-Deklaration.

Häufig gestellte Fragen

Worin unterscheidet sich robots.txt von einem noindex-Tag?

robots.txt blockiert das Crawling (Google liest die Seite nie), während noindex das Crawling erlaubt, aber die Seite aus dem Index heraushält. Um eine Seite aus Google zu entfernen, verwenden Sie noindex, nicht robots.txt.

Worher weiß ich, ob robots.txt aus Versehen blockiert?

Suchen Sie nach einer "Disallow: /"-Zeile (blockiert alles) oder nach Blockierungen für wichtige Ordner wie /blog oder /products. Das Tool listet die blockierten Pfade übersichtlich auf.

Sollte ich die Sitemap in der robots.txt deklarieren?

Ja. Das Hinzufügen von "Sitemap: https://yoursite.com/sitemap.xml" hilft jeder Suchmaschine, Ihre Sitemap ohne manuelle Einreichung zu finden.

Was ist, wenn meine Website keine robots.txt hat?

Das ist in Ordnung – Suchmaschinen crawlen dann möglicherweise alles. Dennoch können Sie mit einer robots.txt das Crawling kontrollieren und Ihre Sitemap deklarieren.