Vérificateur de robots.txt

Vérifiez votre fichier robots.txt — analysez les règles Autoriser/Interdire, le sitemap et les agents utilisateurs

Robot à évaluer

Jusqu’à 6 tests/IP/heure et limites partagées. Seul robots.txt est téléchargé. Maximum 500 Kio et 5 redirections ; réseaux privés bloqués.

Ce robot peut-il explorer cette URL selon robots.txt ?

Saisissez l’URL complète avec chemin et requête, choisissez le robot puis testez. Les groupes correspondants sont combinés ; la règle la plus spécifique décide. Allow gagne en cas d’égalité. Vérifiez groupe, règle et ligne dans le fichier brut.

Cette simulation ne prouve ni accès réel, ni indexation, classement ou citation IA. Entraînement et recherche sont distincts. ChatGPT-User peut ne pas appliquer robots.txt. Google-Extended contrôle un produit, pas un robot HTTP séparé. llms.txt ne garantit aucune citation.

Exemple : Disallow: /private et Allow: /private/open dans le même groupe autorisent /private/open. $ termine le chemin complet avec sa requête.

Sources et méthode: RFC 9309 · Google · OpenAI · Anthropic

Quel est le rôle du fichier robots.txt pour le SEO ?

Examinez le groupe User-agent et le chemin avant de modifier une règle d’exploration.

Disallow contrôle l’exploration, sans garantir la disparition de l’URL des résultats. Le testeur affiche groupes, règles, sitemaps et texte brut. Une règle pour un bot ne vise pas automatiquement tous les robots. Google doit accéder à la page pour lire noindex. Protégez les contenus confidentiels par authentification ; fichier absent et erreur serveur appellent des diagnostics différents.

Compte les règles Autoriser/Interdire et les agents utilisateurs
Détecte les déclarations de sitemap dans le robots.txt
Affiche le contenu brut pour révision

Commencer gratuitement

Exemple : interpréter un résultat et le corriger

Illustration uniquement, il ne s'agit pas d'une vérification de votre site Web.

Après une mise en production, le fichier contient « User-agent: * » et « Disallow: / ». Identifiez groupe et chemins concernés avant de retirer la règle ; gardez les restrictions voulues.

Google doit pouvoir explorer la page pour lire noindex. Une URL bloquée peut rester visible si d’autres pages la référencent. Les documents privés exigent une authentification : robots.txt ne contrôle pas les accès.

Google Search Central

Comment l'utiliser en 3 étapes

1Saisissez l'URL de votre site web (l'outil trouve /robots.txt automatiquement).
2Cliquez sur « Vérifier le robots.txt » pour récupérer et analyser le fichier.
3Examinez les règles d'autorisation/d'interdiction, les agents utilisateur et la déclaration du sitemap.

Foire aux questions

En quoi robots.txt est-il différent d'une balise noindex ?

robots.txt bloque l'exploration (Google ne lit jamais la page), tandis que noindex autorise l'exploration mais empêche l'indexation de la page. Pour supprimer une page de Google, utilisez noindex et non robots.txt.

Comment savoir si robots.txt bloque par erreur ?

Recherchez une ligne "Disallow: /" (qui bloque tout) ou des blocages sur des dossiers importants comme /blog ou /products. L'outil liste clairement les chemins bloqués.

Dois-je déclarer le sitemap dans robots.txt ?

Oui. Ajouter "Sitemap: https://yoursite.com/sitemap.xml" aide chaque moteur de recherche à trouver votre sitemap sans soumission manuelle.

Et si mon site n'a pas de fichier robots.txt ?

Ce n'est pas un problème — les moteurs de recherche peuvent alors tout explorer. Cependant, créer un robots.txt vous permet de contrôler l'exploration et de déclarer votre sitemap.