Vérifiez le fichier robots.txt et les sitemaps sans confondre l'exploration et l'indexation

Le fichier robots.txt contrôle l'exploration conforme, tandis qu'un sitemap aide à divulguer les URL. Aucun des deux ne garantit l'indexation. Vérifiez le nom d'hôte demandé, l'URL exacte et les directives d'indexation séparément lors du dépannage d'une page manquante.

Examiner les règles d'exploration

Récupérez le robots.txt pour le protocole et l'hôte ciblés. Identifiez le groupe d'agents utilisateurs et les règles de chemin pertinentes pour la page. Comparez attentivement les chemins autorisés et interdits ; une règle affectant un répertoire peut avoir une portée beaucoup plus large que la page sur laquelle vous enquêtez. Ne publiez pas d'identifiants ou d'enregistrements privés simplement parce qu'un chemin est interdit.

Examiner le sitemap comme un inventaire

Vérifiez que la réponse est bien le fichier XML attendu plutôt qu'une erreur HTML ou une page de connexion. Suivez les entrées d'index de sitemap le cas échéant. Comparez les URL représentatives avec leur réponse finale, la balise canonique privilégiée et le statut d'indexation souhaité. Un outil d'analyse signalant un fichier valide n'a pas nécessairement exploré chaque URL qu'il contient.

Exemple concret : le sitemap inclut un article bloqué

Imaginez qu'un article soit répertorié dans le sitemap mais que son répertoire soit interdit. Si vous souhaitez qu'il soit indexé, vérifiez si cette restriction d'exploration est intentionnelle, puis validez la réponse de la page et les directives d'indexation. Si vous souhaitez que l'article soit exclu, utilisez un contrôle d'indexation approprié que le robot d'exploration peut lire ; le simple fait de bloquer l'exploration peut laisser une URL précédemment découverte éligible à l'affichage sans extrait utile. Il s'agit d'un conflit de configuration illustratif.

Retester le résultat souhaité

1. Enregistrez la modification de la règle ou du sitemap ainsi que sa raison.
2. Récupérez à nouveau les fichiers depuis l'hôte de production.
3. Testez le chemin spécifique affecté et un chemin non affecté.
4. Comparez la méta robots fournie et le X-Robots-Tag.
5. Suivez le statut de l'URL dans Search Console sans supposer une réexploration immédiate.

Utilisez le Robots Checker et le Sitemap Checker comme des vérifications distinctes. Ne supprimez pas les règles globales sans vérifier leur objectif ni promettre que la soumission d'un sitemap fera indexer toutes les entrées par Google.

Consultez l'introduction de Google au robots.txt et la vue d'ensemble du sitemap.