Verifica robots.txt y Sitemaps sin confundir el rastreo con la indexación

robots.txt controla el rastreo compatible, mientras que un sitemap ayuda a divulgar URLs. Ninguno de los dos garantiza la indexación. Verifica el nombre de host solicitado, la URL exacta y las directivas de indexación por separado al solucionar problemas de una página faltante.

Revisa las reglas de rastreo

Obtén el archivo robots.txt para el protocolo y el host deseados. Identifica el grupo de user-agent y las reglas de ruta relevantes para la página. Compara las rutas permitidas y no permitidas detenidamente; una regla que afecte a un directorio puede tener un alcance mucho mayor que el de la página que estás investigando. No publiques credenciales ni registros privados solo porque una ruta no esté permitida.

Revisa el sitemap como un inventario

Comprueba que la respuesta sea el XML esperado en lugar de un error HTML o una página de inicio de sesión. Sigue las entradas de sitemap-index cuando corresponda. Compara URLs representativas con su respuesta final, la canonical preferida y el estado de indexación deseado. Un analizador sintáctico que informa que un archivo es válido no necesariamente ha rastreado cada URL dentro de él.

Ejemplo práctico: el sitemap incluye un artículo bloqueado

Imagina que un artículo aparece en el sitemap pero su directorio no está permitido. Si deseas que se indexe, revisa si esa restricción de rastreo es intencional, luego verifica la respuesta de la página y las directivas de indexación. Si deseas que el artículo se excluya, utiliza un control de indexación adecuado que el rastreador pueda leer; simplemente bloquear el rastreo puede dejar una URL descubierta previamente apta para aparecer sin un fragmento útil. Este es un conflicto de configuración ilustrativo.

Vuelve a probar el resultado deseado

1. Guarda el cambio de la regla o del sitemap y su motivo.
2. Vuelve a obtener los archivos del host de producción.
3. Prueba la ruta afectada específica y una ruta no afectada.
4. Compara la etiqueta meta de robots entregada y X-Robots-Tag.
5. Sigue el estado de la URL en Search Console sin asumir un nuevo rastreo inmediato.

Usa Robots Checker y Sitemap Checker como comprobaciones independientes. No elimines reglas amplias sin verificar su propósito ni prometas que volver a enviar un sitemap hará que Google indexe todas las entradas.

Consulta la introducción a robots.txt y la descripción general de sitemaps. de Google