Comprobador de Robots.txt

¿Permite robots.txt rastrear esta URL?

Introduce la URL completa con ruta y consulta, elige el bot y comprueba. Se combinan los grupos coincidentes y decide la regla más específica; Allow gana los empates. Revisa grupo, regla y línea en el original.

Es una simulación de reglas, no prueba acceso real, indexación, posiciones ni citas de IA. Entrenamiento y búsqueda son distintos. ChatGPT-User puede no aplicar robots.txt. Google-Extended es un control de producto, no un bot HTTP separado. llms.txt no garantiza citas.

Ejemplo: Disallow: /private y Allow: /private/open en el mismo grupo permiten /private/open. $ marca el final de ruta y consulta.

Fuentes y método: RFC 9309 · Google · OpenAI · Anthropic

¿Qué hace el archivo robots.txt para el SEO?

Revisa el grupo User-agent y la ruta antes de cambiar una regla de rastreo.

Disallow controla el rastreo, no garantiza eliminar la URL de los resultados. El comprobador muestra grupos, reglas, sitemaps y texto original. Una regla para un bot no se aplica automáticamente a todos. Google necesita acceder a una página para leer noindex. Protege contenido confidencial mediante autenticación; un archivo inexistente y un error del servidor requieren diagnósticos distintos.

• Cuenta las reglas de Permitir/Denegar y los Agentes de usuario
• Detecta declaraciones de Sitemap en el archivo robots.txt
• Muestra el contenido sin procesar para su revisión

Ejemplo: interpretar un hallazgo y corregirlo

Solo como ilustración, no es una comprobación de su sitio web.

Tras pasar de pruebas a producción aparece «User-agent: *» con «Disallow: /». Identifica el grupo y las rutas afectados antes de quitar la regla; conserva las restricciones intencionadas.

Para que Google lea noindex, debe poder rastrear la página. Una URL bloqueada puede seguir apareciendo si recibe enlaces externos. Los documentos privados necesitan autenticación: robots.txt no controla el acceso.

Google Search Central