检查 robots.txt 和站点地图，切勿混淆抓取与索引

robots.txt 控制合规抓取，而站点地图有助于公开 URL。两者都不是索引的保证。在排查丢失的页面时，请分别检查请求的主机名、确切的 URL 和索引指令。

审查抓取规则

获取目标协议和主机的 robots.txt。识别与该页面相关的用户代理组和路径规则。仔细比较允许和禁止的路径；影响某个目录的规则可能会比您正在调查的页面具有更广的范围。切勿仅仅因为路径被禁止就发布凭据或私密记录。

将站点地图作为清单进行审查

检查响应是否为预期的 XML，而不是 HTML 错误或登录页面。适用时，请遵循站点地图索引条目。将具有代表性的 URL 与其最终响应、首选规范版本以及预期的索引状态进行比较。报告文件有效的解析器不一定会抓取其中的每个 URL。

实际示例：站点地图包含被阻止的文章

假设一篇文章列在站点地图中，但其目录被禁止。如果您希望对其进行索引，请检查该抓取限制是否是有意的，然后验证页面响应和索引指令。如果您希望排除该文章，请使用抓取工具可以读取的适当索引控制；简单地阻止抓取可能会使先前发现的 URL 仍然符合出现条件，但没有有用的摘要。这是一个说明性的配置冲突。

重新测试预期结果

1. 保存规则或站点地图更改及其原因。
2. 从生产主机再次获取文件。
3. 测试受影响的具体路径和未受影响的路径。
4. 比较交付的 robots 元标记和 X-Robots-Tag。
5. 在 Search Console 中跟踪 URL 的状态，不要假设会立即重新抓取。

将 Robots 检查器 和 站点地图检查器 作为单独的检查项使用。切勿在未检查其用途的情况下删除广泛的规则，也不要承诺重新提交站点地图会使 Google 索引所有条目。

请参阅 Google 的 robots.txt 简介 和 站点地图概述.