Robots.txt 检查工具

检查 robots.txt 文件 — 分析 Allow/Disallow 规则、Sitemap 和 User-agent

要检查的机器人

每个IP每小时最多6次，并有共享限制。只获取robots.txt，不获取目标页面。上限500 KiB、5次重定向；禁止访问私有网络。

robots.txt允许此机器人抓取该URL吗？

输入包含路径和查询的完整URL，选择机器人后检查。合并匹配的组，采用最具体的规则；长度相同时Allow优先。请对照原文件检查组、规则和行号。

这是当前规则的模拟，不证明实际访问、收录、排名或AI引用。训练与搜索不同。ChatGPT-User请求可能不适用robots.txt。Google-Extended是产品控制标记，不是独立HTTP机器人。llms.txt也不保证引用。

示例：同组的Disallow: /private和Allow: /private/open允许/private/open。$匹配包含查询的完整路径末尾。

修改抓取规则前，先核对User-agent组及目标路径。

Disallow控制抓取，不保证将URL从搜索结果移除。工具显示组、规则、站点地图及原文。针对某个bot的规则不自动适用于所有bot。Google必须能够访问页面才能读取noindex。秘密内容需身份验证；文件不存在和服务器出错应分别诊断。

仅供说明，并非对您网站的检查。

上线后若仍有“User-agent: *”和“Disallow: /”，请先确定受影响的组和路径。不要同时解除有意保留的限制。

Google必须能抓取页面才能读取noindex。被屏蔽的URL仍可能因外部链接而出现在搜索结果中。私密文件需要身份验证；robots.txt不是访问控制机制。

robots.txt 与 noindex 标签有什么区别？

robots.txt 阻止抓取（Google 不会读取页面），而 noindex 允许抓取，但不将页面纳入索引。若要从 Google 移除页面，请使用 noindex，而非 robots.txt。

如何知道 robots.txt 是否误屏蔽了内容？

检查是否存在“Disallow: /”行（屏蔽所有内容），或对 /blog、/products 等重要目录的屏蔽。工具会清晰列出被屏蔽的路径。

应该在 robots.txt 中声明 Sitemap 吗？

应该。添加“Sitemap: https://yoursite.com/sitemap.xml”有助于所有搜索引擎找到站点地图，无需手动提交。

网站没有 robots.txt 怎么办？

没关系 — 搜索引擎可以抓取所有内容。不过，创建 robots.txt 能让您控制抓取并声明站点地图。