抓取预算：大型网站实用指南

一个有 800 个页面的网站很少需要“获得更多抓取预算”。由筛选组合生成 80,000 个 URL 的网站，却可能让 Googlebot 把大部分时间花在没人希望编入索引的页面上。两者在 Search Console 中的症状可能相似，但解决办法完全不同。

本指南面向电商网站、出版网站、交易平台和程序化 SEO 项目：这些网站可能有大量 URL 停留在“已发现，尚未编入索引”状态、站点地图发现延迟，或服务器日志中的请求以带参数页面为主。

什么是抓取预算？

抓取预算是 Google 在一段时间内能够且愿意在网站上抓取的 URL 集合。它包含两个部分：

• **抓取容量限制：**Googlebot 在不使服务器过载的情况下能够发出的请求数量。
• **抓取需求：**Google 根据新鲜度、受欢迎程度、质量和价值决定重新访问 URL 的意愿。

更快的服务器可以提高容量，但不保证更多抓取。如果成千上万个 URL 内容单薄、几乎相同，或没有搜索需求，抓取需求依然很低。

Google 表示，抓取预算主要适用于超大型网站、约有 10,000 个或更多 URL 每天变化的网站，或“已发现，尚未编入索引”URL 占比较高的网站。对于小型博客，清晰的站点地图和合理的内部链接通常就够了。

先确认问题确实出在抓取预算

不要一开始就编辑 robots.txt。先回答四个问题：

1. 重要 URL 是否在发布或实质更新后很快得到抓取？
2. 是否有许多有效 URL 连续数周处于“已发现，尚未编入索引”状态？
3. 抓取统计信息是否显示 Googlebot 将请求用于参数、站内搜索或重复页面？
4. 抓取高峰期间，服务器是否频繁返回 5xx、超时或响应缓慢？

如果所有问题的答案都是否，那么比起抓取预算，质量、内部链接或可索引性更可能是原因。

从服务器日志入手，而不是凭直觉

GA4 不提供服务器访问日志。请在有权访问的日志中检查请求的网址、状态码和时间；公开标签检查无法提供这些记录。

一份有用的基线报告应包括：

不要盲目信任用户代理。恶意机器人也能自称 Googlebot。将请求纳入抓取报告前，应验证反向 DNS 或官方 IP 范围。

提高抓取效率的七种方法

1. 减少 Google 可发现的 URL 总量

分面导航是常见原因。一个分类若有 10 个筛选器、每个筛选器多个值，且组合不受限制，就能产生数万个 URL。

将它们分为三组：

• 有搜索需求且有独特价值：允许索引、设置自指规范链接，并添加内部链接。
• 对访客有用但不打算用于搜索：有计划地控制抓取与索引。
• 没有价值：停止生成这些 URL 或停止链接到它们。

规范链接标签不能消除抓取，因为 Google 必须获取页面才能读取标签。最有效的修复是停止传播无用 URL。

2. 将站点地图视为优先级清单

站点地图不是数据库转储。只应包含符合以下条件的 URL：

• 是规范 URL；
• 返回 200；
• 可编入索引；
• 内容足够充实且有用；
• 具有真实的 <lastmod> 日期。

每次部署页脚就更改所有 lastmod，会削弱这个信号的作用。应在主要内容、产品数据或重要信息变化时更新它。

使用站点地图检查器检查站点地图索引、URL 数量和 lastmod 覆盖情况。

3. 清除重定向链和过期链接

Googlebot 能够跟随重定向，但 A → B → C → D 会延迟到达目标并增加维护成本。内部链接应直接指向 D，站点地图也应只包含 D。

迁移后不要过早移除旧重定向。将重定向链合并为一跳，并监控日志以确认旧 URL 是否仍收到请求。重定向链检查器可以快速显示每一跳。

4. 返回有意义的状态码

永久移除的产品应返回 404 或 410，而不是状态为 200 的“未找到”页面。软 404 会让抓取工具持续处理没有价值的 URL。

反复出现的 5xx 错误和超时更加严重。服务器故障时，抓取容量可能下降，以避免增加负载。按模板和时间对错误分组，区分应用缺陷与流量突增。

5. 降低页面获取和渲染成本

快速响应、精简 HTML 和稳定资源，能让 Google 在相同条件下处理更多内容。TTFB、缓存、数据库查询、图片和 JavaScript 既影响抓取效率，也影响用户体验。

大量依赖 JavaScript 的页面在 HTML 被抓取后还需要渲染阶段。对关键内容采用服务器端渲染或预渲染，可以减少对渲染队列的依赖。

6. 围绕业务价值构建内部链接

一个只存在于站点地图中的重要 URL，仍可能显得不够重要。分类、中心页、面包屑导航和相关内容，应为优先产品及落地页建立自然的抓取路径。

一个实用原则：如果内容团队无法解释访客如何到达某个页面，抓取工具可能也会遇到同样的困难。

7. 规划大规模发布与更新批次

出版网站和交易平台一次更改数十万条记录时，可能引发负载高峰。合理分批、按内容类型组织站点地图索引，以及准确的 lastmod 值，有助于抓取工具聚焦变化。

适得其反的抓取预算“技巧”

到处添加 noindex

Google 必须抓取 URL 才能看到 noindex，因此它不能省去请求。也不应随意将 robots 规则当作预算旋钮；被屏蔽的 URL 可能长期保持已知状态并留在队列中。

屏蔽 CSS 和 JavaScript

Google 需要关键资源来渲染和评估页面。屏蔽它们可能让页面看起来不完整，或不适合移动设备。

通过替换站点地图强制提高优先级

站点地图有助于发现 URL，但不会分配有保证的配额。清晰的站点地图能说明 URL 清单，却无法让单薄内容变得值得抓取。

不惜代价提高抓取速率

如果服务器缓慢或发生故障，更多抓取活动只会使问题恶化。先恢复抓取健康状况，再考虑抓取量。

大型网站的 14 天计划

第 1–3 天：建立基线

导出抓取统计信息、索引报告，以及 7–14 天的访问日志。按模板、状态、参数类型和响应时间对 URL 分组。

第 4–6 天：选出最大的三项浪费来源

通常是分面 URL、重定向链和软 404。一次修复 20 个问题会导致无法归因。

第 7–10 天：修复生成机制

从组件中移除参数链接，规范 URL 创建方式，更新站点地图生成器，并返回正确的状态码。在预发布环境测试，同时记住抓取工具评估的是公开环境。

第 11–14 天：监控发布效果

比较优先 URL 的请求数、5xx 频率、响应时间和索引变化。抓取模式不会一夜改变，但日志比汇总报告更早提供证据。

Search Console 与日志的分工

Search Console 最适合观察抓取趋势、索引状态和全站错误。日志则回答细节问题：哪个机器人在什么时间请求了哪个 URL，状态和延迟是多少。

两种来源相辅相成。Search Console 提供地图，日志显示足迹。

怎样才算成功

不要只根据 Googlebot 请求总量评估项目。一次成功的抓取效率发布，可能在请求量不变的同时，改变请求去向。

连续四到六周跟踪一份精简的评分表：

• Googlebot 请求中到达规范 200 页面的比例；
• 浪费在参数、重定向、软 404 和错误上的请求；
• 抓取最频繁模板的响应时间中位数；
• 重要 URL 从发布到首次抓取的时间；
• 已发现但尚未编入索引的有价值 URL 数量；
• 抓取高峰期间的服务器错误。

最佳结果并非孤立的“更多抓取”，而是更快发现重要变化、减少对无用变体的请求，并保持稳定的服务器性能。

季节性也很重要。大型促销前的交易平台、突发新闻期间的出版网站，或迁移后的产品目录，都可能经历暂时的需求变化。比较等效时间段，并标注发布事件，避免把繁忙的一周误当作结论。

最后，要区分抓取与索引。某个 URL 即使频繁被获取，也可能因内容单薄、重复或不够有用而仍未编入索引。一旦日志表明 Google 能可靠访问页面，就应停止调整抓取规则，转而改进页面本身。

**起点：**运行免费 SEO 审核，发现站点地图、robots、重定向和可索引性问题，然后通过服务器日志衡量大型网站的实际抓取情况。

结论

优化抓取预算，不是寻找让 Googlebot 更常访问的窍门，而是在服务器快速可靠响应的同时，把现有抓取活动引向有价值的 URL。减少浪费性的 URL 清单，确保站点地图真实，修复状态码，缩短重定向，并按优先级添加内部链接。如果网站规模尚不足以让抓取预算成为问题，提升内容质量通常是更好的投入。

参考资料：Google 搜索中心——抓取预算管理和Googlebot 文档。