着陆页抓取：保护敏感数据，但不承诺保密

公开可访问的着陆页通常可以被其他方查看和复制。防滥用措施可能减少有害自动请求，但无法保证竞争对手永远看不到公开广告、价格或页面内容。

明确需要处理的危害

区分普通浏览、高资源消耗的抓取、未授权访问和广告点击滥用。每一种都需要不同证据与控制。真正私密的信息应置于授权验证之后；robots.txt 和隐蔽 URL 都不是访问控制。

调查滥用请求模式

审核端点负载、时间特征、响应模式和运行影响。应用 IP 规则前，核实 CDN 后的客户端地址处理。数据中心或 VPN 标签不能识别竞争对手，许多合法服务也使用这类网络。SearchBastion 网络信号能帮助确定审核优先级，但不能指出抓取者的运营方。

示例：公开目录被抓取得过快

假设自动请求反复耗尽高资源消耗的目录端点。针对记录下来的模式，测试速率限制、缓存策略或适当验证挑战。确认正常浏览和必要集成仍能工作。保留回滚条件，并审核由此产生的错误。这是运行应对示例，不是隐藏目录的承诺。

理解屏蔽的限制

导出的屏蔽列表不会自动安装到 CDN、服务器或广告账户。网络身份会变化，广泛限制可能影响合法潜在客户。屏蔽着陆请求也不一定能阻止此前的广告点击或其计费。

评估有效任务完成和服务器影响，不要只因流量总数下降而庆祝。没有独立证据，不要声称已验证的保护百分比或避免损失。

使用 IP Checker了解网络背景。OWASP 自动化威胁项目提供了对滥用行为分类的框架，而不是把每个自动客户端都等同于攻击者。