Cloudflare AI 爬虫管理升级
2026 年 7 月 1 日，Cloudflare 推出 AI 爬虫精细管控。
三类爬虫分类
| 类型 | 用途 | 新默认值 |
|---|---|---|
| Search Bot | 搜索引擎索引 | ✅ 允许 |
| Agent Bot | AI Agent 数据抓取 | ❌ 阻止（广告页） |
| Training Bot | 模型训练数据采集 | ❌ 阻止（广告页） |
时间线
- 2026 年 7 月 1 日：新功能上线，手动配置
- 2026 年 9 月 15 日：新域名自动启用限制
影响
- AI Agent 数据获取成本上升
- 内容创作者获得更多控制权
- Search 与 Agent/Training 的界限将引发争议
AI Master 解读
核心事件
AI 爬虫管理从「全有全无」进化为「精细分类」。
行业影响
影响分析： 这是 AI 内容生态的重要里程碑。此前网站主只能选择「允许所有爬虫」或「全部屏蔽」。现在区分三类：Search（允许，带来流量）、Agent（默认阻止，消耗资源）、Training（默认阻止，商业价值被提取）。这反映了 AI 公司与内容创作者之间的博弈进入新阶段。
AI Master 建议
AI Agent 的数据获取成本将持续上升。RAG 系统需要规划合法数据源策略。
