Cloudflare AI流量管控
2026年7月1日
核心变化
| 类别 | 说明 | 默认(9.15后) |
|---|---|---|
| Search | 搜索引擎索引 | 允许 |
| Agent | 代表用户操作的AI(如ChatGPT) | 广告页屏蔽 |
| Training | 模型训练数据采集 | 广告页屏蔽 |
关键规则
- 多用途爬虫(如Googlebot)适用最严格规则
- 现有客户可提前配置,9月15日前opt-out
- 同步推出Monetization Gateway(x402稳定币协议)
背景
Cloudflare CEO Matthew Prince指出:2026年6月Bot流量首次超过人类流量(原预期2027年底)。
AI Master 解读
核心事件
Cloudflare为所有客户(含免费)提供AI流量分类管控能力。
行业影响
影响分析: 1)AI公司被要求按用途分离爬虫,Google等混合爬虫将面临最严格规则;2)内容付费时代加速,Cloudflare同步推出Monetization Gateway(x402协议);3)CEO Matthew Prince称Bot流量已首次超过人类流量。
AI Master 建议
AI Agent开发者需关注爬虫合规,建议为Agent配置独立User-Agent并遵守站点策略。
