内容版权2026-07-01·Cloudflare

Cloudflare新规:AI公司必须分离搜索和训练爬虫

Cloudflare宣布9月15日起,AI公司必须将搜索索引爬虫与训练/Agent爬虫分离,否则将被默认阻止访问出版商网站。此举迫使AI公司就训练数据进行许可谈判,从根本上改变AI训练数据的获取方式。

Cloudflare AI爬虫新规

2026年7月1日,Cloudflare宣布。

核心要求

  • 9月15日截止
  • 搜索爬虫与训练爬虫分离
  • 违规者默认阻止

影响范围

  • 所有AI训练公司
  • 出版商网站内容
  • 开源模型训练数据

行业变革

  • 训练数据从免费到付费
  • 许可谈判成为常态
  • 内容版权意识提升

AI Master 解读

核心事件

Cloudflare在基础设施层面规范AI爬虫行为。

行业影响

影响分析: 这是将AI爬虫从'免费获取'转向'付费市场'的关键一步。训练数据成本将上升。

AI Master 建议

AI公司应尽快建立数据许可机制,开源模型也可能面临训练数据合规压力。