Cloudflare推出一项名为“内容信号政策”（Content Signals Policy）的新框架，旨在赋予网站所有者、出版商和内容创作者更大权力，控制AI系统如何访问和使用其网络内容。此举直指谷歌的AI摘要功能（AI Overviews），试图打破其在数据采集上的优势。 随着搜索引擎向AI驱动的“答案引擎”转型，越来越多AI模型直接从网页抓取内容生成回答，而不再引导用户返回原始来源。这种模式威胁了互联网原有的流量经济——内容创作者依赖点击和浏览获取收益。目前，OpenAI等公司已为搜索和AI用途分别部署独立爬虫，但谷歌的主爬虫同时服务于传统搜索与AI摘要，形成独特优势。 Cloudflare首席执行官马修·普林斯（Matthew Prince）表示：“每个AI答案引擎都应遵守相同规则。谷歌将搜索爬虫与AI引擎合并，构成不公平优势。”他强调，新政策赋予robots.txt协议法律效力，尤其对谷歌具有约束力。 目前，Cloudflare服务着全球约20%的网站，超过380万个域名已使用其robots.txt管理功能。新政策引入更精细的控制选项，允许网站明确选择是否允许AI爬虫访问内容，并区分三种用途：传统搜索、AI输入（如聊天机器人实时抓取摘要）和AI训练（用于模型预训练）。网站可针对不同用途设置“允许”或“禁止”选项。 普林斯指出，该政策将自动应用于数百万网站，对谷歌构成现实选择：要么停止爬取这些站点，损失大量内容；要么分离爬虫，为搜索和AI分别设置独立机器人，以符合新规则。 Cloudflare强调，此举并非阻止AI发展，而是确保网络生态可持续，保护创作者权益。普林斯表示：“互联网不能等待，创作者的原创内容不应被他人无偿用于盈利。” 谷歌方面回应称，其AI搜索功能仍会为网站带来流量，甚至可能提升流量质量，并强调其对网络健康发展的重视。但Cloudflare的举措无疑为内容版权与AI发展之间的博弈注入新变量。