Cloudflare推出新市场并默认阻止AI爬虫访问网站

全球领先的云基础设施提供商Cloudflare于近日宣布了一项重大政策变更，旨在重塑内容创作者与AI公司的关系，让网站所有者对AI爬虫抓取内容拥有更大的控制权。这一变革从本周二开始实施，Cloudflare将默认禁止其平台上的已知AI爬虫访问新网站的内容，除非网站所有者明确授权允许。这使得Cloudflare成为了首家执行权限基础模型以获取AI内容访问的主要互联网架构提供商。 自2024年起，Cloudflare就陆续推出了针对网站运营商的技术工具，使他们能够对抗AI蜘蛛的泛滥问题。例如，一键阻止所有AI机器人以及用于查看AI蜘蛛如何访问网站的数据看板等。然而，尽管有了这些初步措施，许多内容创作者仍在担心AI巨头未经允许便利用他们的作品。在过去的几个月中，人们越来越信任AI提供的答案，导致越来越少的读者直接前往内容发布的原始网站。 长期以来，搜索引擎会根据网站流量返回一定比例的广告收益给内容创作者。而AI公司的爬虫却只在训练大规模语言模型时大量攫取数据，同时几乎不产生流量回流。今年6月，Cloudflare的研究显示，谷歌的爬虫每抓取一个网页就提供14次反向链接，而OpenAI的爬虫则是每抓取一次内容才生成一条链接，相比之下，Anthropic的爬虫每抓取73,000次才会带来一个用户流量。为了应对这种不公平的情况，本周二，Cloudflare进一步推出“按次付费抓取”计划Private Beta版，允许网站所有者自行决定是否向AI公司开放爬取权限，甚至可以收取微额费用。 这一举措标志着互联网上内容分发经济模式的一个重要转折点，赋予小型到大型的内容提供者对抗AI公司滥用其工作的武器。对于已经加入该项目的大发行商和网络平台来说，“按次付费抓取”为未来开辟了一条全新的盈利道路，即根据AI训练需求定价，以换取对方的正式授权和合理补偿。此外，Cloudflare正在努力协助AI企业验证它们的爬虫程序，并使其能够“公开声明目的”，以便网站所有者做出合适的判断。 Cloudflare的新规定不仅有望改变内容创作者如何维护自己成果的方式，同时促使AI行业的健康发展。尽管存在不确定性和挑战，比如确保网站主能够获得良好回报及说服各大AI企业参与进来的难度，但业界多数人士对此持积极态度，视之为保障创意内容的重要尝试。马修·普林斯强调：“原创内容是过去一个世纪中最重要的发明之一。我们必须共同保护它。” Cloudflare是一家专注于网站安全、性能优化及其云服务平台的互联网公司，其服务目前覆盖全球大约20%的网页，拥有超过一百万的企业客户。该公司一直致力于通过技术创新解决网络安全问题，此次推出的政策正是其对该领域的又一次积极探索。