美国最大数字与纸质出版集团之一People, Inc.（前身为Dotdash Meredith）的CEO尼尔·沃格尔（Neil Vogel）在本周举行的《财富》Brainstorm Tech峰会上公开指责谷歌为“不良行为者”，称其利用同一爬虫程序同时抓取网站内容用于搜索引擎和训练AI模型，涉嫌窃取出版商内容。 沃格尔指出，谷歌目前使用单一爬虫系统，既用于索引网页以维持搜索引擎流量，也用于收集内容训练其AI产品。他强调，这种做法让谷歌既能从搜索中获取流量，又能免费使用出版商原创内容来竞争，形成不公平优势。他提到，三年前谷歌搜索曾贡献公司65%的流量，如今已降至“20%多一点”，甚至在几年前一度高达90%。 尽管公司用户和收入持续增长，沃格尔表示：“我并不抱怨，但问题在于——你不能拿我们的内容去和我们竞争。” 为在AI时代争取更多议价能力，沃格尔领导的People, Inc.已采用云服务公司Cloudflare推出的工具，主动屏蔽未付费的AI爬虫。此举迫使多家大型大语言模型（LLM）公司主动接触该集团，探讨内容合作。尽管尚未签署正式协议，但沃格尔称进展已远超此前。 然而，谷歌爬虫无法被屏蔽，因为一旦阻止，其网站将无法被谷歌搜索引擎索引，导致剩余的搜索流量彻底断绝。沃格尔直言：“他们知道这一点，却不拆分爬虫，因此他们是故意的‘不良行为者’。” 其他媒体人士也持类似观点。Ankler Media首席执行官兼主编简妮斯·明（Janice Min）称谷歌和Meta等科技巨头长期是“内容窃贼”。她表示，目前不看好与AI公司合作，因此公司也已屏蔽AI爬虫。 Cloudflare首席执行官马修·普赖斯（Matthew Prince）认为，未来监管可能推动AI公司改变行为。他质疑以旧有的版权法对抗AI训练是否有效，指出AI生成内容本质上是衍生作品，而现有判例（如Anthropic与出版商和解案）反而支持了这类使用行为。他甚至预言，到明年此时，谷歌将不得不开始为爬取内容向创作者付费。