Anthropic遭指过度抓取网页,抓取与引流比例失衡
根据Cloudflare最新披露的爬取与回访数据,Anthropic在七月初的网络数据采集行为呈现极端失衡状态。其爬虫每次向被访问网站发送流量指引的同时,会反复抓取网页约两千八百次,爬取与回访比率高达2800:1。该比例虽较四月初有所下降,但仍显著高于OpenAI、Perplexity及微软等主要竞争对手,仅DuckDuckGo等少数平台勉强维持三比一的相对平衡。 此项指标直观反映了生成式AI对传统互联网经济模式的冲击。长期以来,网站通过接受免费抓取换取搜索引擎流量以实现商业化,而AI直接提供答案的交互方式大幅削弱了用户访问原始站点的意愿,导致内容创作者的经济激励持续萎缩。Anthropic虽长期标榜伦理优先的AI研发理念,并多次公开指责同行利用模型输出反推自身模型属于违规的蒸馏攻击,但其对海量网络数据的高效抓取与无偿使用,实质构成了与其批评对象高度相似的单向数据抽取行为。 随着AI企业对外部内容依赖度的不断攀升,数据交换的公平性与合规性已成为行业核心议题。Anthropic在推进技术迭代的同时,如何平衡数据采集效率与网络生态的可持续发展,将直接关乎其长期战略信誉。
