Cloudflareが公表した最新データにより、生成AI企業がウェブコンテンツをどのように活用しているかの実態が浮き彫りとなった。7月1日から7日までの週間データによると、Anthropicのクローラーはウェブサイトへのトラフィック参照1件あたり約2,800回ものページを収集している。4月上旬の約8,800倍、5月初旬の約24,700倍から改善傾向にあるものの、OpenAIやPerplexity、Microsoft、Googleといった他社を大きく引き離す突出した数値であり、依然として業界内では異様な収集姿勢が続いていると指摘されている。比較的大規模なサイトとのバランスが取れているとされるのはDuckDuckGoのみで、参照1回あたり3回の収集にとどまっている。 Cloudflareが提供するクローリング対参照比は、AI時代のウェブ経済モデルが崩壊しつつあることを示す重要な指標である。従来のウェブでは、コンテンツ作成者はサイトへの無料クローリングを許可する代わりに検索エンジンからのトラフィックという経済的見返りを得てきた。しかし、生成AIはユーザーに直接回答を提供する傾向が強いため、発信元のウェブサイトへの訪問が減少し、高品質なコンテンツ制作のインセンティブが脅かされている。 Anthropicは自社の開発指針として倫理的なAI構築を前面に打ち出しているが、このデータは同社の実態とのズレを問いかけるものとなっている。同社は近年、競合他社が自社のモデル出力を学習に利用する手法を蒸留攻撃と呼び、利用規約違反と非難してきた。しかし、ウェブサイトからのコンテンツ収集を強引に進め、自社製品やモデルの改善に活用している現在の姿勢は、同社が批判する行為と類似しているとの分析もなされている。AnthropicはCloudflareの計算手法を裏付けできないとして反論しており、自社検索機能の導入により参照は増加していると主張している。 AI企業の学習データ確保と、ウェブエコシステムの持続可能性をいかに両立させるかは、今後のAI規制や業界協調の重要な課題となる見込みである。