クラウドフレア、AIボットによるスクレイピングに対抗する新マーケットプレイスを開始、デフォルトでAIクローラーをブロックし、ウェブサイトがアクセス料金を請求可能に

クラウドフレア、インターネットインフラストラクチャの主要プロバイダーであり、世界のWebトラフィックの約20%を管理している企業が、ウェブサイト運営者とAI企業の関係を再構築する新しいマーケットプレイス「Pay per Crawl」の発表を行った。このサービスはウェブサイト運営者がAIクローラー（ウェブコンテンツをスクレイピングするために使用される自動プログラム）によるコンテンツ利用を個別に許可し、料金を設定できることを特徴としており、結果としてウェブサイト運営者は自分たちのコンテンツに対するコントロールを取り戻すことができる。また、クラウドフレアは新規に設定されるすべてのドメインに対して、AIクローラーをデフォルトでブロックするという新たな方針を打ち出した。 主な関係者や組織 主要な関係者は以下である： - Cloudflare: インターネットのインフラストラクチャを提供する企業 - ウェブサイト運営者: コンテンツ创作者や出版社が含まれる - AI企業: Google, OpenAI, Anthropicなど 出来事の時系列と背景 2023年以降、ウェブサイト運営者はAIクローラーによるコンテンツスクレイピングに対抗するため、クラウドフレアが提供するツールを利用してきた。このツールにはAIボットを一括してブロックできる機能や、AIクローラーの訪問状況を確認するダッシュボードが含まれていた。しかし、これらのツールだけでは十分な解決策とならず、AI企業のコンテンツ利用に関する透明性と公正さが求められていた。 出来事の原因、経過、結果 AIの急速な発展に伴い、AI企業はウェブサイトから大量のデータを収集するためにクローラーを利用している。その結果、多くのウェブサイト運営者が自らのコンテンツが無断で使用されていることに不安を抱くようになり、さらにはAIの情報源として利用されることで広告収益が減少するといった課題に直面している。これを受けて、クラウドフレアは「Pay per Crawl」を立ち上げたことを発表した。これにより、ウェブサイト運営者は個々のAIクローラーにアクセス権限を付与し、利用料を設定することができるようになる。 重要な事実、突破口、転機 デフォルトでのブロック: 新規ドメインはデフォルト設定でAIクローラーをブロックする 個別の許可: 運営者は個々のAIクローラーにアクセス権限を付与できる 料金設定: 運営者は毎回のクローリングに対してマイクロペイメントの形で課金できる 透明性の向上: 運営者はクローラーがどのような目的でコンテンツを利用しているか確認できる 関連する背景情報 クラウドフレアがこの新たな政策を導入した背景には、ウェブサイトの経済モデルが根本的に変化しているという現実がある。従来はGoogleの検索エンジンを介してウェブサイトにtraficが送られ、これが広告収益につながっていた。しかし、AIチャットボッチャートGPTやGoogleのAIエージェントが情報収集手段として主流となり、スクレイピングの頻度が高くならない限り-traficが増えないという新たな問題が出ている。例えば、オープンAIのクローラーは1回のtrafficに対して1万7千回のスクレイピングを行い、アンスラピックの場合は7万3千回にものぼる。 背景の補足 クラウドフレアCEOのマシュー・プリンス氏はAxios Liveイベントで、「AIへの信頼は過去6ヶ月で高まっているが、元のコンテンツを読む人は減っている」と述べた。また、プリンス氏は「オリジナルコンテンツが存在することで、インターネットは20世紀最大の発明品の一つとなっている。私たちは一緒にこのコンテンツを保護しなければならない」と語り、今回の措置がインターネットの自由と活気に向けたものであると強調した。今回のイニシアチブはAIの革新を停止しないようにしながら、コンテンツの知的財産権に適切な対価を支払うことで健全な生態系を構築することを目指している。 クラウドフレアのプロフィール クラウドフレアは、世界のウェブトラフィックの約20%を管理し、セキュリティ、パフォーマンス、レガシーインフラストラクチャの最適化を提供するインターネットインフラストラクチャの大手プロバイダーである。同社はこれまでにもAIクローラー対策として様々なツールを提供していたが、此次の一連の措置はより根本的な解决方案を目指すものであり、ウェブコンテンツの有料利用を推進する。 広範な影響と対応 クラウドフレアの措置は、大手出版社（コンデ・ナスト、タイム、アトランティック、AP通信、フォーチュンなど）やオンラインプラットフォーム（Stack Overflow、Quoraなど）から支持を受けている。これらの出版社やプラットフォームは、AIの普及によって自らのコンテンツが適切に報酬を得られていないと考えている。今後、ウェブサイト運営者とAI企業との間で新たな取引モデルが形成され、ウェブコンテンツの経済価値が見直される可能性がある。ただし、クラウドフレアのイニシアティブが広く受け入れられ、具体的な収益モデルとして成功するかどうかはまだ不明瞭である。ただし、クラウドフレアはAI企業と連携してクローラーの正当性を確認し、利用目的を明確にするための取り組みを続けている。