Cloudflare bloque les bots IA par défaut et propose un marché pour les sites web.

Cloudflare, un fournisseur d'infrastructure cloud qui gère et protège environ 20 % du trafic web, a annoncé mardi le lancement d'un nouveau marché qui vise à redéfinir la relation entre les propriétaires de sites web et les entreprises d'intelligence artificielle (IA). Cette initiative, nommée Pay per Crawl, permet aux éditeurs de contenu de contrôler la manière dont les bots d'IA accèdent à leurs sites et de se faire rémunérer pour chaque visite effectuée par ces bots. Développements Clés Au cours de l'année écoulée, Cloudflare a lancé plusieurs outils pour aider les éditeurs à gérer les bots d'IA. Ces outils incluent une solution en un clic pour bloquer tous les bots d'IA et un tableau de bord pour surveiller les visites des bots. Dans une interview de 2024, Matthew Prince, PDG de Cloudflare, a expliqué que ces produits préparaient le terrain pour un nouveau type de marché. Le marché Pay per Crawl est maintenant en phase de bêta privée. Les propriétaires de sites peuvent choisir de permettre aux bots d'IA de scraper leur site moyennant un micro-paiement pour chaque visite, de les laisser accéder gratuitement, ou de les bloquer complètement. Cloudflare affirme que ses outils permettront aux éditeurs de savoir si les bots sont utilisés pour former des modèles d'IA, apparaître dans les réponses d'IA, ou autres usages. Changements de Défaut Mardi, Cloudflare a également indiqué que les nouveaux sites web configurés avec son service bloqueront par défaut tous les bots d'IA connus. Les propriétaires de sites devront explicitement autoriser les bots d'IA à accéder à leur contenu. Plusieurs grands éditeurs, tels que Conde Nast, TIME, The Associated Press, The Atlantic, ADWEEK, et Fortune, ont signé avec Cloudflare pour bloquer les bots d'IA par défaut, soutenant ainsi l'approche axée sur le consentement de l'entreprise. Implications Économiques Historiquement, les éditeurs en ligne ont permis à Google de scraper leurs sites en échange de références via Google Search, ce qui leur procurait du trafic et, par extension, des revenus publicitaires. Cependant, les données récentes de Cloudflare suggèrent que les éditeurs obtiennent un moins bon rapport dans l'ère de l'IA. En juin, Cloudflare a constaté que le bot de Google scrapeait ses sites 14 fois pour chaque référence, tandis que ceux d'OpenAI et d'Anthropic le faisaient respectivement 17 000 et 73 000 fois pour une seule référence. De plus, des entreprises comme OpenAI et Google développent des agents d'IA conçus pour visiter les sites web au nom des utilisateurs, collecter des informations et les livrer directement. Si ces outils deviennent courants, cela aura de grandes répercussions sur les éditeurs qui dépendent des visites de leurs lecteurs pour générer des revenus. Fonctionnement de Pay per Crawl Pour participer au marché expérimental de Cloudflare, les entreprises d'IA et les éditeurs doivent disposer de comptes Cloudflare. Dans leurs comptes, ils peuvent fixer les tarifs auxquels ils souhaitent acheter et vendre des "visites" du contenu de l'éditeur. Cloudflare agit alors en tant qu'intermédiaire, facturant l'entreprise d'IA et redistribuant les gains à l'éditeur. Prince a souligné que cette initiative vise à protéger le contenu original tout en favorisant l'innovation responsable. "Original content is what makes the internet one of the greatest inventions in the last century, and we have to come together to protect it," a-t-il déclaré. "AI crawlers have been scraping content without limits. Our goal is to put the power back in the hands of creators, while still helping AI companies innovate." Commentaires d'Experts Les experts et les acteurs de l'industrie saluent l'initiative de Cloudflare, bien qu'ils reconnaissent que la mise en place d'un tel marché exige une participation massive des éditeurs et des entreprises d'IA. Certains éditeurs, comme le New York Times, ont déjà intenté des poursuites contre les entreprises technologiques pour avoir formé leurs modèles d'IA sans autorisation. D'autres, en revanche, ont conclu des accords pluriannuels pour licencier leur contenu à des fins de formation d'IA et pour le faire apparaître dans les réponses des chatbots d'IA. Néanmoins, ces accords ne sont actuellement conclus que par les grands éditeurs, et il n'est pas clair qu'ils représentent une source de revenus significative. Cloudflare, avec sa position dominante sur le marché de l'infrastructure cloud, est l'une des rares entreprises capables de mettre en place un marché de ce genre. Perspectives à Long Terme La vision de Cloudflare pour Pay per Crawl pourrait se réaliser pleinement dans un avenir où les agents d'IA seront largement utilisés. Par exemple, un agent d'IA pourrait être chargé de synthétiser des recherches scientifiques ou juridiques, ou de trouver le meilleur restaurant à Soho, en utilisant un budget pour acquérir le meilleur et le plus pertinent contenu. En conclusion, Cloudflare cherche à rétablir un équilibre économique et moral dans l'ère de l'IA. Son initiative, bien que ambitieuse, propose une solution qui pourrait potentiellement bénéficier à tous les acteurs, en garantissant que les créateurs de contenu sont récompensés pour leur travail tout en soutenant l'innovation technologique.