HyperAIHyperAI

Command Palette

Search for a command to run...

Anthropic : scraping massif du web, ratio critique

Selon les dernières données de Cloudflare publiées pour la semaine du 1er au 7 juillet 2024, Anthropic se distingue comme le principal utilisateur intensif de la toile parmi les entreprises d'intelligence artificielle. Le ratio entre les visites de ses robots d'indexation et les renvois vers les sites web source s'établit à environ 2 800 pour un. Cette proportion, bien qu'en baisse par rapport au mois d'avril, reste extrêmement élevée et place l'entreprise largement devant OpenAI, Perplexity, Microsoft et Google. À l'inverse, le moteur de recherche DuckDuckGo maintient un équilibre nettement plus respectueux de l'économie du web, avec seulement trois visites pour un renvoi. Ce ratio, mesuré par Cloudflare, sert de baromètre pour évaluer si les géants de l'IA contribuent ou fragilisent le modèle économique traditionnel de la toile. Pendant des décennies, les propriétaires de sites autorisaient le balayage gratuit de leurs pages en échange d'un trafic généré par les moteurs de recherche. Dans l'ère de l'IA générative, cet accord s'efface progressivement. Les chatbots et les moteurs de réponse directe fournissent des informations instantanées aux utilisateurs, réduisant drastiquement les visites vers les sites sources. Cette évolution menace la viabilité financière des créateurs de contenu en ligne. Bien qu'Anthropic se positionne publiquement comme le leader le plus éthique du secteur, ses pratiques de collecte de données soulèvent des interrogations. L'entreprise a récemment dénoncé les techniques de distillation employées par ses concurrents, qui récupèrent les sorties de ses modèles pour améliorer leurs propres produits. Ce comportement présente un parallèle frappant avec sa propre stratégie de scraping, souvent entreprise sans le consentement explicite des détenteurs de contenu, afin d'entraîner ou d'affiner ses systèmes. Anthropic a précédemment contesté la méthodologie de Cloudflare, affirmant ne pouvoir vérifier les calculs et soutenant que ses nouvelles fonctionnalités de recherche augmenteraient effectivement les renvois vers les sites externes. Malgré cet échange de vues, les chiffres actuels illustrent une tension croissante dans l'industrie technologique. Alors que l'intelligence artificielle nécessite des volumes massifs de données web pour progresser, la durabilité de l'écosystème en ligne demeure en jeu. L'équilibre entre innovation technologique et rémunération juste des créateurs de contenu reste l'un des principaux défis à résoudre pour l'avenir du web ouvert.

Liens associés