Cloudflare blockt AI-Bots und eröffnet Marktplatz für Scraping-Zugänge

Cloudflare, ein führender Anbieter von Cloud-Infrastruktur, der etwa 20% des Internets bedient, hat am Dienstag eine neue Plattform namens "Pay per Crawl" gestartet. Diese Initiative soll die Beziehung zwischen Webseitenbetreibern und KI-Unternehmen revolutionieren und den Verlegern mehr Kontrolle über ihre Inhalte geben, indem sie entscheiden können, ob KI-Crawler ihren Inhalt für Training oder andere Zwecke scrapen dürfen, und falls ja, gegen welchen Preis. Im letzten Jahr hat Cloudflare bereits Werkzeuge zur Verfügung gestellt, um den Verlegern bei der Bekämpfung von KI-Crawlers zu helfen. Dazu gehörten ein One-Click-Schalter, um alle KI-Bots zu blockieren, sowie ein Dashboard, das den Betreibern zeigte, wie häufig und zu welchem Zweck KI-Crawler ihre Seiten besuchten. CEO Matthew Prince erklärte in einem Interview 2024, dass diese Produkte den Grundstein für ein neues Marktmodell legten, bei dem Verleger für den Zugriff auf ihre Inhalte entschädigt werden. Mit "Pay per Crawl" können Webseitenbetreiber nun individuell entscheiden, welche KI-Crawler ihren Inhalt scrapen dürfen und zu welchem Preis. Sie haben die Option, KI-Crawler zu blockieren, kostenlos zuzulassen oder für jeden "Crawl" eine Gebühr zu verlangen. Cloudflare fungiert dabei als Vermittler, indem es die KI-Unternehmen belastet und die Einnahmen an die Verleger weiterleitet. Dieses Experiment wird zunächst in der Privaten Beta-Phase angeboten, und es ist unklar, ob es sich als nachhaltiges Geschäftsmodell etablieren wird, insbesondere wenn man bedenkt, dass KI-Unternehmen bislang Inhalte ohne Kosten scrapen konnten. Parallel dazu wird Cloudflare neu eingerichtete Webseiten standardmäßig vor KI-Crawlers schützen, es sei denn, die Betreiber geben explizit ihre Zustimmung. Große Verleger wie Conde Nast, TIME, The Associated Press, The Atlantic, ADWEEK und Fortune haben sich bereits für die automatische Blockierung von KI-Crawlern bei Cloudflare entschieden, um die Zukunft eines "permissionsbasierten Scraping-Modells" zu unterstützen. Die Motivation hinter diesen Maßnahmen liegt in der wachsenden Bedrohung, die KI-Crawlers für die Online-Verlage darstellen. Traditionell haben Verleger Suchmaschinen wie Google erlaubt, ihre Inhalte zu indexieren, im Gegenzug für Verweise in Google-Suchergebnissen, die wiederum in Traffic und Werbeeinnahmen mündeten. Neue Daten von Cloudflare zeigen jedoch, dass dieser Deal im KI-Zeitalter schlechter ausfällt. Google scraper durchsucht Websites 14 Mal für jede Verweisschleife, während OpenAI 17.000 Mal und Anthropic 73.000 Mal scrapen, ohne nennenswerten Traffic zurückzuführen. Dies stellt die Einnahmestrukturen der Verlage infrage, die zunehmend auf alternative Wege angewiesen sind, um ihre Inhalte zu monetarisieren. Einige große Verlage haben bereits rechtliche Schritte gegen Tech-Firmen eingeleitet, die ihre Inhalte ohne Erlaubnis für KI-Modelle nutzen, wie etwa die New York Times. Andere haben Lizenzverträge geschlossen, um ihre Inhalte für KI-Training und -Antworten zu lizenzieren. Dennoch sind solche Deals bisher nur für große Verleger interessant und es ist ungewiss, ob sie bedeutende Einnahmequellen darstellen. Cloudflare betont, dass das wahre Potenzial von "Pay per Crawl" in einer zukünftigen Welt von autonomen Agenten liegen könnte. In diesem Szenario könnten Benutzer ihren Lieblingsforschungsprogrammen einen Budget zuweisen, um die besten und relevantesten Inhalte zu erwerben, ohne direkt die Websites zu besuchen. Dies würde eine neue Form von Paywall am Netzwerkrand schaffen, die vollständig programmatisch operiert. Cloudflare hat in den vergangenen Jahren verschiedene Schritte unternommen, um KI-Crawlers zu kontrollieren. 2023 wurde ein Optionsschalter eingeführt, der Websites erlaubte, KI-Crawler zu blockieren, die die Richtlinien in der robots.txt-Datei beachten. Im selben Jahr wurde ein System eingeführt, das alle KI-Bots blockierte, unabhängig davon, ob sie die robots.txt-Richtlinien respektierten oder nicht. Im März 2024 rollte Cloudflare eine Funktion aus, die KI-Crawler in einen "AI-Labyrinth" leitet, um das Scraping ohne Erlaubnis zu erschweren. Die aktuelle Initiative von Cloudflare, AI-Crawler standardmäßig zu blockieren, ist ein wichtiger Schritt in Richtung eines permissionsbasierten Modells für den Inhaltzauf auf dem Internet. Matthew Prince betonte, dass Originalinhalte das Herzstück des Internets darstellen und es wichtig sei, sie zu schützen. Er hofft, dass dieses Modell sowohl die Kreativität und Innovation der KI-Unternehmen fördert als auch die Rechte der Content-Ersteller respektiert. Große Verlage wie Gannett, Time, BuzzFeed, The Atlantic und die Associated Press haben ihre Unterstützung für Cloudflares neue Richtlinien erklärt. Auch andere Unternehmen, darunter Stack Overflow und Quora, haben ihre Zustimmung gegeben. Diese Unterstützung zeigt, dass viele Verlage bereit sind, sich für ein neues, faireres Modell einzusetzen. Cloudflare ist einer der wenigen Anbieter, die in der Position sind, eine solche Plattform erfolgreich umzusetzen. Obwohl es noch viele Herausforderungen gibt, wie zum Beispiel die Überzeugung von KI-Firmen, an solch einem Modell teilzunehmen, oder die Sicherstellung, dass Verleger tatsächlich von den Gebühren profitieren, ist die Vision von Cloudflare ein wichtiger Beitrag zur Diskussion um die Zukunft des Internets im Zeitalter der KI. Kontext: Die Initiative von Cloudflare reflektiert eine wachsende Besorgnis in der Branche, dass KI-Unternehmen die Inhalte von Verlagen exploitieren, ohne dafür zu bezahlen. Cloudflare, mit seinem breiten Customer-Base und technischen Expertise, ist gut positioniert, um Lösungen zu entwickeln, die sowohl die Interessen der Verleger als auch die der KI-Industrie berücksichtigen. Die Frage bleibt, ob andere Tech-Giganten wie Google und OpenAI bereit sein werden, an einem solchen Modell mitzuwirken, und ob es langfristig zu einem gerechteren Umgang mit Online-Inhalten führen wird.