Cloudflare-Chef fordert Trennung von Googles Such- und KI-Crawlern in UK
Cloudflare-Chef Matthew Prince ist in London, um die britische Wettbewerbsbehörde CMA dazu aufzufordern, Google zu zwingen, seine Suchmaschine und seine KI-Web-Crawler zu entkoppeln. Hintergrund ist die wachsende Sorge, dass Google mit seiner dominanten Stellung in der Suchmaschinenbranche einen unfairen Vorteil bei der Entwicklung von KI-Systemen genießt. Cloudflare, ein führender Anbieter von Web-Infrastruktur, hat kürzlich eine Plattform eingeführt, auf der Websites AI-Bots für den Zugriff auf Inhalte entweder bezahlen lassen können – ein Schritt, der die Kontrolle über digitale Inhalte stärken soll. Prince argumentiert, dass Google durch die Nutzung desselben Crawlers für Suchmaschinen und KI-Systeme eine monopolartige Position erlangt, die anderen KI-Unternehmen wie OpenAI, Anthropic oder Perplexity den Zugang zu Inhalten erschwert. Die CMA hatte Anfang des Monats Google bereits als „substantial and entrenched“ im Such- und Werbemarkt klassifiziert, was die Möglichkeit eröffnet, auch in Bereichen wie Google AI Overviews, AI Mode oder den Discover-Feed strengere Regulierungen durchzusetzen. Prince betont, dass Cloudflare als neutrale Plattform – nicht selbst ein KI-Unternehmen oder Medienbetrieb – besonders gut geeignet sei, Empfehlungen zu geben. Mit 80 Prozent der weltweit größten KI-Unternehmen als Kunden verfüge das Unternehmen über einen einzigartigen Einblick in die Strukturen der Branche. Er kritisiert, dass Google behauptet, aufgrund seiner 27-jährigen Geschichte das Recht zu haben, jeglichen Webinhalt kostenlos zu nutzen, um seine KI-Modelle zu trainieren. Die Kombination von Such- und KI-Crawling sei zwingend: Wer den Zugriff für KI blockiert, verliert automatisch die Suchindexierung – und damit bis zu 20 Prozent des Umsatzes, besonders für Medienunternehmen. Zusätzlich sei die Blockierung des Crawlers auch für Werbeeinnahmen katastrophal, da Google damit auch seine Ad-Safety-Systeme deaktiviert, was den gesamten Werbebetrieb lahmlegt. Prince warnt, dass dies die Wettbewerbschancen für andere KI-Player praktisch ausschaltet. Sein Vorschlag: eine Entkoppelung der Crawling-Systeme, sodass KI-Unternehmen gezielt und fair Inhalte erwerben können – ähnlich wie in einem Marktplatz. So könnten Tausende von KI-Unternehmen mit Millionen von Inhaltserzeugern kooperieren, was zu mehr Innovation und Transparenz führen würde. Cloudflare hat der CMA bereits detaillierte technische Analysen zur Funktionsweise des Google-Crawlers vorgelegt, die belegen, warum eine Nachahmung für andere nicht möglich ist. Auch Neil Vogel, CEO des US-Verlagsgrößten People, Inc., unterstützt diese Kritik. Er bezeichnet Google als „bad actor“ und betont, dass Medienunternehmen keine echte Wahl hätten, solange die Crawling-Systeme nicht getrennt seien. Sein Unternehmen nutzt bereits Cloudflares Lösung, um nicht zahlende KI-Bots auszuschließen – und berichtet von laufenden Verhandlungen mit mehreren großen LLM-Anbietern. Die Initiative zeigt, dass sich eine breite Front aus Medien und Infrastrukturanbietern gegen die Monopolstellung von Google im KI-Zeitalter formiert. Die CMA hat mit ihrer Aufmerksamkeit auf Google ein wichtiges Signal gesetzt. Experten sehen in der Entkoppelung von Such- und KI-Crawling eine notwendige Maßnahme, um einen fairen Wettbewerb zu gewährleisten. Cloudflare, das als neutrale Plattform agiert, könnte dabei eine Schlüsselrolle spielen, indem es Transparenz und Marktzugang fördert. Die Entwicklung könnte auch Vorbild für andere Regulierungsbehörden weltweit werden, insbesondere in der EU, wo der Digital Markets Act (DMA) bereits ähnliche Vorbehalte gegenüber Tech-Giganten aufwirft.
