„Pay per Crawl“: Cloudflare will AI-Scraping zu Geld machen
Der Cloud-Infrastruktur-Anbieter Cloudflare, der nach eigenen Angaben 20 Prozent des Webs bedient, hat am Dienstag einen neuen Marktplatz angekündigt, der die Beziehung zwischen Website-Betreibern und KI-Unternehmen neu gestalten soll. Die Plattform soll Publishern mehr Kontrolle über ihre Inhalte ermöglichen.
Cloudflare-CEO Matthew Prince ist vor kurzem bereits mit einer alarmierenden Prognose für die Zukunft des Internets aufgefallen: Künstliche Intelligenz könnte das fundamentale Geschäftsmodell des Webs zerstören, sagte er damals (mehr dazu hier).
Neuer Ansatz für KI-Crawler
Das System trägt den Namen „Pay per Crawl“ und startet als experimentelle private Beta-Version. Website-Besitzer können damit KI-Crawlern individuell erlauben, ihre Seiten gegen eine festgelegte Gebühr zu durchsuchen – eine Mikrozahlung für jeden einzelnen „Crawl“. Alternativ können sie KI-Crawlern kostenlosen Zugang gewähren oder diese vollständig blockieren.
Nach Angaben von Cloudflare ermöglichen die Tools Website-Betreibern zu erkennen, ob Crawler ihre Seiten für KI-Trainingsdaten, für Erscheinungen in KI-Suchantworten oder für andere Zwecke durchsuchen.
Hintergrund und Motivation
Das Unternehmen hatte bereits im vergangenen Jahr Tools für Publisher eingeführt, um auf die zunehmende Verbreitung von KI-Crawlern zu reagieren. Dazu gehörten eine Ein-Klick-Lösung zum Blockieren aller KI-Bots sowie ein Dashboard zur Überwachung von KI-Crawler-Besuchen.
Die Ankündigung erfolgt zu einem Zeitpunkt, an dem sich Nachrichtenverlage existenziellen Fragen zur Reichweite ihrer Leser stellen müssen, da der Traffic von Google Search abnimmt und KI-Chatbots an Popularität gewinnen.
Branchenreaktion und Partnerschaften
Mehrere große Publisher, darunter Conde Nast, TIME, The Associated Press, The Atlantic, ADWEEK und Fortune, haben sich Cloudflare angeschlossen, um KI-Crawler standardmäßig zu blockieren. Dies unterstützt das übergeordnete Ziel des Unternehmens eines „erlaubnisbasierten Ansatzes zum Crawling“.
Neue Websites, die mit Cloudflare eingerichtet werden, blockieren künftig standardmäßig alle KI-Crawler. Website-Betreiber müssen bestimmten KI-Crawlern explizit die Berechtigung zum Zugriff auf ihre Seite erteilen.
Aktuelle Crawling-Verhältnisse
Cloudflare veröffentlichte Daten, die das Ungleichgewicht zwischen Crawling-Aktivität und Traffic-Verweisung verdeutlichen. Im Juni 2024 durchsuchte Googles Crawler Websites 14 Mal für jede Verweisung. OpenAIs Crawler durchsuchte Websites 17.000 Mal pro Verweisung, während Anthropic 73.000 Mal pro Verweisung crawlte.
Zur Teilnahme an Cloudflares experimentellem Marktplatz müssen sowohl KI-Unternehmen als auch Publisher über Cloudflare-Konten verfügen. In ihren Konten können beide Parteien Preise festlegen, zu denen sie einen „Crawl“ des Publisher-Inhalts kaufen oder verkaufen möchten. Cloudflare fungiert als Vermittler bei diesen Transaktionen und berechnet dem KI-Unternehmen Gebühren, während es die Einnahmen an den Publisher weiterleitet.
Der Marktplatz erfordert die Beteiligung sowohl von Publishern als auch von KI-Unternehmen, wobei noch unklar ist, ob Publisher faire Konditionen erhalten werden und ob KI-Firmen zur Teilnahme bereit sind, da sie derzeit Inhalte kostenlos scrapen können. Und:Cloudflare als Vermittler will an der Sache natürlich auch mitverdienen.
