Cloudflare hat ‘AI Crawl Control’ zur allgemeinen Nutzung bereitgestellt. Das Tool zielt darauf ab, Urhebern mehr Kontrolle über den Zugriff und die Nutzung ihrer Inhalte durch KI-Bots zu geben.
Bisher standen viele Content Creators vor der Entscheidung, KI-Crawler entweder zu blockieren oder den Zugriff ohne Vergütung zu erlauben. Cloudflare möchte mit AI Crawl Control einen neuen Kommunikationsweg zwischen Urhebern und KI-Crawlern schaffen.
Anpassbare 402-Statusmeldungen ermöglichen direkte Verhandlungen
Ein wesentliches Feature von AI Crawl Control ist die Möglichkeit, anpassbare 402 HTTP-Statuscodes zu versenden. Der 402-Statuscode ("Payment Required") dient als Brücke für kommerzielle Vereinbarungen. Wenn ein KI-Crawler auf Inhalte zugreifen möchte, kann der Websitebetreiber eine individuelle 402-Nachricht senden, die Kontaktinformationen für Lizenzanfragen enthält. Beispiele hierfür sind Nachrichten wie "Um auf diesen Inhalt zuzugreifen, senden Sie eine E-Mail an Diese E-Mail-Adresse ist vor Spambots geschützt! Zur Anzeige muss JavaScript eingeschaltet sein!" oder "Premium-Inhalte sind über API unter api.beispiel.de verfügbar".
Sie benötigen SEO-Beratung für Ihre Website?
Zukünftig sollen weitere Parameter in die 402-Antworten integriert werden können, die Crawlern Informationen über den Wert, die Aktualität und die Lizenzbedingungen der Inhalte direkt übermitteln.
Nutzung und Verfügbarkeit der Funktionen
Die erweiterten Funktionen von AI Crawl Control stehen zahlenden Cloudflare-Kunden zur Verfügung. Diese Kunden können einzelne Bots auswählen, die sie blockieren möchten, und dabei die konfigurierbaren 402-Antworten senden. Das ist nicht auf Nutzer von Pay Per Crawl beschränkt. Diese Funktion von Cloudflare, die sich noch in der Beta-Phase befindet, bietet zusätzlich eine Infrastruktur zur automatischen Monetarisierung des Crawler-Zugriffs mit transparenten, nutzungsbasierten Preisen.
