Cloudflare ermöglicht das Blockieren von KI-Bots: Schutz vor Datenscraping

Toms Wochentipp: Eigene Inhalte vor KI-Zugriffen schützen KI-Bots mit Cloudflare blockieren

30.08.2024 Von Thomas Joos 1 min Lesedauer

Anbieter zum Thema

Cloudflare Germany GmbH

netfiles GmbH

Cloudgermany.de GmbH

STACKIT GmbH & Co. KG

Kunden von Cloudflare können den Zugriff von KI-Bots blockieren. Dadurch lassen sich eigene Webinhalte vor Zugriffen von KI-Bots schützen. Der Schutz ist auch in den kostenlosen Plänen enthalten.

KI-Nutzung ja, aber bitte nicht mit meinen Daten trainieren!(Bild: frei lizenziert Michal Jarmoluk / Pixabay) — KI-Nutzung ja, aber bitte nicht mit meinen Daten trainieren!
(Bild: frei lizenziert Michal Jarmoluk / Pixabay)

Unternehmen, die ihre Webseiten durch Cloudflare schützen lassen, können jetzt auch KI-Bots blockieren und dadurch sicherstellen, dass KI-Dienste nicht die Daten abgreifen und für das Training von KI-Diensten nutzen. Dieses Verfahren mit der Bezeichnung Scraping ermöglicht Entwicklern von Large-Language-Modells (LLM) das Training von Seiten im Internet. Laut Cloudflare will der größte Teil der Kunden den Zugriff von KI-Bots blockieren.

LLMs müssen trainieren, aber es sollte Grenzen geben

LLMs benötigen zwar Zugriffe auf externe Daten, allerdings übertreiben viele LLM-Entwickler damit. Erst vor kurzem wurde Google zu einer Strafe von 250 Millionen Euro verdonnert, weil der Konzern von französischen Medienhäuser in zu großem Umfang Daten für das Training abgegriffen hat.

Bei den KI-Bots geht es auch nicht nur um LLMs von Open-Source-Entwicklern oder Unternehmen wie Google oder OpenAI. Auch Konzerne wie Bytedance (TikTok) sammeln Daten im großen Stil. Nach einer Analyse von Cloudflare sind Bytespider, Amazonbot, ClaudeBot und GPTBot die vier wichtigsten KI-Crawler.

Cloudflare ermöglicht jetzt seinen Kunden das Blockieren von KI-Bots.(Bild: Joos - Cloudflare) — Cloudflare ermöglicht jetzt seinen Kunden das Blockieren von KI-Bots.
(Bild: Joos - Cloudflare)

Bei der Verwendung von Cloudflare lässt sich das mit wenigen Klicks verhindern. Zur Aktivierung klicken Anwender dazu einfach im Cloudflare-Dashboard bei „Security -> Bots“ auf die Option „AI Scrapers and Crawlers“ und aktivieren die Funktion. Der dazugehörige Dienst wird weiterentwickelt und lernt Fingerprints von neuen KI-Bots kennen, um diese zuverlässig blockieren zu können.

(ID:50138007)

Jetzt Newsletter abonnieren

Täglich die wichtigsten Infos zu Cloud Computing

Geschäftliche E-Mail

Bitte geben Sie eine gültige E-Mailadresse ein.

Mit Klick auf „Newsletter abonnieren“ erkläre ich mich mit der Verarbeitung und Nutzung meiner Daten gemäß Einwilligungserklärung (bitte aufklappen für Details) einverstanden und akzeptiere die Nutzungsbedingungen. Weitere Informationen finde ich in unserer Datenschutzerklärung. Die Einwilligungserklärung bezieht sich u. a. auf die Zusendung von redaktionellen Newslettern per E-Mail und auf den Datenabgleich zu Marketingzwecken mit ausgewählten Werbepartnern (z. B. LinkedIn, Google, Meta).

Stand: 08.12.2025

Es ist für uns eine Selbstverständlichkeit, dass wir verantwortungsvoll mit Ihren personenbezogenen Daten umgehen. Sofern wir personenbezogene Daten von Ihnen erheben, verarbeiten wir diese unter Beachtung der geltenden Datenschutzvorschriften. Detaillierte Informationen finden Sie in unserer Datenschutzerklärung.

Einwilligung in die Verwendung von Daten zu Werbezwecken

Ich bin damit einverstanden, dass die Vogel IT-Medien GmbH, Max-Josef-Metzger-Straße 21, 86157 Augsburg, einschließlich aller mit ihr im Sinne der §§ 15 ff. AktG verbundenen Unternehmen (im weiteren: Vogel Communications Group) meine E-Mail-Adresse für die Zusendung von Newslettern und Werbung nutzt. Auflistungen der jeweils zugehörigen Unternehmen können hier abgerufen werden.

Der Newsletterinhalt erstreckt sich dabei auf Produkte und Dienstleistungen aller zuvor genannten Unternehmen, darunter beispielsweise Fachzeitschriften und Fachbücher, Veranstaltungen und Messen sowie veranstaltungsbezogene Produkte und Dienstleistungen, Print- und Digital-Mediaangebote und Services wie weitere (redaktionelle) Newsletter, Gewinnspiele, Lead-Kampagnen, Marktforschung im Online- und Offline-Bereich, fachspezifische Webportale und E-Learning-Angebote. Wenn auch meine persönliche Telefonnummer erhoben wurde, darf diese für die Unterbreitung von Angeboten der vorgenannten Produkte und Dienstleistungen der vorgenannten Unternehmen und Marktforschung genutzt werden.

Meine Einwilligung umfasst zudem die Verarbeitung meiner E-Mail-Adresse und Telefonnummer für den Datenabgleich zu Marketingzwecken mit ausgewählten Werbepartnern wie z.B. LinkedIN, Google und Meta. Hierfür darf die Vogel Communications Group die genannten Daten gehasht an Werbepartner übermitteln, die diese Daten dann nutzen, um feststellen zu können, ob ich ebenfalls Mitglied auf den besagten Werbepartnerportalen bin. Die Vogel Communications Group nutzt diese Funktion zu Zwecken des Retargeting (Upselling, Crossselling und Kundenbindung), der Generierung von sog. Lookalike Audiences zur Neukundengewinnung und als Ausschlussgrundlage für laufende Werbekampagnen. Weitere Informationen kann ich dem Abschnitt „Datenabgleich zu Marketingzwecken“ in der Datenschutzerklärung entnehmen.

Falls ich im Internet auf Portalen der Vogel Communications Group einschließlich deren mit ihr im Sinne der §§ 15 ff. AktG verbundenen Unternehmen geschützte Inhalte abrufe, muss ich mich mit weiteren Daten für den Zugang zu diesen Inhalten registrieren. Im Gegenzug für diesen gebührenlosen Zugang zu redaktionellen Inhalten dürfen meine Daten im Sinne dieser Einwilligung für die hier genannten Zwecke verwendet werden. Dies gilt nicht für den Datenabgleich zu Marketingzwecken.

Recht auf Widerruf

Mir ist bewusst, dass ich diese Einwilligung jederzeit für die Zukunft widerrufen kann. Durch meinen Widerruf wird die Rechtmäßigkeit der aufgrund meiner Einwilligung bis zum Widerruf erfolgten Verarbeitung nicht berührt. Um meinen Widerruf zu erklären, kann ich als eine Möglichkeit das unter https://contact.vogel.de abrufbare Kontaktformular nutzen. Sofern ich einzelne von mir abonnierte Newsletter nicht mehr erhalten möchte, kann ich darüber hinaus auch den am Ende eines Newsletters eingebundenen Abmeldelink anklicken. Weitere Informationen zu meinem Widerrufsrecht und dessen Ausübung sowie zu den Folgen meines Widerrufs finde ich in der Datenschutzerklärung.