Cloudflare bewertet Verified Bots danach, ob sie robots.txt befolgen und bei 429 bremsen

Serguey Asael Shinder17 October 2026, 08:322 Min. Lesezeit

Cloudflare hat am 16. Oktober 2026 ein System beschrieben, das das Verhalten verifizierter Bots auch nach ihrer Aufnahme ins Programm laufend prüft. Bisher beantwortete die Verifizierung die Frage „Bist du, wer du vorgibst zu sein?“. Das neue System soll die zweite Frage beantworten, die Cloudflare jedem Bot stellt – „Können wir dir vertrauen?“ –, und zwar dauerhaft.

Die Identität ist bereits geklärt. Bots im Programm signieren ihre Anfragen mit Web Bot Auth, BotBase katalogisiert diese Identitäten in einem offenen Format. Cloudflares Punkt: Identität garantiert kein Verhalten. Ein bekannter Bot kann trotzdem die Vorgaben einer Website missachten, einen Ursprungsserver überlasten oder Kontrollen umgehen wollen – oft wegen einer Fehlkonfiguration oder eines Bugs, nicht aus böser Absicht. Der Beitrag unterscheidet Risiko, also die Wahrscheinlichkeit, dass eine einzelne Anfrage schadet und die sich ständig ändert, von Vertrauen, das durch beständiges Verhalten entsteht. Als Präzedenzfall nennt Cloudflare, dass der Bot von Perplexity 2025 von der Liste gestrichen wurde, nachdem er Websites ansteuerte, die Scraping ausgeschlossen hatten, und danach versuchte, die Sperren zu umgehen.

Zwei erste Signale.

• robots.txt. Das System prüft, ob der beobachtete Verkehr eines Bots zu den Vorgaben passt, die eine Website veröffentlicht – im Sinne von RFC 9309. Gesucht werden nicht einzelne Verstöße, sondern wiederkehrende Muster. Cloudflare betont, dass robots.txt nur das Minimum festlegt: Was dort nicht verboten ist, ist damit nicht erlaubt, und eine Website kann auch auf anderen Wegen signalisieren, dass weiterer Zugriff unerwünscht ist.
• HTTP 429. Ein Bot kann auf erlaubten Pfaden bleiben und eine Website dennoch stark belasten. Geprüft wird, ob er nach Antworten „Too Many Requests“ langsamer wird oder pausiert oder im selben Tempo weiterschickt. Wer beständig bremst, gewinnt Vertrauen; wer das Signal wiederholt ignoriert, verliert es.

Vertrauensbänder statt Urteile. Aus den Beobachtungen entsteht ein nachvollziehbares Vertrauensband: ein Bereich, der zeigt, wie beständig ein Bot die Vorgaben achtet und welches Verhalten zu der Einschätzung geführt hat. Ausdrücklich soll das kein dauerhaftes Urteil über einen Bot oder seinen Betreiber sein; bewertet werden anhaltende Muster, keine Einzelereignisse.

Was läuft und was geplant ist. Intern bewertet Cloudflare die Verified Bots bereits damit und baut die Historie auf. Geplant ist, die Werte auf Radar zu veröffentlichen, weitere Messgrößen hinzuzunehmen und das System allen Kunden anzubieten, die dann selbst die Vertrauensschwelle wählen können, nach der Verified-Bot-Verkehr behandelt wird. Es ergänzt zwei bestehende Produkte: Bot Preference Sync, das veröffentlichte Vorgaben mit den konfigurierten Regeln abgleicht, und Bot Management, das über den Verkehr entscheidet. Termine für die öffentlichen Werte und die Kundeneinstellung nennt der Beitrag nicht.

Quelle: Cloudflare Blog, „Continuous accountability for Verified bots“ — https://blog.cloudflare.com/verified-bots-accountability