Cloudflare a annoncé le 16 octobre un système d'évaluation continue de ses bots vérifiés (Verified bots). Jusqu'ici, un bot validé gardait son badge tant que personne ne documentait un abus flagrant. Désormais, Cloudflare observe en permanence si chaque bot respecte le robots.txt et les réponses HTTP 429, puis en déduit une « bande de confiance » (trust band). Le système tourne déjà en interne sur le réseau. Les scores seront publiés sur Radar, et chaque site client pourra fixer son propre seuil d'accès.
- Chaque bot vérifié reçoit une bande de confiance fondée sur son comportement observé : respect du robots.txt (RFC 9309) et ralentissement effectif après un HTTP 429.
- Les scores seront publics sur Cloudflare Radar, et les sites pourront choisir le seuil en dessous duquel un bot vérifié perd son traitement de faveur.
- Cloudflare se place devant plus de 20 % du web selon ses propres chiffres : sa notation devient de fait un standard de conduite pour les crawlers IA et SEO.
Le badge ne suffit plus, le comportement devient le critère
Le programme Verified bots reposait sur trois promesses : s'identifier correctement, faire ce qu'on annonce, ne pas abuser. Web Bot Auth règle la première en signant cryptographiquement les requêtes, avec le catalogue ouvert BotBase en annuaire. Les deux autres n'étaient contrôlées qu'à l'entrée. La bande de confiance comble ce trou. C'est une fourchette qui montre les comportements observés et qui évolue avec eux, en bien comme en mal.
Deux signaux alimentent la bande au lancement. Pour le robots.txt, le système cherche des motifs répétés de non-respect des préférences publiées, au sens de la RFC 9309. Une violation isolée pèse peu. Pour le HTTP 429, il mesure si le bot ralentit après le signal : ralentir fait monter la confiance, ignorer la fait baisser. Les mesures indépendantes montrent l'ampleur du problème. Microsoft Clarity a relevé 4,56 % de violations du robots.txt sur 246 035 requêtes de crawlers IA. TollBit a vu 15 % des récupérateurs de pages IA en Europe atteindre des URL interdites au premier semestre 2026. Le précédent existe aussi : Cloudflare a retiré le bot de Perplexity de sa liste en 2025, après un crawl furtif documenté sur des sites qui l'avaient bloqué.
L'échelle du problème grandit vite. Les soumissions de bots à la vérification ont été multipliées par sept depuis 2023. Matthew Prince, le patron de Cloudflare, prédit un trafic bot à 1 000 fois le trafic humain d'ici cinq ans. PPC Land pointe la limite du dispositif : Cloudflare est juge et partie. L'entreprise vend Bot Management, décide qui obtient le statut vérifié, et son billet ne dit ni comment une bande se calcule précisément, ni comment un opérateur conteste la sienne.
Mon avis : notable. Pas de bascule immédiate, mais c'est la première fois qu'un acteur de cette taille attache une conséquence mesurable au non-respect du robots.txt, un fichier resté purement déclaratif depuis 1994. Pour les éditeurs français derrière Cloudflare, c'est un levier concret. Pour les autres, un standard de fait qui va se diffuser.
Ce que ça change pour vous
Si vous éditez un site derrière Cloudflare et que vous bloquez des crawlers IA, vos directives vont enfin peser. Un bot vérifié qui les ignore de façon répétée descendra de bande, et vous pourrez le traiter en conséquence quand les seuils arriveront. Si vous opérez un bot, crawler SEO maison, outil de monitoring ou agent de collecte, votre comportement est maintenant noté. Un crawl qui ignore les 429 pour finir plus vite peut coûter le statut vérifié à tout l'outil. Si votre site n'est pas derrière Cloudflare, rien ne change techniquement, mais les scores publiés sur Radar serviront de référence aux autres CDN et aux équipes juridiques. Vérifiez donc dans vos logs serveur comment les bots vérifiés se comportent réellement chez vous, plutôt que de croire le badge.
- Active Bot Preference Sync dans le tableau de bord Cloudflare pour publier tes préférences de crawlers IA directement dans le robots.txt.
- Extrais de tes logs les user-agents vérifiés qui ont reçu un 429 ce mois-ci et vérifie s'ils ont ralenti dans les minutes suivantes.
- Croise les hits de GPTBot, ClaudeBot et PerplexityBot avec tes directives Disallow du semestre : un écart répété est exactement ce que la bande de confiance mesurera.
Sources
- Cloudflare - Continuous accountability for Verified bots (16 octobre 2026)
- PPC Land - Cloudflare Verified bots face trust scores for ignoring site rules (17 octobre 2026)
- Search Engine Roundtable - Daily Search Forum Recap (19 octobre 2026)
Source : Blog.cloudflare.com
Cet article a été rédigé avec l’assistance d’un modèle de langage (LLM).
