Faux Googlebot : Gary Illyes admet que l'IA a aggravé l'usurpation de crawlers

Gary Illyes, analyste chez Google, affirme que l'IA a aggravé l'usurpation de robots d'exploration. Il l'a dit le 28 octobre 2026 au podcast Odys, enregistré au salon Shenzhen SEO. Ses logs sont remplis de faux Googlebot, poussés par la course aux données d'entraînement. Search Engine Roundtable a relayé ses propos le 30 octobre. Illyes ne parle pas en théoricien : il pose lui-même des pots de miel (honeypots) sur le web pour mesurer le phénomène.

TL;DRL'essentiel pour les pressés

Se faire passer pour Googlebot prend « environ 30 secondes » selon Illyes : le user-agent est une chaîne déclarative que n'importe quel script peut copier, seule l'adresse IP fait foi.
Sur un site test analysé en juin 2026 par Duane Forrester, 692 des 799 requêtes se réclamant de Googlebot ne venaient pas de Google, soit près de 87 % d'usurpation.
La parade en préparation s'appelle Web Bot Auth : des requêtes HTTP signées cryptographiquement, « virtuellement infalsifiables » d'après Illyes.

87 %des 799 requêtes revendiquant le user-agent Googlebot sur un site test ne venaient pas d'une adresse IP Google (étude Duane Forrester sur CitationIQ, juin 2026)

Un user-agent est une déclaration, pas une preuve

Le mécanisme est trivial. Le user-agent est un en-tête HTTP que l'émetteur remplit comme il veut. « Changer un user-agent est super simple, vraiment très simple », dit Illyes, qui estime pouvoir monter un faux Googlebot « en 30 secondes probablement ». La motivation a changé d'échelle avec l'IA. Les entreprises qui entraînent leurs propres modèles ont besoin de contenu, et se déguiser en Googlebot reste le meilleur passe-droit face aux blocages. Les pare-feux et les CDN ont progressé dans la détection, mais ils laissent encore passer une partie du trafic déguisé.

Les chiffres confirment l'ampleur. Duane Forrester, ancien de Bing, a vérifié en juin 2026 chaque requête de robot reçue par son site CitationIQ contre les plages IP officielles publiées par les opérateurs. Résultat : 87 % des requêtes « Googlebot » venaient d'ailleurs. Côté assistants IA, 27 des 33 requêtes étaient fausses, soit 81,8 %. Les 20 requêtes « CCBot » provenaient toutes d'hébergeurs quelconques, aucune de Common Crawl. Les fausses requêtes visaient des fichiers de configuration et d'environnement, un comportement de recherche d'identifiants plus que de collecte de contenu. La limite de l'étude est connue : un seul site, récent, petit volume. Forrester la présente comme une méthode à reproduire, pas comme une statistique générale. Le cas Perplexity reste d'ailleurs ambigu, l'entreprise ayant déjà été documentée en train d'opérer hors de ses plages IP publiées.

Illyes enfonce deux autres clous. Le robots.txt reste « une suggestion » tant que rien ne l'applique au niveau réseau. Les récupérateurs (fetchers) qui agissent pour un utilisateur unique n'ont selon lui « aucune bonne raison » de lui obéir. Quant à Google-Extended, le jeton qui contrôle l'usage IA des contenus, il le qualifie de « pseudo-crawler », « juste un nom ». Il ne crawle rien, il se lit. Ces contrôles déclaratifs arrivent au moment où l'écosystème s'aligne sur un signal commun d'opt-out d'entraînement IA, qui repose sur la même confiance.

Je le sais personnellement, parce que je pose des pièges à miel sur Internet. Dans un log, un user-agent Googlebot venait d'une adresse dont je n'ai aucune idée de la provenance.

Gary Illyes, analyste Search chez Google, au podcast Odys

La sortie de crise se dessine côté protocole. Web Bot Auth, un brouillon IETF poussé notamment par Cloudflare, fait signer chaque requête de robot avec une clé privée vérifiable par une clé publique. Illyes juge ces requêtes « virtuellement infalsifiables ». Il pose une réserve de taille : « si nous perdons notre clé privée de signature, nous avons un problème bien plus gros ». Il évoque aussi un système de réputation des crawlers, encore au stade de l'idée, en alertant sur le biais qu'introduirait un système tenu par une seule entreprise. Mon avis : notable. Le mécanisme n'a rien de neuf, mais l'aveu de Google sur l'ampleur du problème est rare. La vérification par IP vit ses dernières années, au profit des requêtes signées. Pour les équipes SEO techniques françaises, c'est le moment d'industrialiser la vérification des bots dans les analyses de logs.

Vos logs mentent, vos blocages aussi

Si vous analysez le comportement de Googlebot dans vos logs sans vérifier les IP, vos conclusions sont faussées. Vous surestimez le budget de crawl, comptez comme « crawlées » des pages que Google n'a jamais vues, et attribuez à une update des pics de hits qui n'en sont pas. Une passe d'analyse de logs qui croise chaque hit avec les plages officielles change parfois la lecture d'un site entier. Si vous bloquez les robots IA par user-agent, vous arrêtez les acteurs polis et laissez entrer les autres, déguisés en Googlebot. Et si votre serveur souffre sous la charge des scrapers, la réponse est réseau (WAF, CDN avec gestion de bots), pas dans le robots.txt. Pour les petits sites hébergés sur des plateformes managées comme Shopify, rien à faire : la protection est déjà incluse, et Illyes recommande de vérifier qu'un problème existe avant d'investir.

Ce que vous devez faireConcrètement, pour votre visibilité

Croise tes logs avec les plages IP officielles de Google (fichiers googlebot.json et special-crawlers.json) ou un reverse DNS en *.googlebot.com avant toute conclusion sur le crawl.
Calcule ton taux d'usurpation : part des requêtes « Googlebot » hors plages officielles sur 14 jours. Au-delà de quelques pourcents, ajoute une règle WAF qui vérifie l'IP, pas le user-agent.
Applique la méthode Forrester aux bots IA : vérifie GPTBot, ClaudeBot et PerplexityBot contre leurs plages publiées avant de leur attribuer du trafic ou de leur ouvrir des contenus.