Qu'est-ce que le Crawl Budget ?
Le Crawl Budget désigne la quantité de ressources allouées par Googlebot pour explorer (ou crawler) un site web. Le crawl budget est une mesure importante, car il détermine combien de pages Googlebot explore sur votre site dans un délai donné. Une gestion optimale du crawl budget permet de s'assurer que Googlebot explore efficacement vos pages les plus importantes, ce qui peut avoir un impact direct sur votre référencement.
Comment le Crawl Budget impacte-t-il le crawl de mon site ?
Googlebot ne peut pas explorer toutes les pages de votre site à chaque passage. Un budget limité peut empêcher certaines pages importantes d'être indexées régulièrement, ce qui peut affecter leur visibilité dans les résultats de recherche.
Facteurs influençant le Crawl Budget
Taille du site et fréquence de mise à jour
Un site plus grand avec de nombreuses pages peut nécessiter plus de temps pour être exploré. De plus, les sites fréquemment mis à jour ou avec de nouveaux contenus peuvent bénéficier d'un crawl budget plus élevé.
Temps de réponse du serveur (TTFB)
Le Time to First Byte (TTFB) mesure le temps que met le serveur à répondre à une requête. Un TTFB élevé peut ralentir l'exploration du site, car Googlebot attendra plus longtemps pour récupérer les pages. Optimiser la vitesse du serveur peut améliorer l'efficacité du crawl budget. L'utilisation de cache serveur et de CDN peut permettre d'améliorer vos TTFB.
Erreurs 5xx, 404 et redirections 3xx
Les pages en erreur serveur, comme les erreurs 5xx (erreurs internes du serveur), consomment inutilement le crawl budget. Par ailleurs, Google freine le crawl lorsqu'il rencontre des erreurs 5xx.
En ce qui concerne les codes 4xx et les redirections 3xx, l'utilisation de ces codes ne pose pas de problèmes en soi. Néanmoins, veillez à ne pas lier ces URLs dans votre maillage interne, mais uniquement vos pages en statut 200, afin de ne pas faire perdre du temps au crawler.
Pages inutiles
Les pages dupliquées peuvent consommer une grande partie du crawl budget, tout comme les URLs techniques inutiles pour le crawler.
Le fichier robots.txt permet de spécifier quelles pages Googlebot doit ou ne doit pas explorer. Il est crucial de bloquer l'accès aux pages inutiles pour économiser du crawl budget. Cependant, il est important de noter que si une page est bloquée par robots.txt, Googlebot ne pourra pas explorer cette page et, par conséquent, ne pourra pas transmettre de PageRank à partir des liens présents sur cette page.
Exemple de robots.txt :
User-agent: *
Disallow: /admin/
Disallow: /login/
Disallow: /thank-you/Attention : Bloquer une page dans le robots.txt signifie que Googlebot ne l'explorera pas, mais cela empêche également cette page de transmettre son PageRank. Il faut donc faire attention à ne pas bloquer des pages importantes.
Liens internes et structure du site
Une bonne architecture de site avec une hiérarchie logique aide Googlebot à explorer efficacement les pages importantes. Veillez notamment à restreindre au maximum les niveaux de profondeur de votre site (nombre de clics pour accéder à un contenu depuis la homepage) pour faciliter la tâche du crawler.
Analyse et Monitoring
Monitoring basique : Google Search Console
Dans Google Search Console, surveillez régulièrement le rapport Statistiques sur l'exploration pour identifier des problèmes macroscopiques (temps de réponse moyen, part de crawl par code HTTP et type de fichier).
Vérifiez également le rapport d'indexation. Une mauvaise gestion du crawl budget peut empêcher l'indexation de pages importantes. Assurez-vous que les pages essentielles sont correctement indexées et que le crawl est bien distribué sur tout votre site.
Monitoring avancé : Dashboard des logs d'accès serveur
Le monitoring avancé des logs d'accès serveur permet d'être alerté quasi en temps réel en cas de problème durant le crawl par Googlebot. Ce type de surveillance vous aide à détecter rapidement des anomalies telles qu'un crawl excessif de pages générant des erreurs 5xx, un temps de réponse serveur anormalement élevé, ou encore un crawl de pages inutiles qui consomment inutilement votre crawl budget.
Plusieurs solutions peuvent être utilisées pour cette surveillance :
- Outils du marché :
- Botify
- OnCrawl
- Seolyzer
- Stack maison :
- Exemple : Stack ELK (Elasticsearch, Logstash, Kibana) et ESL (Elastic Search Logs) pour analyser et visualiser les logs en temps réel.
Ces outils et solutions permettent un suivi détaillé du comportement de Googlebot sur votre site, vous aidant ainsi à réagir rapidement aux problèmes qui pourraient impacter votre crawl budget et votre SEO.
Conclusion
La gestion du crawl budget est essentielle pour garantir que Googlebot explore les pages les plus importantes de votre site. En optimisant la vitesse du site, en corrigeant les erreurs, et en bloquant les pages inutiles, vous pouvez améliorer l'efficacité du crawl et, par conséquent, votre SEO. L'optimisation du crawl budget doit être une priorité pour tous les sites web ayant un grand nombre de pages ou un contenu dynamique.