Les assistants IA et les liens erronés : une étude révèle l'ampleur des "hallucinations"

Les assistants IA comme ChatGPT et Claude sont de plus en plus utilisés, mais une nouvelle étude révèle un aspect moins reluisant de leur performance : leur tendance à « halluciner » des liens, c'est-à-dire à citer des URLs qui n'existent pas et à diriger les utilisateurs vers des pages 404. Cette étude approfondie, qui a analysé le statut HTTP de 16 millions d'URLs uniques citées par plusieurs assistants IA majeurs, met en lumière l'ampleur de ce phénomène et ses implications pour l'expérience utilisateur et le SEO.

Constat général sur l'hallucination des liens

L'étude a révélé que les assistants IA dirigent les visiteurs vers des pages 404 2,87 fois plus souvent que Google Search. Parmi tous les assistants étudiés, ChatGPT est le principal coupable, avec 1,01% des URLs cliquées et 2,38% de toutes les URLs citées retournant un statut 404. Cela contraste fortement avec les taux de 404 de référence de Google, qui sont respectivement de 0,15% et 0,84%.

Test 1 : Analyse des URLs cliquées dans les outils d'analyse web

Méthodologie

Pour ce premier test, des données anonymisées d'outils d'analyse web ont été utilisées pour observer les visites réelles sur les URLs recommandées par les assistants IA. Les URLs ont été marquées comme de potentielles pages 404 si leur titre contenait "404" ou "not found". Le taux de 404 a ensuite été calculé pour chaque assistant en comparant le nombre de pages 404 possibles au nombre total d'URLs référencées.

Résultats

• ChatGPT présente le taux de pages 404 le plus élevé avec 1,01% des URLs cliquées.
• Claude suit avec 0,58%.
• Copilot (0,34%).
• Perplexity (0,31%).
• Gemini (0,21%).
• Mistral a le taux le plus bas (0,12%), mais avec un échantillon de trafic de référence plus petit.

Comparé au taux de 404 de base de Google (0,15% pour les URLs référencées), les taux des assistants IA sont significativement plus élevés. Le taux moyen de 404 pour tous les assistants IA était de 0,43%, ce qui signifie qu'ils envoient les visiteurs vers des pages 404 à un rythme 2,87 fois supérieur à celui de Google Search.

Limites du test

Cette méthode peut sous-estimer le nombre total d'URLs hallucinées, car toutes les pages 404 n'ont pas nécessairement "404" ou "not found" dans leur titre, et seuls les liens cliqués sont pris en compte. De plus, une fraction de ces pages 404 pourrait être légitime et non le résultat d'une hallucination.

Test 2 : Analyse des URLs citées dans Brand Radar

Méthodologie

Un second test a été réalisé en utilisant une base de données massive d'invites et de sorties d'assistants IA (Brand Radar). Cela a permis d'analyser toutes les URLs citées par les IA, et non seulement celles qui ont reçu un clic. Le statut HTTP a été récupéré pour les URLs également présentes dans la base de données du crawler de l'étude (environ 65% des URLs totales).

Résultats

Le taux de 404 pour les URLs simplement citées est encore plus élevé que pour les URLs cliquées :

• ChatGPT a le taux le plus élevé avec 2,38% de pages 404.
• Perplexity (0,87%).
• Gemini (0,86%).
• Copilot (0,54%).

En comparaison, le taux de 404 pour les URLs figurant dans les 20 premières positions de 400 000 pages de résultats de recherche Google (SERPs) est de 0,84%. Les taux de Perplexity (0,87%) et Gemini (0,86%) sont remarquablement proches de ce taux de référence de Google, ce qui suggère qu'ils pourraient utiliser l'index de recherche de Google et avoir un taux d'hallucination intrinsèque plus faible que ChatGPT. Copilot, utilisant l'index de Bing, pourrait refléter le taux de 404 de ce dernier.

Limites du test

Comme précédemment, certaines 404 peuvent être dues à d'autres raisons que l'hallucination. L'étude sous-estime également le nombre total d'URLs 404, car le statut HTTP n'a pu être vérifié que pour les URLs présentes dans la base de données du crawler, et une partie des URLs hallucinées n'auraient jamais existé.

Pourquoi les assistants IA hallucinent-ils des liens ?

Deux causes principales sont suspectées :

• URLs obsolètes : Une partie des URLs citées étaient autrefois valides mais renvoient désormais un statut 404. Les assistants IA combinent la recherche web et leurs propres connaissances internes. Il est possible que des URLs aient existé à un moment donné, puis aient été supprimées ou déplacées sans redirection appropriée, surtout lorsque l'IA s'appuie uniquement sur sa base de connaissances.

• Véritables hallucinations : Une autre partie des URLs citées sont de pures hallucinations. Elles suivent le "modèle attendu" des URLs pour un site web donné mais n'ont jamais réellement existé. Par exemple, des URLs comme `/blog/internal-links/` ou `/blog/newsletter/` peuvent être générées pour un blog SEO, même si elles n'existent pas. Ces liens hallucinés peuvent même se retrouver dans les bases de données des crawlers si du contenu généré par IA les contient et est publié.

Comment trouver les URLs hallucinées sur votre site ?

Pour mesurer l'impact des URLs hallucinées sur votre propre site, suivez ces étapes :

1. Filtrer votre analyse web pour le trafic IA

Isolez les visites provenant des assistants IA dans vos outils d'analyse. Dans GA4, utilisez une expression régulière (regex) sur la dimension "Source de session" dans un rapport d'exploration pour identifier les référents IA (ex: .*gpt.*|.*chatgpt.*|.*openai.*|.*perplexity.*|.*claude.*|.*gemini.*google.*|.*copilot.*microsoft*|.*mistral.*).

2. Générer un script pour le statut HTTP

Utilisez un assistant IA pour générer un script Apps Script permettant de vérifier le statut HTTP des URLs d'une feuille Google Sheets. Copiez ce script dans Google Sheets (Extensions > Apps Script), puis créez une nouvelle colonne et appelez le script pour chaque URL (ex: =GetHttpStatus(A2)).

3. Filtrer par statut 404 et nombre de visiteurs

Filtrez votre feuille pour n'afficher que les URLs renvoyant un statut 404 et recevant un nombre significatif de visiteurs (par exemple, plus de 10 visiteurs par mois). Inspectez manuellement certaines de ces URLs pour confirmer qu'il s'agit bien d'hallucinations.

4. Mettre en place des redirections 301 (si pertinent)

Si des pages hallucinées reçoivent un nombre considérable de visites, envisagez de mettre en place des redirections 301 vers une page pertinente de votre site. Si une redirection n'est pas possible ou si vous ne souhaitez pas créer un "nid de redirections", améliorez votre page 404 pour inclure des ressources utiles pour les visiteurs provenant des LLM (contenu populaire, inscription à la newsletter, etc.).

Faut-il s'en soucier ?

À l'heure actuelle, les assistants IA représentent une part minime du trafic global d'un site web (environ 0,25% du trafic total, contre 39,35% pour Google). L'impact des URLs hallucinées, qui représentent 1,01% de ce trafic déjà faible, est donc très limité.

Comprendre cette particularité de la recherche IA est utile, mais elle ne représente pas un levier de croissance majeur. Si l'effort pour minimiser l'impact des URLs hallucinées est faible, cela peut valoir la peine, mais ce n'est pas une priorité absolue pour la plupart des sites.