ItGrowsItGrows.ai

Test des robots d’IA · sans inscription

Votre site bloque-t-il les robots d’IA ?

Saisissez votre site. Nous lisons votre robots.txt comme le font les robots, testons les pages de votre sitemap au regard de ses règles pour GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot, Googlebot et Bingbot, et interrogeons votre serveur en nous présentant comme chaque robot d’IA.

Pourquoi nous l’avons conçu

Sur itgrows.ai, une règle robots.txt censée masquer une seule page de redirection, /b, était écrite comme un préfixe. Du 11 août au 21 octobre 2026, elle a aussi fermé /blog, /business et chacun de nos guides à tous les robots. Les pages s’affichaient normalement dans un navigateur, la règle semblait inoffensive, et Bing a classé notre page business comme « découverte mais non explorée » pendant tout ce temps. Lire les règles ne l’a pas révélé ; les confronter à de vraies URL, si.

Que faire du résultat

  • Des règles ferment des pages que vous voulez faire lire : réécrivez-les pour qu’elles ne visent que ce que vous vouliez, par exemple avec un $ final. Voir votre site bloque-t-il les robots d’IA (en anglais).
  • Un robot refusé par votre serveur : c’est votre pare-feu ou votre CDN, pas le robots.txt. Voir GPTBot bloqué par Cloudflare (en anglais).
  • Tout est ouvert : reste à savoir si les assistants vous mentionnent. Lancez le test de visibilité IA.

Questions fréquentes

Comment le test décide-t-il qu’une page est bloquée ?

Il lit votre robots.txt comme les robots : le groupe de chaque robot (ou le groupe *), la règle correspondante la plus longue l’emporte, Allow l’emporte en cas d’égalité, * et $ servent de jokers. Puis il confronte les pages listées dans votre sitemap à ces règles, robot par robot.

Pourquoi robots.txt bloquerait-il des pages que je n’ai jamais voulu bloquer ?

Les règles sont des préfixes. Une règle écrite pour une page, comme Disallow: /b, vise aussi /blog et /business. Nous avons fait exactement cette erreur sur itgrows.ai : elle a fermé nos guides à tous les robots pendant dix semaines avant que nous nous en apercevions.

Mon robots.txt autorise tout. Les robots peuvent-ils quand même être bloqués ?

Oui. Un pare-feu, un CDN ou une protection anti-bots peut refuser un robot même quand le robots.txt l’invite. Le test interroge donc aussi votre serveur en se présentant comme GPTBot, ClaudeBot et PerplexityBot et montre ce qu’il a répondu.

Quels robots comptent pour être mentionné dans les réponses des IA ?

Ceux qui alimentent la recherche et les réponses en direct : OAI-SearchBot et ChatGPT-User pour ChatGPT, Bingbot parce que la recherche de ChatGPT et Copilot s’appuient sur Bing, Googlebot pour Gemini et les AI Overviews, PerplexityBot, et les robots d’Anthropic pour Claude. GPTBot est le robot d’entraînement d’OpenAI.