Outil de Crawl des bots IA : Google, ChatGPT, et autres peuvent-ils lire votre site ?
Un outil gratuit qui teste si les robots des IA accèdent vraiment à vos pages : ce que votre robots.txt leur autorise, et ce que votre serveur leur répond quand ils essayent de crawler votre site. L’outil gratuit de test de crawl des bots IA est disponible, vous pouvez créer votre compte dès maintenant.
Cet outil est réservé aux membres. Connectez-vous ou créez un compte gratuit pour y accéder.
Pourquoi votre robots.txt ne suffit pas ?
Pour qu’une IA cite votre page, il faut d’abord que son robot puisse la crawler. Ça paraît évident, et pourtant c’est là que beaucoup de sites perdent la partie sans le savoir.
Un robot d’IA doit passer deux portes. La première, c’est votre fichier robots.txt : la liste des pages que vous autorisez ou non aux robots. C’est une demande polie, que les robots sérieux respectent (« sérieux » ce qui implique forcément que tous les bots ne le respecte pas). La seconde, c’est votre pare-feu ou votre CDN (le service qui protège et accélère votre site, Cloudflare par exemple). Le pare-feu ne demande rien, il décide. Et il peut refouler un robot que votre robots.txt autorise.
Pour faire simple, vous pouvez afficher « entrée libre » sur la porte et avoir un videur qui refoule tout le monde. Le panneau dit oui, le videur dit non, et personne ne vous prévient.
Si le robot ne lit pas la page, l’IA ne peut pas la citer. C’est mécanique.
Ce que l’outil vérifie
Une page crawlée à la fois, avec les mêmes règles à chaque passage : aucun modèle d’IA ne juge votre page, l’outil de crawl des bots IA empruntent leur identité (leur user-agent) pour faire croire à votre serveur que c’est un bot IA qui les visite.
Ce que votre robots.txt autorise
Pour 16 robots IA, url par url. Une règle qui vise un robot par son nom passe avant la règle générale, comme chez Google.
Ce que votre serveur répond vraiment
Une vraie requête avec l’identité de chaque robot. L’outil repère un refus du pare-feu, et même une page de vérification anti-robot servie comme si de rien n’était.
Les robots qui comptent d’abord
L’outil teste d’abord les robots qui cherchent pour répondre (OAI-SearchBot, Claude-SearchBot, PerplexityBot). Les bots qui lisent une page à la demande d’un utilisateur passent avant les robots d’entraînement. Google et Bing sont testés à part.
Où corriger chaque blocage
Dans robots.txt, dans le pare-feu ou le CDN, ou chez l’hébergeur : chaque refus dit où se règle le correctif, et les robots qui suivent la même consigne tiennent sur une seule ligne.
Une page lisible sans JavaScript
Le texte est-il dans le code envoyé par le serveur ? La page est-elle indexable, sans redirection ? Porte-t-elle des données structurées ?
Une page facile à découper
Titres, tableaux, listes, FAQ, résumé en tête, sources citées. L’outil mesure leur présence et leur structure, pas la qualité de votre rédaction.
Ce que vous récupérez
Un score pour situer la page sur leur lisibilité par les bots, et surtout trois à cinq actions pour améliorer la lecture de votre contenu par les LLMs, rangées par impact et écrites en clair : quoi faire, et où le faire.
Pour chaque robot, le verdict (autorisé, bloqué, partiel ou impossible à vérifier), la cause, et l’endroit où ça se corrige. Les robots qui suivent la même consigne sont regroupés : une ligne, un correctif.
Et ce que le test n’a pas pu vérifier est dit avant les conclusions, pas en note de bas de page.
Pourquoi l’outil se méfie de ses propres mesures ?
Bon, je vais être honnête : tester l’accès d’un robot est moins simple qu’il n’y paraît, et j’ai appris pas mal de choses en construisant cet outil.
D’abord, un pare-feu ne se fie pas seulement au user-agent (son nom d’identité). que le robot annonce Les vrais robots arrivent depuis des adresses IP connues et vérifiables ; l’outil, lui, emprunte leur nom d’identité, pas leur adresse IP. Derrière un CDN, son verdict réseau est donc marqué « indicatif », et ce sont vos journaux serveur (les logs) qui font foi.
Ensuite, une mesure isolée, c’est un tirage au sort. Sur un site derrière Cloudflare, j’ai vu le même robot refusé lors d’un test, puis accepté lors du suivant .
Enfin, à vouloir tout tester, on se fait remarquer. En enchaînant environ 290 requêtes sur un même site, page après page et robot après robot, c’est l’adresse de mon serveur qui s’est fait bloquer, y compris quand je me présentais comme Googlebot . D’où le choix de l’outil : le test réseau se fait sur une seule page, parce qu’un pare-feu applique en général (je précise car il y a des exceptions) sa politique au site, pas page par page. A noter que l’outil utilise des solutions de repli (proxy) en cas d’échec.
À noter, dans l’autre sens : être derrière un CDN comme Cloudflare par exemple ne veut pas dire être fermé aux IA. Le 8 novembre 2026, sur un site protégé par Cloudflare, les 14 robots testés ont tous obtenu la page.
Autant dire qu’il vaut mieux tester que supposer.
Ce que l’outil ne fait pas
Il ne simule pas l’adresse IP réelle des robots. Pour savoir si le vrai GPTBot passe, ce sont vos logs serveur (journaux d’historiques des visites sur votre site) qui sont la source de vérité, et j’explique comment les lire dans l’article sur l’analyse de logs.
L’outil teste une URL de site à la fois. Je vous recommande de tester une page de contenu importante (un article, une fiche produit ou service), pas seulement l’accueil : certaines données structurées (ex: datepublished) ont du sens que sur une vraie page.
Et il ne dit pas si l’IA vous cite. Que votre page soit lisible, ça veut pas dire qu’elle est choisie : savoir qui l’IA cite à votre place, sur vos requêtes, c’est le rôle de l’audit SEO / GEO.
Questions fréquentes
Combien ça coûte ?
Rien. Il faut un compte Creapulse, gratuit, et c’est tout. L’outil ne fait appel à aucun service payant ni à aucun modèle d’IA : il lit votre site et applique des règles fixes. Vos 50 crédits de bienvenue, eux, servent sur les autres outils Creapulse.
Faut-il bloquer GPTBot ?
C’est un choix, pas une faute. GPTBot sert à l’entraînement des modèles d’OpenAI : le bloquer n’empêche pas ChatGPT de vous citer aujourd’hui, ce sont OAI-SearchBot et ChatGPT-User qui comptent pour ça. L’outil sépare donc les deux : un robot de recherche bloqué est signalé comme critique, un robot d’entraînement bloqué comme un point à surveiller.
Mon site est derrière Cloudflare : les IA sont-elles bloquées ?
Pas forcément. Le 8 novembre 2026, sur un site protégé par Cloudflare, les 14 robots testés ont tous obtenu la page. Tout dépend des réglages anti-robots de votre compte Cloudflare, et c’est justement ce que l’outil vérifie.
Ma page est autorisée : pourquoi l’outil parle de « partiel » ?
Parce que votre robots.txt interdit d’autres pages à ce robot. Sur un site mesuré en novembre 2026, la page testée passait, mais le robots.txt interdisait 59 autres chemins. Ce n’est pas forcément un problème : l’outil vous le signale pour que vous vérifiiez qu’aucune page importante n’y figure.
Et le fichier llms.txt ?
L’outil le cherche et vous dit s’il existe, mais lui donne un poids faible : c’est un format émergent, et aucun grand moteur d’IA n’a confirmé s’en servir. Ce n’est pas lui qui conditionne la citation aujourd’hui.
Quels robots sont testés ?
Seize : les robots de recherche des IA (OAI-SearchBot, Claude-SearchBot, PerplexityBot), ceux qui lisent une page à la demande d’un utilisateur (ChatGPT-User, Claude-User, Perplexity-User), les robots d’entraînement (GPTBot, ClaudeBot, Bytespider, CCBot, Amazonbot, meta-externalagent), Googlebot et Bingbot, et deux consignes de robots.txt sans robot distinct (Google-Extended, Applebot-Extended), vérifiées dans le fichier seulement.