Un moteur génératif ne peut pas vous citer s'il n'a jamais pu lire vos pages. Avant tout travail éditorial, la première question du GEO est donc technique : quels robots d'IA ont le droit d'accéder à votre site, et lesquels reçoivent une porte fermée ? La réponse est rarement celle que croient les équipes, parce que les robots des LLM ne forment pas un bloc homogène. Il en existe trois familles, aux conséquences très différentes, et la plupart des sites qui ont voulu se protéger de l'une ont fermé les deux autres sans le savoir.
Trois familles de robots, trois conséquences
Les robots d'entraînement collectent des pages pour alimenter les prochaines versions des modèles : GPTBot chez OpenAI, ClaudeBot chez Anthropic, CCBot pour Common Crawl, et le jeton Google-Extended chez Google, qui couvre à la fois l'entraînement et l'ancrage des réponses de Gemini. Leur blocage n'a aucun effet immédiat. Il joue à long terme, sur ce que le modèle « sait » de votre marque sans avoir besoin de chercher.
Les robots d'index construisent la base que l'assistant interroge au moment de répondre : OAI-SearchBot pour la recherche web de ChatGPT, PerplexityBot, Claude-SearchBot, et les deux vétérans Googlebot et Bingbot qui alimentent respectivement les AI Overviews et Copilot. Ce sont eux qui déterminent si vous pouvez être cité aujourd'hui. Les bloquer vous rend invisible dans la semaine.
Les récupérateurs déclenchés par l'utilisateur vont chercher une page précise pendant une conversation, parce que quelqu'un a collé votre URL ou posé une question sur votre marque : ChatGPT-User, Perplexity-User, Claude-User, MistralAI-User. Les bloquer produit le scénario le plus absurde : un prospect demande explicitement à l'IA de regarder votre site, et l'assistant répond qu'il n'y a pas accès.
Ce découpage n'est pas une commodité de rédaction. Cloudflare a formalisé les mêmes trois catégories dans sa mise à jour du 1er juillet 2026, sous les noms Search, Agent et Training. C'est désormais le vocabulaire dans lequel se règlent les accès, y compris chez votre hébergeur.
Cette distinction explique la confusion la plus répandue en France. Beaucoup de sites ont posé un Disallow sur Google-Extended en 2024, en croyant sortir des réponses IA de Google. Or les AI Overviews reposent sur l'index de Googlebot : le blocage ne les en a pas retirés, il les a seulement privés des réponses de Gemini. Nous détaillons ce mécanisme dans notre article sur les AI Overviews de Google.
Le tableau des robots qui comptent
| Robot | Opérateur | Famille | Ce que son blocage vous coûte |
|---|---|---|---|
Googlebot |
Index | Les AI Overviews, l'AI Mode et la recherche classique | |
Google-Extended |
Entraînement | Les réponses de Gemini, mais pas les AI Overviews | |
OAI-SearchBot |
OpenAI | Index | La recherche web de ChatGPT |
GPTBot |
OpenAI | Entraînement | La connaissance de votre marque dans les futurs modèles |
ChatGPT-User |
OpenAI | Récupération | L'ouverture de vos pages pendant une conversation |
PerplexityBot |
Perplexity | Index | Les citations dans Perplexity |
Perplexity-User |
Perplexity | Récupération | La lecture d'une page réclamée par l'utilisateur |
Claude-SearchBot |
Anthropic | Index | Les citations dans la recherche de Claude |
Claude-User |
Anthropic | Récupération | La lecture d'une page ouverte depuis Claude |
ClaudeBot |
Anthropic | Entraînement | La connaissance de votre marque dans les futurs Claude |
Bingbot |
Microsoft | Index | Copilot et Bing |
Applebot-Extended |
Apple | Entraînement | L'usage par les modèles Apple, Siri restant servi par Applebot |
MistralAI-User |
Mistral | Récupération | La lecture de vos pages par Le Chat |
CCBot |
Common Crawl | Entraînement | Une source reprise par de nombreux modèles tiers |
Ce paysage bouge vite. OAI-SearchBot est apparu en 2024, Claude-SearchBot a été séparé de ClaudeBot en 2025 : une liste figée dans un robots.txt il y a deux ans est nécessairement incomplète aujourd'hui. Relisez-la deux fois par an, et vérifiez les noms sur la documentation des éditeurs plutôt que sur des articles de blog, la page des robots d'OpenAI faisant référence pour son périmètre.
Le robots.txt minimal pour rester citable
Voici la configuration que nous recommandons par défaut à un site qui cherche des citations, entraînement compris :
User-agent: *
Allow: /
User-agent: OAI-SearchBot
Allow: /
User-agent: ChatGPT-User
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: Perplexity-User
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: Claude-User
Allow: /
User-agent: Google-Extended
Allow: /
Sitemap: https://exemple.fr/sitemap.xml
Soyons précis sur ce que fait réellement ce fichier : si votre User-agent: * autorise déjà tout, les blocs suivants ne changent rien techniquement. Ils servent à deux choses. D'abord à documenter une décision, pour que personne dans six mois ne ferme ces accès « par prudence ». Ensuite comme garde-fou, parce qu'un groupe nommé prend le pas sur le groupe générique : le jour où quelqu'un ajoutera un Disallow: /ressources/ au groupe *, les robots d'IA nommés garderont leur accès.
Si vous souhaitez refuser l'entraînement tout en restant citable, la nuance est simple à écrire : Disallow sur GPTBot, ClaudeBot, CCBot et Google-Extended, Allow sur les robots d'index et les récupérateurs. C'est un arbitrage légitime, notamment pour un éditeur dont le contenu est le produit. Il a un coût réel mais différé : votre marque restera absente des réponses données sans recherche web.
Les blocages que votre robots.txt ne montre pas
Dans la moitié des audits que nous menons, le robots.txt est correct et l'accès est pourtant refusé. Quatre causes, par fréquence décroissante.
- Le pare-feu du CDN, de loin la cause la plus fréquente depuis que Cloudflare a fait du blocage des crawlers d'IA un réglage par défaut pour les nouveaux domaines. Votre fichier dit
Allow, votre bordure répond403. Aucun robots.txt ne rattrape cela : le réglage se trouve dans les catégories de bots gérés, pas dans votre code. À partir du 15 septembre 2026, ces défauts se durcissent encore et bloquent les catégories Training et Agent sur les pages financées par la publicité, pour les nouveaux domaines comme pour les comptes gratuits qui ne s'y opposent pas explicitement. - Le rendu JavaScript. Googlebot exécute le JS, en différé. Les robots d'index et les récupérateurs des autres moteurs, non : ils lisent le HTML servi et repartent. Une application React ou Vue sans rendu serveur ni pré-rendu leur livre une coquille vide. C'est la raison technique pour laquelle un site peut être bien référencé sur Google et totalement absent de ChatGPT, comme nous l'expliquons dans notre guide pour être cité par ChatGPT.
- Les interdictions d'extrait :
nosnippet, unmax-snippetfixé très bas, ou undata-nosnippetposé sur un bloc autorisent la lecture mais interdisent la réutilisation. Vous êtes lu, jamais repris. - Les murs et les quotas : contenu derrière authentification, mur de cookies bloquant, ou limitation de débit qui renvoie des
429dès qu'un robot crawle une série de pages.
Content Signals : dire à quoi votre contenu peut servir
Le robots.txt sait dire « entre » ou « n'entre pas », jamais « entre, mais n'utilise pas ceci pour entraîner un modèle ». Cloudflare a proposé en septembre 2025 une réponse à ce manque, la Content Signals Policy, qui ajoute au fichier une ligne lisible par une machine séparant trois usages : l'indexation pour la recherche, l'usage comme source d'une réponse générée, et l'entraînement.
Le dispositif a commencé à trouver preneur. OpenAI, qui a séparé son robot de recherche de son robot d'entraînement, est le premier opérateur nommé à recevoir ces signaux, et Cloudflare annonce vouloir ouvrir le programme à d'autres moteurs. Notre avis, à ce stade : c'est un progrès réel, mais qui reste un accord entre acteurs, pas un standard du web opposable. Rien n'oblige un crawler à en tenir compte, et le respect constaté dépend de la bonne volonté de chacun. Les poser ne coûte rien et documente votre position, y compris juridiquement ; s'y fier seul pour protéger un contenu à valeur serait imprudent. Un refus qui doit être tenu s'applique à la bordure du réseau, pas dans un fichier texte.
Vérifier que les robots passent vraiment
Une politique d'accès ne vaut que ce que disent vos logs. Trois vérifications suffisent à sortir des suppositions.
Cherchez d'abord la trace des robots dans vos journaux serveur ou dans les analytics de votre CDN, en filtrant sur les user-agents du tableau ci-dessus. L'absence totale de OAI-SearchBot et de PerplexityBot sur trois mois est un diagnostic à elle seule. Contrôlez ensuite les codes retour : un robot qui reçoit systématiquement des 403 ou des 429 est bloqué en aval de votre robots.txt. Méfiez-vous enfin de l'usurpation, un user-agent se falsifie en une ligne, et les grands éditeurs publient les plages d'adresses IP de leurs robots précisément pour permettre cette vérification.
Le test le plus rapide reste manuel : demandez à ChatGPT ou à Perplexity de résumer une de vos pages en collant son URL. Si l'assistant répond qu'il n'y accède pas, vous avez la réponse en dix secondes.
Ce que l'accès ne règle pas
Ouvrir les robots est une condition nécessaire, jamais suffisante. Un site parfaitement accessible dont aucun paragraphe ne répond seul à une question précise ne sera pas davantage cité qu'un site fermé : la citation se joue au niveau du passage, et se gagne sur la clarté, la datation des faits et la concordance des sources, comme nous le détaillons dans notre méthode GEO. L'accès technique est simplement le chantier où l'on perd le plus vite, et celui qui se répare en une journée.
Pour la suite, la logique de sélection propre à chaque moteur diffère : voyez le référencement Perplexity pour un moteur qui cite systématiquement ses sources, et nos fourchettes de prix si vous cherchez à chiffrer un chantier de structuration.