En réglant mon robots.txt, j’ai réalisé que « les bots IA » n’existent pas comme un bloc. Il y a deux familles, et les confondre, c’est soit se fermer aux citations, soit laisser entraîner ses contenus sans le vouloir.
Entraînement vs réponse
| User-agent | Qui | Ce qu’il fait |
|---|---|---|
GPTBot | OpenAI | Indexe pour entraîner les modèles |
OAI-SearchBot / ChatGPT-User | OpenAI | Récupère pour répondre + citer dans ChatGPT Search |
ClaudeBot | Anthropic | Entraînement |
Claude-SearchBot / Claude-User | Anthropic | Réponse + citation dans Claude |
PerplexityBot | Perplexity | Réponse + citation |
MistralAI-User | Mistral | Récupération à la demande dans Le Chat (cite la source) |
Google-Extended | Gemini / AI Overviews |
Le point clé : Anthropic et OpenAI séparent entraînement et recherche. Tu peux autoriser Claude-SearchBot (apparaître dans les réponses) tout en bloquant ClaudeBot (rester hors des données d’entraînement). Ce sont deux lignes différentes.
Mon choix : ouvrir aux moteurs de réponse
Mon contenu est public et son but est d’être trouvé. J’autorise donc explicitement les bots de réponse — c’est eux qui amènent un lien cliquable, donc des visiteurs :
User-agent: *
Allow: /
User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
User-agent: MistralAI-User
User-agent: Google-Extended
Allow: /
Sitemap: https://exemple.fr/sitemap-index.xmlUn site marchand qui protège un catalogue ferait l’inverse pour les bots d’entraînement. Ça dépend de ce que tu vends : si c’est ton contenu, tu le protèges ; si c’est ta visibilité, tu l’ouvres.
Le piège : robots.txt est une politesse
C’est le truc qu’on oublie. robots.txt n’est pas un pare-feu : c’est une demande polie. Fin 2025, ~13 % des requêtes de bots IA l’ignoraient (×4 en deux trimestres), et certains crawlers « furtifs » ont été pris la main dans le sac.
Donc :
- Pour autoriser,
robots.txtsuffit. - Pour bloquer réellement, il faut le faire au niveau serveur : nginx (
if ($http_user_agent ~* ...) { return 403; }) ou une règle WAF Cloudflare.
Et le piège dans le piège : si tu es derrière Cloudflare avec le blocage des bots IA activé, tu peux bloquer sans le savoir les moteurs qui t’auraient cité. Vérifie les deux côtés.
Régler son robots.txt, ce n’est pas cocher une case. C’est décider, bot par bot, si tu préfères être appris ou être cité.