robots.txt et robots d'IA : GPTBot, ClaudeBot, PerplexityBot, faut-il les bloquer ?

Ton site reçoit chaque jour la visite de dizaines de robots. Certains servent à t'afficher dans Google, d'autres à te citer dans ChatGPT, d'autres encore à entraîner des modèles d'IA. Le fichier robots.txt te permet de choisir qui entre. Encore faut-il savoir qui est qui.

Le robots.txt en 30 secondes

Le fichier robots.txt est un simple fichier texte placé à la racine de ton site (https://www.exemple.fr/robots.txt). Il contient des groupes de règles : chaque groupe commence par User-agent (le nom du robot visé) suivi de lignes Allow ou Disallow (les chemins autorisés ou interdits).

Deux points à connaître :

• Un robot applique le groupe qui le nomme le plus précisément. S'il existe un groupe User-agent: GPTBot, GPTBot ignore le groupe User-agent: *.
• Le robots.txt est une convention : les robots sérieux la respectent, mais ce n'est pas une protection technique.

Les trois familles de robots d'IA

Tous les robots d'IA ne font pas la même chose. Les bloquer en bloc est l'erreur la plus courante.

1. Les robots de recherche des IA : à autoriser

Ils trouvent et lisent les pages que l'assistant cite dans ses réponses. Les bloquer, c'est renoncer à être cité.

Robot	Assistant
OAI-SearchBot	ChatGPT (recherche)
Claude-SearchBot	Claude
PerplexityBot	Perplexity
DuckAssistBot	DuckDuckGo (réponses IA)

2. Les robots qui visitent à la demande : à autoriser

Ils ouvrent ta page quand un utilisateur demande à l'assistant de la lire ou de la résumer : ChatGPT-User, Claude-User, Perplexity-User, MistralAI-User. Ils agissent pour une personne précise, comme un navigateur. Certains éditeurs indiquent d'ailleurs que ces agents peuvent ne pas appliquer les règles du robots.txt.

3. Les robots d'entraînement : à toi de choisir

Ils collectent du contenu pour entraîner les modèles :

Robot	Éditeur
GPTBot	OpenAI
ClaudeBot	Anthropic
Google-Extended	Google (Gemini)
Applebot-Extended	Apple
Meta-ExternalAgent	Meta
CCBot	Common Crawl, utilisé par de nombreux modèles
Bytespider	ByteDance
Amazonbot	Amazon

Les bloquer est un choix légitime : ça n'empêche pas d'être cité par les robots de recherche de la famille 1. À l'inverse, les autoriser permet à ton contenu de faire partie des connaissances des futurs modèles.

Le cas particulier de Google

Google-Extended n'est pas un robot à part : c'est un jeton que Googlebot respecte. Le bloquer indique à Google de ne pas utiliser ton contenu pour entraîner Gemini, sans effet sur ton classement dans la recherche Google. Ne bloque jamais Googlebot lui-même, sauf si tu veux disparaître de Google.

Un robots.txt équilibré, prêt à adapter

Ce modèle ouvre ton site aux moteurs de recherche et aux IA qui citent leurs sources, et refuse l'entraînement des modèles. Supprime le second bloc si tu acceptes l'entraînement.

# Moteurs de recherche et IA de recherche : bienvenue
User-agent: *
Allow: /
Disallow: /admin/

# Entraînement des modèles d'IA : refusé
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: Meta-ExternalAgent
User-agent: CCBot
User-agent: Bytespider
Disallow: /

Sitemap: https://www.exemple.fr/sitemap.xml

Remplace /admin/ par les zones privées de ton site et l'adresse du sitemap par la tienne.

Le piège : ton robots.txt dit oui, ton hébergeur dit non

C'est le problème le plus sournois. Ton robots.txt autorise tout, mais un pare-feu, une protection anti-bots ou une limite de débit chez ton hébergeur ou ton CDN renvoie une erreur 403 ou 429 aux robots d'IA. Certaines offres proposent même une option « bloquer les robots d'IA » activée par défaut.

Résultat : les robots ne lisent rien, et rien ne te prévient. Pour le détecter, il faut appeler ton site en se présentant comme chaque robot et regarder le code HTTP renvoyé. C'est ce que fait la simulation des crawlers de Rankora, avec les vrais user-agents publiés par chaque éditeur.

Questions fréquentes

Bloquer GPTBot m'empêche-t-il d'apparaître dans ChatGPT ?

Non. La recherche de ChatGPT utilise OAI-SearchBot. Bloquer GPTBot refuse l'entraînement, pas la citation.

Où se trouve mon robots.txt ?

À la racine de ton domaine : ajoute /robots.txt à l'adresse de ton site. Sur WordPress, Shopify ou Wix, il est généré automatiquement et se modifie via les réglages SEO ou une extension.

Faut-il aussi un fichier llms.txt ?

Ce n'est pas obligatoire, mais c'est un complément utile et rapide à créer : voir notre guide llms.txt.