Bloquer les robots d’IA n’est pas une case à cocher. C’est un arbitrage, et il a désormais une échéance.
Le 15 septembre 2026, Cloudflare bascule ses réglages par défaut. Sur les pages qui affichent de la publicité, les bots d’entraînement et les bots agents seront bloqués, la classe recherche restera autorisée. L’annonce précise un second point que peu d’éditeurs ont lu : les crawlers polyvalents seront jugés sur l’ensemble de leurs comportements, règle la plus stricte appliquée. Googlebot, Applebot et Bingbot en font partie.
Traduction pour votre site web : si vous avez coché « bloquer les bots IA » il y a un an, vous risquez de couper aussi l’indexation. Voici la grille pour trancher, robot par robot et section par section, avant qu’un réglage par défaut ne tranche à votre place.
EN BREF
L’arbitrage ne se prend pas pour un site entier. Il se prend section par section et robot par robot : un catalogue produit, une documentation technique et un blog n’ont ni la même valeur à céder ni le même retour à espérer. Trois options, autoriser, bloquer, facturer, et chacune a un coût. Ne rien décider revient à laisser un réglage par défaut décider pour vous.
Que sont les bots d’IA et que viennent-ils chercher sur votre site ?
Trois choses différentes sous un même nom. Certains crawlers d’IA construisent un index pour répondre plus tard, d’autres collectent du contenu pour entraîner des modèles, d’autres encore viennent chercher une URL en temps réel parce qu’un utilisateur vient de poser une question. Cloudflare a formalisé cette taxonomie en trois classes : recherche, entraînement, agent.
Trois familles de robots : indexation, entraînement, récupération à la demande
Les bots IA de la famille recherche explorent votre site web pour bâtir une base interrogeable. C’est le comportement historique des moteurs, le seul qui vous renvoie du trafic. Les bots IA d’entraînement, eux, absorbent votre contenu de façon permanente dans les paramètres d’un LLM. Rien ne revient, jamais.
La troisième famille de bots IA agit en temps réel pour une personne. ChatGPT-User et Claude-User vont chercher une page parce qu’un utilisateur a posé une question à l’instant. Un humain attend au bout du fil. Ces requêtes n’ont rien à voir avec de l’exploration de masse, et les traiter comme telles est la première erreur d’arbitrage.
Quelle différence entre un bot d’entraînement et un bot de type RAG ?
Le bot IA d’entraînement lit une fois, garde pour toujours, et ne cite personne. Votre texte devient un poids statistique dans un LLM, indiscernable des millions d’autres contenus avalés le même jour. Aucune citation, aucun lien retour, aucun visiteur.
Le bot de récupération fait l’inverse. Il va chercher votre URL au moment où la réponse se fabrique, il la cite comme source, il affiche un lien cliquable. C’est le seul des deux qui peut vous rapporter un visiteur. Confondre les deux dans une règle unique, c’est fermer la porte au second pour se protéger du premier.
DÉFINITION
Robot mixte : agent d’exploration qui combine l’indexation classique, la collecte pour l’apprentissage des modèles et la récupération à la demande sous un seul user agent. Le bloquer coupe les trois usages en même temps. Googlebot entre dans cette catégorie, et c’est ce qui rend son blocage si coûteux.
Ce que chacun prend, et ce qu’il renvoie en échange
Posez la question ainsi et l’arbitrage se simplifie. Un bot IA de recherche prend une copie et vous rend une place dans un index, donc une chance de citation. Un agent prend une URL et vous rend une visite, parfois une conversion. Un bot IA d’entraînement prend tout et ne rend rien de mesurable.
Ma règle : je n’accorde un accès gratuit qu’aux robots d’IA qui rendent quelque chose de traçable. Le reste se négocie ou se ferme.
Comment identifier les crawlers d’IA qui passent chez vous ?
Par le user agent d’abord, par l’adresse IP ensuite. Le user agent se lit dans vos logs, il se déclare, donc il se falsifie. La vérification passe par les plages d’adresses que chaque opérateur publie en JSON. Sans ce double contrôle, vous réglez à l’aveugle.
Reconnaître un user agent dans vos logs serveur : GPTBot, ClaudeBot, PerplexityBot
OpenAI documente quatre robots d’exploration distincts. GPTBot pour l’entraînement des modèles de fondation, OAI-SearchBot pour l’affichage dans les réponses de ChatGPT, ChatGPT-User pour les actions déclenchées par un utilisateur, OAI-AdsBot pour la vérification des pages d’annonces. Chaque réglage reste indépendant des autres.
Anthropic a fait la même chose en février 2026 : ClaudeBot pour la collecte, Claude-SearchBot pour l’index de recherche, Claude-User pour les requêtes lancées par une personne. Ajoutez PerplexityBot, CCBot pour Common Crawl, Bytespider pour ByteDance et Google-Extended pour Gemini : vous tenez la liste utile. Une analyse de logs sur trente jours suffit à voir qui passe réellement.
Pourquoi l’auto-identification ne suffit pas et comment vérifier l’origine
Un user agent est une chaîne de texte. N’importe quel script peut se déclarer GPTBot pour aspirer votre catalogue. Les opérateurs sérieux publient donc leurs plages d’adresses IP en JSON, à recouper avec les requêtes enregistrées par votre serveur.
Fermer une plage d’adresses a ses limites, et Anthropic le dit lui-même : ses robots d’exploration passent par des adresses cloud partagées. Les fermer peut aussi empêcher le robot de lire votre robots.txt, donc de respecter vos consignes. Vérifiez l’identité, ne fermez pas l’adresse.
Quels outils lire quand vous n’avez pas accès aux logs
Beaucoup de PME n’ont pas de logs exploitables. Le tableau de bord de votre CDN affiche alors le trafic des bots IA, avec sa classification et le volume de requêtes par agent.
Reste votre budget de crawl, qui donne un signal indirect. Une exploration qui grimpe sans que l’indexation bouge indique souvent qu’un robot de collecte s’est installé.
Autoriser, bloquer ou facturer : que coûte chaque option ?
Trois portes, trois factures. Autoriser coûte du contenu et de la bande passante. Bloquer coûte de la visibilité dans les réponses IA. Facturer coûte du temps de mise en place, et suppose que le robot accepte de payer. Aucune option n’est gratuite, et c’est pour cela qu’il faut arbitrer.
Autoriser : la citation contre le contenu
Vous cédez le droit de lire, vous espérez une citation. Ce troc tient quand le robot renvoie du trafic. OpenAI l’écrit noir sur blanc : un site web qui refuse OAI-SearchBot n’apparaîtra pas dans les réponses de la recherche ChatGPT. Anthropic tient le même discours pour Claude-SearchBot, et Perplexity fonctionne sur le même principe.
Le pari reste raisonnable sur un contenu qui sert d’appât commercial. Beaucoup moins sur une base que vos concurrents pourraient reconstituer à partir des réponses.
Bloquer : ce que vous perdez en visibilité générative
Fermer largement vous retire des réponses IA, sans exception et sans préavis. Le piège se referme surtout sur les robots d’IA mixtes. Google le documente clairement : les directives adressées à Googlebot gouvernent aussi les Aperçus IA et le Mode IA, parce que l’IA est intégrée à la recherche.
Il n’existe donc pas de bouton pour sortir des Aperçus IA en restant dans les résultats classiques. Aucun. Google-Extended ne remplit pas ce rôle : il limite l’apprentissage dans d’autres systèmes, pas l’affichage dans les moteurs de recherche. C’est le mécanisme qui explique pourquoi tant de sites sont bien classés sans être cités par les IA.
Facturer : comment fonctionne un accès payant et qui peut le mettre en place
Le mécanisme est documenté. Le serveur répond au crawler par un code HTTP 402 accompagné d’un en-tête crawler-price qui annonce le tarif. Le robot renvoie sa requête avec un en-tête crawler-exact-price ou crawler-max-price, signé selon Web Bot Auth : une paire de clés Ed25519 et une signature de message HTTP. S’il accepte, il reçoit un code 200 et un en-tête crawler-charged qui confirme le montant facturé.
Propre sur le papier. Commercialement, cela suppose que le robot ait signé, ce qui reste minoritaire. Les éditeurs ont intérêt à créer cet accès pour la donnée qu’il produit, pas pour le revenu qu’il promet.
À RETENIR
Autoriser : vous gagnez une chance de citation et un lien, vous perdez le contrôle de l’utilisation. Bloquer : vous protégez le contenu, vous perdez la visibilité dans les réponses IA et parfois l’indexation. Facturer : vous gagnez une trace comptable de qui prend quoi, vous perdez du temps de configuration et vous dépendez du crawler.
Comment écrire les directives sans casser votre référencement ?
En nommant chaque user agent séparément, et en testant. La RFC 9309 est claire sur un point que beaucoup de propriétaires de sites ignorent : les règles du fichier robots.txt ne sont pas une autorisation d’accès. Elles expriment une préférence que les robots honnêtes respectent.
Ce que le fichier robots.txt permet, et ce qu’il ne garantit pas
Le fichier cible un robot par son jeton, ferme un répertoire, en rouvre un sous-ensemble. Il ne garantit rien : un crawler qui ignore la norme accède quand même à vos URL, et vous n’avez aucun recours à ce niveau.
Deuxième limite, plus subtile. OpenAI précise que ChatGPT-User sert des actions lancées par un utilisateur, et que le fichier peut ne pas s’y appliquer. Le refus se joue alors sur le serveur ou dans le pare-feu applicatif.
Les directives Disallow par user agent, avec les pièges de syntaxe
Un groupe par robot d’IA, une ligne User-agent, puis Allow et Disallow. La correspondance est sensible à la casse, et la plus spécifique gagne. Voici une politique lisible qui refuse la collecte tout en laissant la recherche générative accéder au site.
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: CCBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /
User-agent: Claude-SearchBot
Allow: /Le piège classique : croire qu’un Disallow sur GPTBot ferme la porte à OpenAI. Il ne ferme que l’entraînement. OAI-SearchBot et ChatGPT-User ont leurs propres jetons et continuent d’accéder à vos contenus.
Pourquoi bloquer un robot mixte coupe aussi l’indexation classique
C’est le changement qui rend cet automne différent. À partir du 15 septembre, Cloudflare applique aux robots polyvalents la règle la plus restrictive de leurs comportements. Un site web qui refuse l’entraînement fermera donc la porte à Googlebot, Applebot et Bingbot, puisque ces crawlers cumulent recherche et collecte.
La conséquence est brutale : une règle posée pour protéger votre contenu peut vous sortir de l’index. La désinscription reste possible dans les paramètres de sécurité de votre zone, à condition de le faire avant le 15 septembre. C’est le seul point de cet article qui ne souffre aucun report.
La matrice de décision, section par section
Un site web n’est pas un bloc. Vos URL n’ont ni la même valeur pour un LLM, ni le même potentiel de conversion, ni le même coût de reproduction. La décision se prend donc par répertoire, avec une règle simple : plus une section est facile à résumer sans vous citer, moins elle a intérêt à rester ouverte à la collecte.
Quelle valeur a votre contenu pour un modèle ?
Un modèle d’IA cherche des faits structurés, des définitions nettes, des procédures. Il digère mal une page de vente. Une documentation technique, en revanche, se résume toute seule, et vos sections qui répondent à une question fermée sont les plus exposées.
À l’inverse, un contenu qui vaut par le contexte, l’arbitrage et la signature résiste mieux. Il se cite plus qu’il ne se copie, et c’est exactement ce que le GEO cherche à produire.
Quelles sections ouvrir, lesquelles fermer, avec la règle de décision
Ouvrez large sur ce qui vous fait connaître : pages de service, articles d’expertise, études de cas publiques. Fermez sur ce qui constitue votre actif reproductible, bases de données, comparateurs, calculateurs, catalogues détaillés.
Entre les deux, tranchez avec une question. Si un utilisateur obtient votre réponse complète sans venir, cette section travaille contre vous. Un fichier llms.txt peut ensuite guider ceux que vous laissez accéder au site vers ce que vous voulez voir cité.
Vérifier ce que votre hébergeur ou votre CDN a déjà tranché pour vous
Ouvrez les paramètres de sécurité de votre zone et lisez ce qui est coché. Beaucoup de propriétaires de sites découvrent qu’un préréglage refuse déjà les bots IA, activé lors d’une migration.
Contrôlez ensuite le fichier robots.txt réel, pas celui que vous croyez avoir. Certains services le génèrent et y ajoutent des signaux de contenu, comme Content-Signal, sans vous consulter. Un audit SEO commence par cette lecture.
À RETENIR
Contenu de notoriété, articles et pages de service : laisser les trois classes accéder. Documentation et guides : recherche ouverte, collecte fermée. Données propriétaires, catalogues et comparateurs : fermer, ou facturer si votre infrastructure le permet et si le robot en face a signé. Espace client : fermer aux agents.
Une décision non prise est une décision prise par défaut
Le débat public oppose deux camps caricaturaux : tout fermer pour protéger son contenu, tout ouvrir pour exister dans les réponses. Même défaut des deux côtés. Ils traitent un site web comme un objet uniforme alors qu’il est un assemblage de sections aux valeurs inégales.
Ma position tient en une phrase. Décidez robot par robot, section par section, et datez votre choix. Un blocage hérité que personne ne sait justifier coûte toujours plus cher que le contenu qu’il protégeait.
Cet article expose un cadre, pas un conseil juridique sur vos droits de fouille de textes. Si vous voulez que j’ouvre vos logs, que je lise vos réglages CDN et que je pose cette matrice sur votre site avant l’échéance, écrivez-moi.
Sources et références
Cet article s’appuie sur l’annonce Cloudflare du 1er juillet 2026 sur les nouvelles options de gestion du trafic lié à l’IA, qui documente la taxonomie en trois classes, la bascule des réglages par défaut au 15 septembre 2026 et le traitement des crawlers polyvalents. Le mécanisme d’accès payant est décrit dans la documentation du pay per crawl, avec les codes de réponse et les en-têtes de prix. Les rôles respectifs de GPTBot, OAI-SearchBot et ChatGPT-User proviennent de la page officielle des robots d’exploration d’OpenAI. La portée des directives adressées à Googlebot et celle de Google-Extended sont précisées dans le guide Fonctionnalités d’IA et votre site Web de Google Search Central. Enfin, le statut réel du fichier robots.txt est défini par la norme RFC 9309 du protocole d’exclusion des robots.
FAQ - Vos questions avant de toucher au fichier
Faut-il bloquer tous les robots IA dans le fichier robots.txt ?
Non, parce que les robots d’IA ne font pas tous la même chose. Une règle globale coupe la collecte, mais aussi les bots IA de recherche qui peuvent vous citer et vous renvoyer des visiteurs. La bonne pratique consiste à nommer chaque user agent et à décider séparément.
Bloquer GPTBot empêche-t-il ChatGPT de citer mon site ?
Non. GPTBot sert à collecter du contenu pour entraîner les modèles de fondation d’OpenAI. L’affichage dans les réponses de ChatGPT dépend d’OAI-SearchBot, un agent distinct avec son propre jeton robots.txt.
Le fichier robots.txt suffit-il à bloquer un robot d’IA ?
Il exprime une préférence, pas une autorisation d’accès, et la RFC 9309 le dit explicitement. Un bot IA qui ignore la norme accède quand même à vos contenus. Pour un refus effectif, il faut une règle sur le serveur, dans le pare-feu applicatif ou chez votre CDN.
Bloquer les robots d’IA nuit-il au référencement Google ?
Cela dépend du robot d’IA visé. Fermer Google-Extended limite l’apprentissage de certains systèmes sans toucher au classement. Fermer le robot d’indexation, en revanche, vous retire de l’index et des fonctionnalités d’IA de la recherche en même temps.
Quelle différence entre les bots d’entraînement et les bots de récupération ?
Le bot d’entraînement absorbe votre contenu de façon permanente dans un LLM, sans citation ni lien. Le bot de récupération vient chercher une URL au moment où une réponse se construit et affiche généralement votre source. Seul le second peut vous rapporter du trafic.
Un petit site a-t-il intérêt à facturer l’accès ?
Rarement pour le revenu, souvent pour la donnée. L’accès payant montre précisément qui vient chercher quoi, ce qu’aucun autre outil ne fait aussi bien. Considérez-le comme un instrument de mesure avant d’y voir une source de chiffre d’affaires.
Que faire si un robot ignore mes directives ?
Vérifiez d’abord son identité en recoupant l’adresse IP avec les plages publiées par l’opérateur, car beaucoup d’usurpations circulent. Si l’origine est confirmée, remontez au support avec vos logs. En parallèle, fermez l’accès dans le pare-feu applicatif.
