Le fichier robots.txt est un fichier texte qui indique aux robots des moteurs de recherche les parties d’un site qu’ils peuvent explorer. Une seule instruction suffit à tout leur interdire : Disallow: /. Si cette version de préproduction part en ligne après une refonte, Googlebot n’explore plus rien. Les pages qu’il connaissait déjà peuvent rester dans les résultats, sans description.
Un site de PME n’a besoin que de quelques lignes. Je détaille celles à écrire, les erreurs à éviter et le contrôle à faire.
Le rôle exact du fichier robots.txt
Le fichier applique le protocole d’exclusion des robots (Robots Exclusion Protocol), un standard proposé par Martijn Koster en 1994 et normalisé en 2022 par la RFC 9309. Les crawlers des moteurs de recherche, qu’on appelle aussi robots d’exploration ou robots d’indexation, le demandent au serveur avant de parcourir un site. Google le présente comme un moyen de gérer leur trafic, pour éviter de surcharger votre site de demandes.
Ces instructions restent une indication : Googlebot et Bingbot les respectent, un robot malveillant peut les ignorer.
Un fichier public placé à la racine du domaine
Les robots ne cherchent le fichier qu’à un seul emplacement, la racine de l’hôte : https://www.exemple.fr/robots.txt. Un fichier déposé dans un sous-répertoire n’est jamais lu.
Les règles ne s’appliquent qu’au protocole, à l’hôte et au port qui servent le fichier. La version http d’un site ne suit donc pas celles de la version https, et un sous-domaine ne suit que son propre fichier. Le nom du fichier et ses chemins sont sensibles à la casse : /Boutique/ et /boutique/ désignent deux emplacements différents.
Tout internaute peut afficher ce fichier dans son navigateur, y compris un concurrent curieux de vos sections fermées. Il n’offre donc aucune protection aux données sensibles.
Une URL bloquée peut rester dans l’index
Le fichier règle l’exploration, c’est-à-dire les adresses qu’un robot a le droit de demander. L’indexation, la présence d’une page dans les résultats, dépend d’autres réglages. La présentation publiée par Google le précise : une page bloquée peut être indexée si d’autres sites renvoient vers elle. Elle s’affiche alors sans description, puisque le robot ne peut plus lire son contenu.
Le bon outil selon votre objectif
Quatre outils agissent à des niveaux différents, et je choisis selon le résultat attendu.
| Outil | Il agit sur | Utilisation type |
|---|---|---|
| Fichier robots.txt | L’exploration d’un chemin | Fermer la recherche interne ou le panier |
| Balise meta robots noindex | L’indexation d’une page HTML | Retirer une page de l’index, à condition que le robot puisse encore la lire |
| En-tête HTTP X-Robots-Tag | L’indexation de tout fichier, PDF compris | Retirer un PDF de l’index, avec la même condition |
| Mot de passe | La consultation de la page | Protéger un espace client ou un contenu privé |
Le délai avant la lecture d’une modification
Google garde le fichier en cache, en général 24 heures selon sa spécification, et plus longtemps quand une nouvelle lecture échoue. Un en-tête Cache-Control peut allonger ou raccourcir cette durée. La RFC 9309 recommande la même limite, si bien qu’une correction faite ce matin n’est pas forcément lue avant demain.
Comment créer le fichier robots.txt
La création prend quelques minutes et ne demande aucun outil spécifique. Google la découpe en 4 étapes :
- ouvrez un éditeur de texte comme le Bloc-notes ou TextEdit, puis enregistrez un fichier nommé robots.txt, encodé en UTF-8 ;
- ajoutez vos règles, à raison d’une instruction par ligne ;
- placez le fichier à la racine du site, par FTP ou depuis le gestionnaire de fichiers de votre hébergeur ;
- testez le résultat en ouvrant son adresse dans une fenêtre de navigation privée, puis dans le rapport de la Search Console.
Évitez les logiciels de traitement de texte, qui enregistrent souvent dans un format propriétaire et ajoutent des caractères inattendus, comme les guillemets courbes. Aucun envoi aux moteurs de recherche n’est nécessaire : leurs robots trouvent seuls le fichier.
Ce que votre CMS écrit à votre place
WordPress sert un fichier robots.txt virtuel si la racine n’en contient aucun, et un plugin SEO comme Yoast SEO ou Rank Math le rend modifiable. Un fichier physique placé à la racine remplace cette version virtuelle. L’éditeur du plugin se bloque alors, ou modifie directement ce fichier.
Shopify génère son propre fichier, modifiable par le modèle robots.txt.liquid, et sa version par défaut ferme déjà le panier et le paiement. Wix propose un éditeur dans ses outils SEO.
Avant de modifier quoi que ce soit, j’ouvre l’adresse /robots.txt pour voir le contenu que le serveur envoie aux robots.
Lire et écrire les directives
Le fichier se compose de groupes de règles, dont l’ordre ne compte pas. Une faute de frappe annule la règle concernée sans bloquer le reste, et seul le rapport de la Search Console la signale.
Les quatre champs lus par Googlebot
Googlebot ne lit que 4 champs : user-agent, allow, disallow et sitemap. Par exemple, 6 lignes suffisent à un site WordPress.
# Règles communes à tous les robots
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /?s=
Sitemap: https://www.exemple.fr/sitemap_index.xml
Le user agent désigne le nom du robot visé. Le champ User-agent ouvre un groupe de règles : l’astérisque vise tous les robots, et User-agent: Googlebot ne vise que celui de Google. Allow est une directive qui rouvre un sous-chemin précis à l’intérieur d’un chemin fermé. Ce fichier ferme donc l’administration et la recherche interne, et laisse accessible admin-ajax.php, que certains thèmes appellent depuis les pages publiques.
Le croisillon (#) ouvre un commentaire qu’aucun robot ne lit. Sitemap est un champ facultatif qui donne l’adresse du sitemap XML, n’importe où dans le fichier.
DÉFINITION
Disallow est une directive qui interdit à un robot nommé, ou à tous les robots, d’explorer les URL dont le chemin commence par une valeur donnée. Elle n’empêche ni l’indexation de ces URL ni leur consultation par un visiteur.
Un robot ne suit qu’un seul groupe, celui qui le nomme le plus précisément. Si vous ajoutez un groupe Googlebot, ce robot ignore le groupe * et les règles communes doivent y être recopiées. Bing documente le même comportement pour Bingbot. Les robots AdsBot de Google Ads ignorent toujours le groupe * et doivent être nommés à part.
Les caractères génériques et la priorité entre les règles
L’astérisque remplace n’importe quelle suite de caractères. La règle Disallow: /*?tri= ferme les URL dont le premier paramètre est tri ; ajoutez Disallow: /*&tri= pour viser aussi celles où il arrive ensuite. Le signe $ marque la fin de l’URL. Disallow: /*.pdf$ ferme les fichiers PDF sans toucher à une page qui contient « .pdf » ailleurs.
Quand plusieurs règles visent la même URL, Google retient celle dont le chemin est le plus long. À longueur égale, la moins restrictive l’emporte. Avec Disallow: /boutique/ et Allow: /boutique/promotions/, la page /boutique/promotions/hiver reste explorable, et /boutique/panier ne l’est pas.
Les champs que Googlebot ignore
Depuis le 1er septembre 2019, Google n’applique plus les règles non documentées, comme nofollow, et un champ Noindex: n’a aucun effet. Il ignore aussi la directive crawl-delay, que Bingbot respecte.
Tout contenu situé au-delà de 500 Kio (kibioctets) est ignoré. Un fichier de quelques dizaines de lignes ne fait que quelques kilooctets et reste loin de cette limite.
Exemples de règles selon votre besoin
Adaptez le chemin de ces exemples, puis testez le fichier avant de le publier.
| Votre besoin | Règles à écrire |
|---|---|
| Autoriser tout le site | User-agent: *Disallow: |
| Interdire tout le site à tous les robots | User-agent: *Disallow: / |
| Interdire un répertoire | User-agent: *Disallow: /archives/ |
| Bloquer une image dans Google Images | User-agent: Googlebot-ImageDisallow: /images/photo.jpg |
| Fermer une section à Googlebot seul | User-agent: GooglebotDisallow: /essais/ |
| Fermer le site à GPTBot, le robot d’OpenAI | User-agent: GPTBotDisallow: / |
Les zones qu’un site de PME ferme aux robots
Un fichier bien construit ferme peu de chemins. J’interdis seulement les URL inutiles à un internaute venu d’un moteur de recherche, celles qui se multiplient sans apporter de contenu.
Les zones à fermer
Sur un site vitrine ou une boutique, je ferme 4 familles d’URL :
- l’espace d’administration et les pages de connexion ;
- la recherche interne (/?s= ou /recherche/), où chaque requête d’un visiteur crée une nouvelle URL ;
- les pages de panier et de compte client ;
- les paramètres de tri ou d’affichage, qui présentent la même liste de produits dans un autre ordre.
Les filtres d’une catégorie demandent plus de prudence, car certains correspondent à de vraies recherches, par exemple « chaussures en cuir marron ». Je traite la navigation à facettes filtre par filtre, avant d’écrire la moindre règle.
Les fichiers et les pages à laisser ouverts
Pour comprendre une page, Google en fait le rendu comme un navigateur et charge ses fichiers CSS et JavaScript. Si le fichier robots.txt ferme le répertoire qui les contient, le robot travaille sur une page incomplète, et la documentation déconseille ce blocage.
Des photos de produits bloquées ne peuvent pas apparaître dans Google Images, alors que le référencement des images commence par leur exploration.
Fermer des pages utiles pour optimiser l’exploration n’apporte rien à un site de quelques centaines de pages, car les robots ne découvrent plus leurs liens internes. Le guide de Google sur le budget d’exploration vise les sites d’un million de pages, ou de 10 000 pages changeant chaque jour.
Les erreurs qui coupent votre site de Google
Quatre configurations arrêtent l’exploration, ou cachent aux robots une consigne que vous leur destiniez. Aucune ne déclenche d’alerte visible pour vos visiteurs.
Le fichier de préproduction mis en ligne
Pendant le développement, un fichier qui ferme tout (User-agent: * puis Disallow: /) évite que les robots explorent un site inachevé. Le risque apparaît à la mise en production, si les fichiers sont copiés en bloc. J’inscris donc ce contrôle dans la recette de chaque refonte de site, à côté du plan de redirections. Je le refais le jour de la bascule.
Bloquer une page pour la faire disparaître
Une ancienne offre ou une page de test se retire de l’index avec une balise noindex. La bloquer dans le fichier robots.txt empêche ce retrait, car le robot ne peut plus relire la page.
Suivez cet ordre :
- ajoutez la balise noindex sans toucher au fichier robots.txt ;
- attendez que la page sorte de l’index, ce que confirme le rapport Indexation des pages ;
- gardez-la ensuite explorable, car un blocage cacherait la consigne et la page pourrait revenir.
Un fichier qui renvoie une erreur serveur
Google adapte son comportement au code HTTP que renvoie l’adresse /robots.txt. Une panne de ce seul fichier peut donc suspendre l’exploration d’un site qui répond normalement à ses visiteurs.
| Réponse du serveur | Ce que fait Google |
|---|---|
| 2xx | Il lit le fichier et applique ses règles. |
| 3xx | Il suit au moins cinq redirections, puis traite le fichier comme absent. |
| 4xx, sauf 429 | Il considère qu’aucun fichier n’existe et explore sans restriction. |
| 5xx et 429 | Il cesse d’explorer le site pendant 12 heures et retente de lire le fichier. Il explore ensuite 30 jours selon sa dernière copie, ou sans restriction s’il n’en a aucune. |
| Erreur DNS ou délai dépassé | Il applique le même traitement qu’à une erreur 5xx. |
Une maintenance de l’hébergeur peut provoquer ces erreurs. Un pare-feu trop strict peut aussi faire expirer la requête de Googlebot.
Un plugin qui réécrit le fichier sans prévenir
Un changement de plugin SEO ou de thème peut modifier le contenu servi. Je le relis après chaque changement de ce type, en le comparant avec la dernière version connue. Avec ses 30 jours d’historique, le rapport robots.txt permet de dater une modification inattendue.
À RETENIR
Le jour de la mise en ligne, vérifiez que Disallow: / ne reste pas sous User-agent: * et que l’adresse /robots.txt répond en 200.
Une page à retirer de l’index reçoit une balise noindex et reste explorable, y compris après sa sortie.
Vérifier votre fichier dans la Search Console
La Search Console montre la version du fichier que Google a lue et teste aussi chaque adresse. Un validateur ou un générateur en ligne contrôle la syntaxe et aide à écrire les règles, sans montrer ce que le robot a récupéré. Un développeur peut aussi tester le fichier en local avec la bibliothèque open source de Google.
Le rapport robots.txt
Ce rapport est un outil des paramètres de la Search Console, qui a remplacé l’ancien outil de test retiré fin 2023. L’aide de Google le réserve aux propriétés de domaine et aux propriétés de préfixe d’URL sans chemin.
Pour chaque hôte (jusqu’aux 20 principaux dans une propriété de domaine), il affiche le fichier récupéré et la date de sa dernière lecture. Il signale aussi les instructions non analysées. Après une correction urgente, son menu propose de demander une nouvelle exploration, sans garantie de délai pour les pages débloquées.
Les deux statuts d’indexation à surveiller
Le rapport Indexation des pages classe les URL concernées sous deux statuts. « URL bloquée par le fichier robots.txt » désigne une URL que Googlebot n’explore pas et qui n’est pas indexée. Ce statut est normal pour l’administration, anormal pour une fiche produit.
DÉFINITION
Le statut « Indexée malgré le blocage par le fichier robots.txt » désigne une URL présente dans l’index. Le robot ne peut pas lire son contenu, et Google la connaît par les liens qui pointent vers elle.
Pour ce second statut, je tranche page par page. Si la page doit sortir de l’index, je lève le blocage et j’ajoute une balise noindex. Si elle doit rester visible, je lève seulement le blocage. Les pages explorées non indexées relèvent d’un autre diagnostic, puisque Google les a lues, puis écartées.
Tester une URL précise
L’inspection d’URL est un test page par page, qui indique dans le champ « Exploration autorisée ? » si une règle bloque l’adresse. La vue par défaut reflète la dernière exploration. Après chaque modification du fichier, je lance donc le test en ligne sur quelques pages types, de la page d’accueil à une fiche produit.
Le rapport Statistiques sur l’exploration, l’un des rapports sous-exploités de la console, compte ensuite chaque jour les demandes des robots.
Les robots d’IA : une ligne à écrire après un arbitrage
Le fichier sert aussi à nommer les robots d’IA, à commencer par GPTBot, l’un des robots d’OpenAI. Google-Extended est un jeton, sans robot propre : il indique si les contenus explorés peuvent servir aux modèles Gemini. Le refuser ne change rien à votre présence dans la recherche Google.
Depuis le 31 août 2026, tous les sites disposent du réglage « IA générative dans la Recherche », dans les paramètres de la Search Console. Il sert à sortir des Aperçus IA et du Mode IA, ainsi que de certaines fonctionnalités de Discover. Le 30 octobre 2026, Google a aussi annoncé qu’il lirait en 2027 un jeton commun de refus de l’entraînement, déclaré dans le fichier.
Chacun de ces réglages se décide en comparant les visites que ces outils vous envoient à l’usage qu’ils font de vos contenus. J’ai détaillé ailleurs les critères pour décider s’il faut bloquer les robots d’IA.
Relire votre fichier avant votre prochaine mise en ligne
Trois contrôles prennent quelques minutes et se font dès aujourd’hui :
- ouvrez
votresite.fr/robots.txtdans un navigateur et vérifiez que le fichier répond ; - cherchez
Disallow: /, sans rien après la barre oblique, sousUser-agent: *; - comparez cette version avec celle du rapport robots.txt, puis parcourez les pages classées « URL bloquée par le fichier robots.txt ».
Quand un de ces contrôles révèle un blocage inexpliqué, mon audit technique part de là. Je vérifie le fichier et les statuts d’indexation, puis les réglages de vos plugins, avant le reste du socle technique.
Sources et références
Cet article s’appuie sur la spécification de Google sur l’interprétation du protocole, sur son guide de création et d’envoi du fichier et sur l’aide de la Search Console consacrée au rapport du fichier. Le protocole lui-même est décrit par la norme RFC 9309 de l’IETF. L’aide de Bing Webmaster Tools documente le comportement de son robot.
Vos questions sur le fichier robots.txt
Où se trouve le fichier robots.txt d’un site WordPress ?
Il se trouve à la racine du domaine, à l’adresse votresite.fr/robots.txt, même quand aucun fichier n’existe sur le serveur. WordPress en génère alors une version virtuelle, que votre plugin SEO peut modifier.
Un site sans fichier robots.txt est-il pénalisé ?
Aucune pénalité ne s’applique. Sans fichier, les robots considèrent qu’aucune restriction n’existe et peuvent explorer toutes les URL du site. Un fichier reste utile pour fermer la recherche interne et déclarer l’adresse du sitemap XML.
Le fichier robots.txt améliore-t-il le référencement ?
Il n’apporte aucun gain de position par lui-même. Il évite aux robots de parcourir des pages inutiles et protège surtout vos pages d’un blocage involontaire. Sur un site de quelques centaines de pages, je le considère comme un réglage de sécurité.
Combien de temps faut-il à Google pour prendre en compte une modification ?
Selon sa spécification, Google relit le fichier en général dans les 24 heures. Les pages débloquées sont réexplorées ensuite, sans délai garanti. Après une correction urgente, demandez une nouvelle exploration depuis le rapport robots.txt.
Peut-on bloquer un seul PDF ou un dossier d’images ?
La règle Disallow: /docs/catalogue.pdf ferme ce seul fichier, et Disallow: /images/archives/ ferme un dossier entier. Pour sortir un PDF des résultats, l’en-tête HTTP X-Robots-Tag: noindex est la bonne méthode, car un fichier bloqué peut rester indexé.
Le fichier robots.txt protège-t-il des pages confidentielles ?
Il ne protège rien, puisqu’il est public et que chaque règle Disallow signale l’adresse d’une zone que vous préférez cacher. Une page confidentielle se protège par un mot de passe ou une authentification sur le serveur.
Faut-il un fichier robots.txt pour chaque sous-domaine ?
Oui, dès que vous voulez fermer des chemins sur ce sous-domaine. Les règles ne s’appliquent qu’à l’hôte qui publie le fichier, et blog.exemple.fr n’obéit pas à celui de boutique.exemple.fr. Un sous-domaine sans fichier est exploré sans restriction.
Bing lit-il le fichier de la même façon que Google ?
Bing applique le même protocole et respecte aussi la directive crawl-delay, que Google ignore. Quand un groupe nomme Bingbot, ce robot ne suit que ce groupe, sauf pour un crawl-delay écrit dans le groupe *, qu’il applique quand même.

