Aller au contenu

Robots.txt : écrire un fichier qui ne bloque que ce qu’il doit bloquer

Robots d’exploration en forme de lettres de Google, en 3D, posés sur une page de recherche Google

Le fichier robots.txt est un fichier texte qui indique aux robots des moteurs de recherche les parties d’un site qu’ils peuvent explorer. Une seule instruction suffit à tout leur interdire : Disallow: /. Si cette version de préproduction part en ligne après une refonte, Googlebot n’explore plus rien. Les pages qu’il connaissait déjà peuvent rester dans les résultats, sans description.

Un site de PME n’a besoin que de quelques lignes. Je détaille celles à écrire, les erreurs à éviter et le contrôle à faire.

Le rôle exact du fichier robots.txt

Le fichier applique le protocole d’exclusion des robots (Robots Exclusion Protocol), un standard proposé par Martijn Koster en 1994 et normalisé en 2022 par la RFC 9309. Les crawlers des moteurs de recherche, qu’on appelle aussi robots d’exploration ou robots d’indexation, le demandent au serveur avant de parcourir un site. Google le présente comme un moyen de gérer leur trafic, pour éviter de surcharger votre site de demandes.

Ces instructions restent une indication : Googlebot et Bingbot les respectent, un robot malveillant peut les ignorer.

Un fichier public placé à la racine du domaine

Les robots ne cherchent le fichier qu’à un seul emplacement, la racine de l’hôte : https://www.exemple.fr/robots.txt. Un fichier déposé dans un sous-répertoire n’est jamais lu.

Les règles ne s’appliquent qu’au protocole, à l’hôte et au port qui servent le fichier. La version http d’un site ne suit donc pas celles de la version https, et un sous-domaine ne suit que son propre fichier. Le nom du fichier et ses chemins sont sensibles à la casse : /Boutique/ et /boutique/ désignent deux emplacements différents.

Tout internaute peut afficher ce fichier dans son navigateur, y compris un concurrent curieux de vos sections fermées. Il n’offre donc aucune protection aux données sensibles.

Une URL bloquée peut rester dans l’index

Le fichier règle l’exploration, c’est-à-dire les adresses qu’un robot a le droit de demander. L’indexation, la présence d’une page dans les résultats, dépend d’autres réglages. La présentation publiée par Google le précise : une page bloquée peut être indexée si d’autres sites renvoient vers elle. Elle s’affiche alors sans description, puisque le robot ne peut plus lire son contenu.

Le bon outil selon votre objectif

Quatre outils agissent à des niveaux différents, et je choisis selon le résultat attendu.

Outil Il agit sur Utilisation type
Fichier robots.txt L’exploration d’un chemin Fermer la recherche interne ou le panier
Balise meta robots noindex L’indexation d’une page HTML Retirer une page de l’index, à condition que le robot puisse encore la lire
En-tête HTTP X-Robots-Tag L’indexation de tout fichier, PDF compris Retirer un PDF de l’index, avec la même condition
Mot de passe La consultation de la page Protéger un espace client ou un contenu privé

Le délai avant la lecture d’une modification

Google garde le fichier en cache, en général 24 heures selon sa spécification, et plus longtemps quand une nouvelle lecture échoue. Un en-tête Cache-Control peut allonger ou raccourcir cette durée. La RFC 9309 recommande la même limite, si bien qu’une correction faite ce matin n’est pas forcément lue avant demain.

Comment créer le fichier robots.txt

La création prend quelques minutes et ne demande aucun outil spécifique. Google la découpe en 4 étapes :

  1. ouvrez un éditeur de texte comme le Bloc-notes ou TextEdit, puis enregistrez un fichier nommé robots.txt, encodé en UTF-8 ;
  2. ajoutez vos règles, à raison d’une instruction par ligne ;
  3. placez le fichier à la racine du site, par FTP ou depuis le gestionnaire de fichiers de votre hébergeur ;
  4. testez le résultat en ouvrant son adresse dans une fenêtre de navigation privée, puis dans le rapport de la Search Console.

Évitez les logiciels de traitement de texte, qui enregistrent souvent dans un format propriétaire et ajoutent des caractères inattendus, comme les guillemets courbes. Aucun envoi aux moteurs de recherche n’est nécessaire : leurs robots trouvent seuls le fichier.

Ce que votre CMS écrit à votre place

WordPress sert un fichier robots.txt virtuel si la racine n’en contient aucun, et un plugin SEO comme Yoast SEO ou Rank Math le rend modifiable. Un fichier physique placé à la racine remplace cette version virtuelle. L’éditeur du plugin se bloque alors, ou modifie directement ce fichier.

Shopify génère son propre fichier, modifiable par le modèle robots.txt.liquid, et sa version par défaut ferme déjà le panier et le paiement. Wix propose un éditeur dans ses outils SEO.

Avant de modifier quoi que ce soit, j’ouvre l’adresse /robots.txt pour voir le contenu que le serveur envoie aux robots.

Lire et écrire les directives

Le fichier se compose de groupes de règles, dont l’ordre ne compte pas. Une faute de frappe annule la règle concernée sans bloquer le reste, et seul le rapport de la Search Console la signale.

Les quatre champs lus par Googlebot

Googlebot ne lit que 4 champs : user-agent, allow, disallow et sitemap. Par exemple, 6 lignes suffisent à un site WordPress.

# Règles communes à tous les robots
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /?s=
Sitemap: https://www.exemple.fr/sitemap_index.xml

Le user agent désigne le nom du robot visé. Le champ User-agent ouvre un groupe de règles : l’astérisque vise tous les robots, et User-agent: Googlebot ne vise que celui de Google. Allow est une directive qui rouvre un sous-chemin précis à l’intérieur d’un chemin fermé. Ce fichier ferme donc l’administration et la recherche interne, et laisse accessible admin-ajax.php, que certains thèmes appellent depuis les pages publiques.

Le croisillon (#) ouvre un commentaire qu’aucun robot ne lit. Sitemap est un champ facultatif qui donne l’adresse du sitemap XML, n’importe où dans le fichier.

DÉFINITION

Disallow est une directive qui interdit à un robot nommé, ou à tous les robots, d’explorer les URL dont le chemin commence par une valeur donnée. Elle n’empêche ni l’indexation de ces URL ni leur consultation par un visiteur.

Un robot ne suit qu’un seul groupe, celui qui le nomme le plus précisément. Si vous ajoutez un groupe Googlebot, ce robot ignore le groupe * et les règles communes doivent y être recopiées. Bing documente le même comportement pour Bingbot. Les robots AdsBot de Google Ads ignorent toujours le groupe * et doivent être nommés à part.

Les caractères génériques et la priorité entre les règles

L’astérisque remplace n’importe quelle suite de caractères. La règle Disallow: /*?tri= ferme les URL dont le premier paramètre est tri ; ajoutez Disallow: /*&tri= pour viser aussi celles où il arrive ensuite. Le signe $ marque la fin de l’URL. Disallow: /*.pdf$ ferme les fichiers PDF sans toucher à une page qui contient « .pdf » ailleurs.

Quand plusieurs règles visent la même URL, Google retient celle dont le chemin est le plus long. À longueur égale, la moins restrictive l’emporte. Avec Disallow: /boutique/ et Allow: /boutique/promotions/, la page /boutique/promotions/hiver reste explorable, et /boutique/panier ne l’est pas.

Les champs que Googlebot ignore

Depuis le 1er septembre 2019, Google n’applique plus les règles non documentées, comme nofollow, et un champ Noindex: n’a aucun effet. Il ignore aussi la directive crawl-delay, que Bingbot respecte.

Tout contenu situé au-delà de 500 Kio (kibioctets) est ignoré. Un fichier de quelques dizaines de lignes ne fait que quelques kilooctets et reste loin de cette limite.

Exemples de règles selon votre besoin

Adaptez le chemin de ces exemples, puis testez le fichier avant de le publier.

Votre besoin Règles à écrire
Autoriser tout le site User-agent: *
Disallow:
Interdire tout le site à tous les robots User-agent: *
Disallow: /
Interdire un répertoire User-agent: *
Disallow: /archives/
Bloquer une image dans Google Images User-agent: Googlebot-Image
Disallow: /images/photo.jpg
Fermer une section à Googlebot seul User-agent: Googlebot
Disallow: /essais/
Fermer le site à GPTBot, le robot d’OpenAI User-agent: GPTBot
Disallow: /

Les zones qu’un site de PME ferme aux robots

Un fichier bien construit ferme peu de chemins. J’interdis seulement les URL inutiles à un internaute venu d’un moteur de recherche, celles qui se multiplient sans apporter de contenu.

Les zones à fermer

Sur un site vitrine ou une boutique, je ferme 4 familles d’URL :

  • l’espace d’administration et les pages de connexion ;
  • la recherche interne (/?s= ou /recherche/), où chaque requête d’un visiteur crée une nouvelle URL ;
  • les pages de panier et de compte client ;
  • les paramètres de tri ou d’affichage, qui présentent la même liste de produits dans un autre ordre.

Les filtres d’une catégorie demandent plus de prudence, car certains correspondent à de vraies recherches, par exemple « chaussures en cuir marron ». Je traite la navigation à facettes filtre par filtre, avant d’écrire la moindre règle.

Les fichiers et les pages à laisser ouverts

Pour comprendre une page, Google en fait le rendu comme un navigateur et charge ses fichiers CSS et JavaScript. Si le fichier robots.txt ferme le répertoire qui les contient, le robot travaille sur une page incomplète, et la documentation déconseille ce blocage.

Des photos de produits bloquées ne peuvent pas apparaître dans Google Images, alors que le référencement des images commence par leur exploration.

Fermer des pages utiles pour optimiser l’exploration n’apporte rien à un site de quelques centaines de pages, car les robots ne découvrent plus leurs liens internes. Le guide de Google sur le budget d’exploration vise les sites d’un million de pages, ou de 10 000 pages changeant chaque jour.

Les erreurs qui coupent votre site de Google

Quatre configurations arrêtent l’exploration, ou cachent aux robots une consigne que vous leur destiniez. Aucune ne déclenche d’alerte visible pour vos visiteurs.

Le fichier de préproduction mis en ligne

Pendant le développement, un fichier qui ferme tout (User-agent: * puis Disallow: /) évite que les robots explorent un site inachevé. Le risque apparaît à la mise en production, si les fichiers sont copiés en bloc. J’inscris donc ce contrôle dans la recette de chaque refonte de site, à côté du plan de redirections. Je le refais le jour de la bascule.

Bloquer une page pour la faire disparaître

Une ancienne offre ou une page de test se retire de l’index avec une balise noindex. La bloquer dans le fichier robots.txt empêche ce retrait, car le robot ne peut plus relire la page.

Suivez cet ordre :

  • ajoutez la balise noindex sans toucher au fichier robots.txt ;
  • attendez que la page sorte de l’index, ce que confirme le rapport Indexation des pages ;
  • gardez-la ensuite explorable, car un blocage cacherait la consigne et la page pourrait revenir.

Un fichier qui renvoie une erreur serveur

Google adapte son comportement au code HTTP que renvoie l’adresse /robots.txt. Une panne de ce seul fichier peut donc suspendre l’exploration d’un site qui répond normalement à ses visiteurs.

Réponse du serveur Ce que fait Google
2xx Il lit le fichier et applique ses règles.
3xx Il suit au moins cinq redirections, puis traite le fichier comme absent.
4xx, sauf 429 Il considère qu’aucun fichier n’existe et explore sans restriction.
5xx et 429 Il cesse d’explorer le site pendant 12 heures et retente de lire le fichier. Il explore ensuite 30 jours selon sa dernière copie, ou sans restriction s’il n’en a aucune.
Erreur DNS ou délai dépassé Il applique le même traitement qu’à une erreur 5xx.

Une maintenance de l’hébergeur peut provoquer ces erreurs. Un pare-feu trop strict peut aussi faire expirer la requête de Googlebot.

Un plugin qui réécrit le fichier sans prévenir

Un changement de plugin SEO ou de thème peut modifier le contenu servi. Je le relis après chaque changement de ce type, en le comparant avec la dernière version connue. Avec ses 30 jours d’historique, le rapport robots.txt permet de dater une modification inattendue.

À RETENIR

Le jour de la mise en ligne, vérifiez que Disallow: / ne reste pas sous User-agent: * et que l’adresse /robots.txt répond en 200.

Une page à retirer de l’index reçoit une balise noindex et reste explorable, y compris après sa sortie.

Vérifier votre fichier dans la Search Console

La Search Console montre la version du fichier que Google a lue et teste aussi chaque adresse. Un validateur ou un générateur en ligne contrôle la syntaxe et aide à écrire les règles, sans montrer ce que le robot a récupéré. Un développeur peut aussi tester le fichier en local avec la bibliothèque open source de Google.

Le rapport robots.txt

Ce rapport est un outil des paramètres de la Search Console, qui a remplacé l’ancien outil de test retiré fin 2023. L’aide de Google le réserve aux propriétés de domaine et aux propriétés de préfixe d’URL sans chemin.

Pour chaque hôte (jusqu’aux 20 principaux dans une propriété de domaine), il affiche le fichier récupéré et la date de sa dernière lecture. Il signale aussi les instructions non analysées. Après une correction urgente, son menu propose de demander une nouvelle exploration, sans garantie de délai pour les pages débloquées.

Les deux statuts d’indexation à surveiller

Le rapport Indexation des pages classe les URL concernées sous deux statuts. « URL bloquée par le fichier robots.txt » désigne une URL que Googlebot n’explore pas et qui n’est pas indexée. Ce statut est normal pour l’administration, anormal pour une fiche produit.

DÉFINITION

Le statut « Indexée malgré le blocage par le fichier robots.txt » désigne une URL présente dans l’index. Le robot ne peut pas lire son contenu, et Google la connaît par les liens qui pointent vers elle.

Pour ce second statut, je tranche page par page. Si la page doit sortir de l’index, je lève le blocage et j’ajoute une balise noindex. Si elle doit rester visible, je lève seulement le blocage. Les pages explorées non indexées relèvent d’un autre diagnostic, puisque Google les a lues, puis écartées.

Tester une URL précise

L’inspection d’URL est un test page par page, qui indique dans le champ « Exploration autorisée ? » si une règle bloque l’adresse. La vue par défaut reflète la dernière exploration. Après chaque modification du fichier, je lance donc le test en ligne sur quelques pages types, de la page d’accueil à une fiche produit.

Le rapport Statistiques sur l’exploration, l’un des rapports sous-exploités de la console, compte ensuite chaque jour les demandes des robots.

Votre site mérite mieux qu’une page 2

Diagnostic offert, réponse sous 24 h

Demander mon audit

Les robots d’IA : une ligne à écrire après un arbitrage

Le fichier sert aussi à nommer les robots d’IA, à commencer par GPTBot, l’un des robots d’OpenAI. Google-Extended est un jeton, sans robot propre : il indique si les contenus explorés peuvent servir aux modèles Gemini. Le refuser ne change rien à votre présence dans la recherche Google.

Depuis le 31 août 2026, tous les sites disposent du réglage « IA générative dans la Recherche », dans les paramètres de la Search Console. Il sert à sortir des Aperçus IA et du Mode IA, ainsi que de certaines fonctionnalités de Discover. Le 30 octobre 2026, Google a aussi annoncé qu’il lirait en 2027 un jeton commun de refus de l’entraînement, déclaré dans le fichier.

Chacun de ces réglages se décide en comparant les visites que ces outils vous envoient à l’usage qu’ils font de vos contenus. J’ai détaillé ailleurs les critères pour décider s’il faut bloquer les robots d’IA.

Relire votre fichier avant votre prochaine mise en ligne

Trois contrôles prennent quelques minutes et se font dès aujourd’hui :

  • ouvrez votresite.fr/robots.txt dans un navigateur et vérifiez que le fichier répond ;
  • cherchez Disallow: /, sans rien après la barre oblique, sous User-agent: * ;
  • comparez cette version avec celle du rapport robots.txt, puis parcourez les pages classées « URL bloquée par le fichier robots.txt ».

Quand un de ces contrôles révèle un blocage inexpliqué, mon audit technique part de là. Je vérifie le fichier et les statuts d’indexation, puis les réglages de vos plugins, avant le reste du socle technique.

Vous avez aimé cet article ?

Discutons de votre projet

Sources et références

Cet article s’appuie sur la spécification de Google sur l’interprétation du protocole, sur son guide de création et d’envoi du fichier et sur l’aide de la Search Console consacrée au rapport du fichier. Le protocole lui-même est décrit par la norme RFC 9309 de l’IETF. L’aide de Bing Webmaster Tools documente le comportement de son robot.

Vos questions sur le fichier robots.txt

Où se trouve le fichier robots.txt d’un site WordPress ?

Il se trouve à la racine du domaine, à l’adresse votresite.fr/robots.txt, même quand aucun fichier n’existe sur le serveur. WordPress en génère alors une version virtuelle, que votre plugin SEO peut modifier.

Un site sans fichier robots.txt est-il pénalisé ?

Aucune pénalité ne s’applique. Sans fichier, les robots considèrent qu’aucune restriction n’existe et peuvent explorer toutes les URL du site. Un fichier reste utile pour fermer la recherche interne et déclarer l’adresse du sitemap XML.

Le fichier robots.txt améliore-t-il le référencement ?

Il n’apporte aucun gain de position par lui-même. Il évite aux robots de parcourir des pages inutiles et protège surtout vos pages d’un blocage involontaire. Sur un site de quelques centaines de pages, je le considère comme un réglage de sécurité.

Combien de temps faut-il à Google pour prendre en compte une modification ?

Selon sa spécification, Google relit le fichier en général dans les 24 heures. Les pages débloquées sont réexplorées ensuite, sans délai garanti. Après une correction urgente, demandez une nouvelle exploration depuis le rapport robots.txt.

Peut-on bloquer un seul PDF ou un dossier d’images ?

La règle Disallow: /docs/catalogue.pdf ferme ce seul fichier, et Disallow: /images/archives/ ferme un dossier entier. Pour sortir un PDF des résultats, l’en-tête HTTP X-Robots-Tag: noindex est la bonne méthode, car un fichier bloqué peut rester indexé.

Le fichier robots.txt protège-t-il des pages confidentielles ?

Il ne protège rien, puisqu’il est public et que chaque règle Disallow signale l’adresse d’une zone que vous préférez cacher. Une page confidentielle se protège par un mot de passe ou une authentification sur le serveur.

Faut-il un fichier robots.txt pour chaque sous-domaine ?

Oui, dès que vous voulez fermer des chemins sur ce sous-domaine. Les règles ne s’appliquent qu’à l’hôte qui publie le fichier, et blog.exemple.fr n’obéit pas à celui de boutique.exemple.fr. Un sous-domaine sans fichier est exploré sans restriction.

Bing lit-il le fichier de la même façon que Google ?

Bing applique le même protocole et respecte aussi la directive crawl-delay, que Google ignore. Quand un groupe nomme Bingbot, ce robot ne suit que ce groupe, sauf pour un crawl-delay écrit dans le groupe *, qu’il applique quand même.

Portrait de Setraniaina A.

Setraniaina Andria | Expert SEO à Madagascar

Consultant SEO senior à Madagascar, je dirige RED ISLAND SEO comme un cabinet d’expert indépendant et je suis à la tête de LAPLUME.MG depuis 2012. J’analyse votre site, je priorise les actions et je pilote personnellement les optimisations, sans intermédiaire ni junior sur votre dossier. Ma structure légère donne accès à une expertise senior à coût optimisé, ce que j’appelle le Smart Cost.

Portrait de Setraniaina A.

Setraniaina A.

Consultant SEO senior à Madagascar, j’aide les PME et les agences web francophones à gagner en visibilité sur Google et dans les réponses des IA, avec une stratégie sur mesure que j’exécute personnellement.

Mon parcoursLinkedInares@redislandseo.com