Robots.txt : ce qu'il interdit vraiment

Ce que le fichier permet, et ce qu'il ne permet pas

Le protocole est décrit depuis 2022 par une norme de l'IETF, la RFC 9309. Le fichier se place à la racine du site. Il regroupe des règles par robot : chaque groupe nomme un ou plusieurs robots, puis les chemins qu'ils peuvent explorer ou non.

Google le résume dans sa présentation de robots.txt : le fichier sert surtout à éviter qu'un site soit surchargé de requêtes, et ce n'est pas un moyen de garder une page hors de Google. Les robots respectables suivent ses règles, mais chacun peut les interpréter différemment.

La norme ajoute que le protocole ne remplace aucune mesure de sécurité. Le fichier est public : tout le monde peut le lire, y compris les chemins qu'il interdit.

Interdire l'exploration n'est pas désindexer

Une adresse interdite n'est plus lue, mais elle peut rester connue. Si d'autres pages la citent, Google peut l'afficher dans ses résultats, sans description, puisqu'il n'a pas lu la page.

Pour retirer une page de l'index, Google demande une consigne de non-indexation (noindex) ou un mot de passe. Et sa documentation sur noindex précise que la consigne ne fonctionne que si la page n'est pas bloquée par robots.txt. Un robot qui n'a pas le droit de lire la page ne voit pas qu'on lui demande de l'oublier.

Combiner les deux est donc l'erreur qui se voit le moins : la page est interdite, elle porte la bonne consigne, et son adresse reste dans les résultats.

Les lignes qu'un robot conforme ignore

Un robot qui ne comprend pas une ligne ne signale rien : il la saute. Une interdiction mal écrite ne protège donc rien, et le fichier donne l'impression du contraire.

• Une ligne sans deux-points, souvent une faute de frappe. Aucun robot conforme ne la lit.
• Une règle posée avant la première ligne qui nomme un robot. Elle n'appartient à aucun groupe, donc elle ne s'applique à personne.
• Les champs que Google ne connaît pas. D'après sa lecture de la norme, Google ne lit que quatre champs : User-agent, Allow, Disallow et Sitemap. Une ligne Crawl-delay ou Noindex n'a aucun effet chez lui, même si d'autres robots en respectent certaines.
• La casse des chemins. La norme compare les chemins lettre pour lettre : /Admin/ et /admin/ sont deux chemins différents.
• Ce qui dépasse 500 Kio. Google ignore tout ce qui suit cette taille.

Aucune de ces erreurs ne casse quoi que ce soit à l'écran. On les découvre quand un robot explore ce qu'on croyait fermé, ou quand une page qu'on voulait voir référencée reste ignorée.

Un robot nommé ignore les règles écrites pour tous

Quand un robot trouve un groupe à son nom, il applique ce groupe et lui seul. Google l'écrit ainsi : un seul groupe vaut pour un robot donné, celui dont le nom correspond le plus précisément au sien. Les règles du groupe « * », celui qui vaut pour tous les robots, ne s'ajoutent pas : elles sont remplacées.

Notre propre fichier en est un exemple. Il autorise tout le site, et il nomme neuf robots d'assistants et de moteurs d'IA, dont GPTBot, ClaudeBot et PerplexityBot, pour les autoriser explicitement. Notre audit mesure la lisibilité des sites par ces assistants : les bloquer sur le nôtre serait incohérent.

Le fichier fait une seule exception : le dossier des rapports d'exemple publiés en PDF. Ces rapports sont faits pour être lus depuis la page qui les présente, pas pour être servis seuls en résultat de recherche. Écrite une seule fois dans le groupe « * », l'interdiction n'aurait arrêté que les robots anonymes et laissé passer les neuf robots nommés. Elle est donc répétée dans chacun des dix groupes.

Et elle a la limite décrite plus haut : si un autre site cite l'adresse d'un de ces PDF, un moteur peut l'afficher sans l'avoir lu.

Autoriser ces robots dans robots.txt et leur proposer un résumé du site sont deux choses distinctes. Le guide sur le fichier llms.txt explique ce que fait le second.

Ce que nous relevons sur les sites audités

Ces pourcentages portent sur une trentaine de sites audités entre le 14 août 2026 et le 24 septembre 2026. Chacun ne compte que les sites où le point a pu être vérifié. Beaucoup ont été audités parce qu'un défaut s'y voyait vite : ces chiffres décrivent nos audits, pas l'ensemble des sites.

Le second chiffre décrit les fichiers lus le jour de chaque audit. Un fichier se modifie à la main, et la même vérification peut donner un autre résultat après la modification suivante.

Ce que l'audit regarde, et pourquoi

L'audit lit le fichier au début du parcours du site, dans un navigateur, comme il lit les pages.

• La réponse du serveur. Un fichier absent (erreur 404) est valide : la norme en déduit que tout est autorisé. Un refus d'accès ou une page de vérification anti-robot n'est pas une absence, et l'audit ne la compte pas comme telle. Un site qui renvoie sa page d'accueil à la place du fichier n'a pas de robots.txt, même si la réponse est un succès.
• La syntaxe, ligne par ligne, selon la RFC 9309. Les lignes ignorées et les règles hors de tout groupe comptent comme un défaut. Les champs hors de la norme sont signalés sans être comptés, puisque certains robots les lisent.
• Les interdictions larges : tout le site fermé à tous les robots, à Googlebot ou à Bingbot, le robot de Bing.
• Le choix fait pour les robots des assistants d'IA, relevé tel quel. Les bloquer et les autoriser sont deux choix légitimes : le rapport signale seulement un blocage qui contredit un objectif affiché par le site.
• La présence d'un sitemap qui liste réellement des pages. Un robots.txt ou un sitemap absent compte comme un défaut du pilier.

Les sous-domaines de préproduction ont leur propre vérification : une copie du site restée publique, sans interdiction ni consigne de non-indexation, est relevée.

Ce qui se corrige simplement, ce qui demande un projet

Une ligne mal écrite, une règle hors groupe ou une interdiction oubliée dans un groupe nommé se corrigent dans le fichier lui-même, sans toucher aux pages.

Le travail devient un projet quand robots.txt sert à cacher ce qui devrait être protégé ou retiré : un espace client, une préproduction, des pages en double. Il faut alors choisir, pour chaque ensemble de pages, entre non-indexation, mot de passe et redirection. Une refonte est le moment où ces choix se perdent : le guide sur la migration SEO décrit ce que l'audit contrôle après une mise en ligne.

Ce que cette vérification ne dit pas

Par Quentin Mathis, Z29K · mis à jour le 28 septembre 2026