robots.txt est un petit fichier texte placé à la racine de votre site, qui indique aux robots des moteurs de recherche les adresses qu'ils peuvent explorer et celles qu'ils ne doivent pas visiter. Une seule erreur de ligne peut bloquer l'exploration de l'ensemble du site ; à l'inverse, un fichier bien rédigé oriente le budget d'exploration vers les pages importantes. Dans ce guide, nous expliquons à quoi sert ce fichier, comment l'écrire, quelles directives Google prend en charge et quelles sont les erreurs les plus fréquentes, à l'aide d'exemples.
Qu'est-ce que robots.txt ?
robots.txt correspond au standard connu sous le nom de « Protocole d'exclusion des robots ». Il s'agit d'un fichier texte brut (UTF-8) qui doit impérativement se trouver à la racine du nom de domaine : https://www.ornek.com/robots.txt.
Un fichier robots.txt placé dans un sous-dossier n'est pas pris en compte. Chaque sous-domaine (par exemple blog.ornek.com) et chaque combinaison protocole/port a besoin de son propre fichier.
Ce fichier sert à gérer le trafic d'exploration : éviter que les robots ne perdent du temps sur des zones sans valeur, comme les tableaux de bord d'administration, les paniers, les résultats de recherche interne ou les adresses de filtres à paramètres à l'infini. Ce n'est pas un outil de sécurité : tout le monde peut lire le fichier, donc y écrire le nom d'un dossier que vous voulez garder secret ne fait que le révéler. Pour protéger un contenu, utilisez un mot de passe ou une authentification.
Comment les moteurs de recherche utilisent-ils robots.txt ?
Avant d'explorer une page d'un site, le robot demande le fichier robots.txt et lit les règles qu'il contient. Les règles sont regroupées par « agent utilisateur » (user-agent) ; le robot sélectionne le groupe qui le concerne le mieux et n'applique que celui-ci. Quelques précisions importantes :
- Si le fichier est introuvable (réponse 4xx comme une 404), Google considère qu'il n'y a aucune restriction et explore le site librement.
- Si le serveur renvoie une erreur 5xx, Google ralentit ou suspend prudemment l'exploration ; il est donc important que l'adresse robots.txt réponde correctement.
- Google ne traite que les 500 premiers kio du fichier ; les fichiers trop volumineux sont tronqués.
- Les règles de chemin sont sensibles à la casse :
/Admin/et/admin/sont deux chemins différents. - Google ne télécharge pas le fichier à chaque requête, il le conserve en cache. L'effet d'une modification n'apparaît donc pas immédiatement, mais après un certain délai.
Syntaxe de base et directives
Les directives prises en charge par Google se limitent à quatre. Le tableau ci-dessous résume le rôle de chacune.
| Directive | Rôle | Exemple |
|---|---|---|
User-agent | Indique le robot concerné par la règle ; * désigne tous les robots. | User-agent: Googlebot |
Disallow | Interdit l'exploration du chemin indiqué. | Disallow: /sepet/ |
Allow | Autorise un chemin précis à l'intérieur d'un dossier bloqué. | Allow: /sepet/yardim.html |
Sitemap | Indique l'adresse complète du fichier sitemap ; elle est indépendante des groupes. | Sitemap: https://www.ornek.com/sitemap.xml |
Deux caractères génériques sont utilisables : * (toute suite de caractères) et $ (la fin de l'adresse). Par exemple, Disallow: /*.pdf$ concerne tous les chemins se terminant par .pdf, et Disallow: /*?sirala= concerne les adresses contenant le paramètre « sirala ». Lorsqu'une adresse correspond à la fois à une règle Allow et à une règle Disallow, Google applique la règle la plus spécifique (la plus longue).
Directives non prises en charge : Crawl-delay est ignoré par Google (certains autres moteurs de recherche peuvent le lire). La ligne Noindex n'est plus valable dans robots.txt depuis 2019. Pour sortir une page de l'index, il faut ajouter une balise meta noindex ou un en-tête HTTP noindex sur la page.
Exemple de fichier robots.txt
Pour un site d'entreprise ou une petite boutique en ligne, un modèle de départ raisonnable peut ressembler à ceci :
User-agent: *
Disallow: /yonetim/
Disallow: /sepet/
Disallow: /odeme/
Disallow: /arama/
Disallow: /*?sirala=
Disallow: /*?oturum=
Sitemap: https://www.ornek.com/sitemap.xml
Ce fichier empêche tous les robots d'explorer les pages d'administration, de panier, de paiement et de recherche interne, ainsi que les adresses avec paramètres de tri et de session ; tout le reste est autorisé. Sur un site WordPress, on rencontre souvent la paire de règles Disallow: /wp-admin/ et Allow: /wp-admin/admin-ajax.php.
Pour identifier les chemins sans valeur sur votre propre site, commencez par consulter les statistiques d'exploration de Search Console et les journaux du serveur ; les modèles copiés sans vérification bloquent souvent davantage que nécessaire.
Règles distinctes selon les robots
Vous pouvez définir plusieurs groupes dans le fichier. Chaque groupe commence par une ou plusieurs lignes User-agent, suivies des règles. Le robot sélectionne un seul groupe, le plus adapté à son nom ; il n'applique pas en plus les règles du groupe général (*). Ainsi, lorsque vous créez un groupe pour un robot précis, vous devez répéter dans ce groupe les règles communes.
User-agent: *
Disallow: /yonetim/
Disallow: /arama/
User-agent: Googlebot-Image
Disallow: /ozel-gorseller/
Disallow: /yonetim/
Sitemap: https://www.ornek.com/sitemap.xml
Dans l'exemple ci-dessus, Googlebot-Image n'applique que son propre groupe ; c'est pourquoi la règle /yonetim/ figure également dans ce groupe. Ajouter des lignes vides entre les groupes améliore la lisibilité. Vous pouvez écrire des commentaires en commençant une ligne par # ; ces lignes sont ignorées. Évitez de surcharger les règles : un robots.txt non entretenu, qui a grossi au fil des années, devient une source de risque, car plus personne ne sait pourquoi telle règle est présente. Prendre l'habitude d'écrire à côté de chaque règle une courte note expliquant sa raison est une bonne pratique.
Bloquer l'exploration n'est pas la même chose que désindexer
C'est le point le plus souvent confondu. robots.txt limite uniquement l'exploration. Si une adresse bloquée reçoit des liens d'autres sites ou de liens internes, Google peut tout de même l'indexer sans jamais voir son contenu ; elle apparaît alors dans les résultats avec son adresse seule, sans description. Pire encore, si vous bloquez une page dans robots.txt et que vous y ajoutez un noindex, Google ne peut pas accéder à la page et ne voit donc jamais le noindex.
| Votre objectif | Méthode adaptée |
|---|---|
| Éviter de gaspiller le budget d'exploration sur des adresses sans valeur | Disallow dans robots.txt |
| Empêcher une page d'apparaître dans les résultats de recherche | Laisser la page explorable et ajouter une balise noindex |
| Garder un contenu secret | Mot de passe ou authentification (robots.txt n'assure aucune sécurité) |
| Regrouper les signaux de doublons | Redirection 301 ou canonical (voir notre guide de la balise canonical) |
Petit site ou grand site ? Sur un site de quelques centaines de pages, l'effet de robots.txt sur l'efficacité de l'exploration est limité ; son intérêt principal est d'exclure les zones inutiles et de signaler le sitemap. Pour les boutiques en ligne ou les sites d'annonces comportant des centaines de milliers d'adresses et des filtres, écarter de l'exploration les combinaisons d'adresses superflues fait réellement la différence.
Les erreurs les plus fréquentes
- Bloquer l'ensemble du site. La ligne
Disallow: /reste parfois dans le fichier lorsqu'il est transféré de l'environnement de développement vers le site en ligne, ce qui rend le site inexplorable. Vérifiez toujours robots.txt lors de la mise en ligne d'une nouvelle version. - Bloquer les dossiers CSS et JavaScript. Google a besoin de ces fichiers pour générer la page et évaluer sa compatibilité mobile. S'ils sont bloqués, la page peut apparaître incomplète.
- Bloquer des adresses présentes dans le sitemap. Demander d'« indexer cette adresse » tout en lui interdisant l'accès est contradictoire ; Search Console l'affiche comme un avertissement.
- Écrire noindex dans robots.txt. Comme expliqué plus haut, cela ne fonctionne plus.
- Placer le fichier au mauvais endroit. Si le fichier n'est pas à la racine, ou si son nom est différent (par exemple
Robots.TXT), les règles ne sont pas prises en compte. - Écrire un chemin trop large.
Disallow: /urunne concerne pas seulement le dossier « urun », mais toutes les adresses commençant par « /urun », comme/urunler/ou/urun-detay.html. Si vous visez un dossier, ajoutez une barre oblique à la fin. - Bloquer l'exploration de pages puis attendre une redirection 301. Si vous bloquez les anciennes adresses qui redirigent, le robot ne peut pas voir la redirection.
Tester avant la mise en ligne
Avant de modifier le fichier, sauvegardez la version actuelle. Suivez ensuite ces étapes :
- Ouvrez le fichier dans votre navigateur (
/robots.txt) et vérifiez qu'il s'affiche en texte brut avec le code de statut 200. - Dans Search Console, ouvrez le rapport Paramètres → robots.txt ; il affiche la dernière version téléchargée par Google, les erreurs de syntaxe et les avertissements.
- Pour quelques pages importantes, utilisez l'outil Inspection d'URL ; si vous voyez la mention « Bloquée par robots.txt », examinez la règle concernée.
- La semaine suivant la mise en ligne, vérifiez dans le rapport Pages si le nombre de pages « Bloquée par robots.txt » augmente de manière inattendue. Pour diagnostiquer les problèmes d'indexation en général, notre guide des problèmes d'indexation Google vous sera utile.
Pour la documentation officielle, consultez le guide robots.txt de Google Search Central. robots.txt n'est qu'un point du contrôle de santé général ; pour l'ensemble des points, utilisez notre liste de contrôle du SEO technique.
Questions fréquentes
Le fichier robots.txt est-il obligatoire ?
Non. Si le fichier est absent, les robots explorent le site librement. Cependant, si vous souhaitez bloquer certaines zones ou indiquer l'adresse de votre sitemap, il est utile de le créer.
Quand mes modifications de robots.txt prennent-elles effet ?
Google conserve le fichier en cache et le met généralement à jour au plus tard dans la journée ; l'effet peut donc se manifester entre quelques heures et une journée. En cas d'urgence, vous pouvez demander une nouvelle exploration depuis le rapport robots.txt de Search Console.
Puis-je bloquer les robots d'IA avec robots.txt ?
Oui, pour les robots qui respectent les règles ; chaque robot possède son propre nom d'agent utilisateur et peut être déclaré dans un groupe distinct. Mais robots.txt est une demande, non une contrainte : il n'empêche pas les robots qui ne respectent pas les règles.
Pourquoi une page que j'ai bloquée avec Disallow apparaît-elle encore sur Google ?
Parce que Disallow n'est pas une commande de désindexation. L'adresse peut apparaître sans contenu, car elle reçoit des liens d'autres pages. Solution : retirez le blocage et ajoutez un noindex à la page, ou supprimez entièrement la page.
Conclusion
robots.txt est un petit fichier, mais ses effets sont importants. La règle est simple : ne bloquez que les zones réellement sans valeur, ne touchez pas aux fichiers CSS et JS, ajoutez l'adresse de votre sitemap, et n'utilisez pas ce fichier pour désindexer une page. Après chaque mise en ligne, vérifiez le fichier dans Search Console et assurez-vous que vos pages importantes restent explorables ; cela évite la plupart des catastrophes. Pour l'étape suivante, préparez votre fichier sitemap grâce à notre guide du sitemap XML.