À quoi sert robots.txt ?
Le fichier robots.txt permet de publier des directives d’exploration à l’attention des robots qui choisissent de les respecter. Il ne constitue pas une mesure de sécurité et n’empêche pas, à lui seul, qu’une URL soit connue.
Un robot peut avoir des finalités différentes : indexation web, récupération pour une réponse, entraînement ou autres traitements.
Vérifier la syntaxe et la portée
Placez le fichier à la racine du domaine concerné. Vérifiez les groupes User-agent, les chemins Disallow et Allow, et les interactions avec vos sous-domaines.
Une directive mal placée peut bloquer des pages importantes. Testez les règles avec des outils adaptés au robot concerné.
Robots de recherche et robots IA
Ne supposez pas que GPTBot, OAI-SearchBot, Googlebot et d’autres agents sont interchangeables. Consultez les pages officielles de leurs éditeurs pour comprendre les fonctions et les identifiants actuels.
La décision d’autoriser ou de restreindre l’accès relève de votre politique de publication.
Robots.txt, noindex et authentification
robots.txt gère principalement les demandes d’exploration ; noindex est une directive d’indexation qui doit être accessible au robot pour être constatée. Pour protéger des informations sensibles, utilisez une authentification appropriée.
Évitez les blocages globaux lors d’une mise en production sans vérifier les conséquences sur les moteurs classiques.
Méthode de contrôle
Consultez le fichier réellement servi, testez plusieurs URL représentatives, puis vérifiez les journaux et outils de diagnostic disponibles. GEO Audit peut compléter ces vérifications sur les signaux techniques du site.