← Tous les contrôles

crawl · crawl.robots.disallowAll

robots.txt bloque tous les robots

Le fichier robots.txt interdit l’exploration à tous les robots.

Pourquoi ce contrôle est important

Cette règle peut empêcher les moteurs de découvrir les pages du site.

Exemple de correction

# Blocks everything — remove on production\nUser-agent: *\nDisallow: /\n\n# Allow crawling instead\nUser-agent: *\nAllow: /

Documentation de référence

https://developers.google.com/search/docs/crawling-indexing/robots/robots_txt

Lancez un audit complet de votre site

Sans inscription. Analysez les points SEO, GEO et AEO de votre site et consultez les résultats.

Auditer mon site →

Autres contrôles de la catégorie crawl