Qu’appelle-t-on un crawler IA ?
Le terme regroupe plusieurs usages : exploration destinée à l’indexation de recherche, récupération de contenu pour une réponse et collecte de données pour l’entraînement. Ces activités peuvent utiliser des agents distincts.
Les informations utiles pour un diagnostic sont l’identifiant déclaré, les règles d’accès, les réponses HTTP et la présence de contenu exploitable dans le HTML reçu.
Ce qu’un audit peut vérifier
Contrôlez les codes de réponse, les redirections, les règles robots.txt, les balises noindex lorsqu’elles sont applicables et la présence du texte essentiel sans interaction utilisateur.
Un outil d’audit qui ne simule pas un robot donné ne peut pas conclure que ce robot a réellement visité votre site.
Ce que l’audit ne prouve pas
La possibilité de récupérer une page n’implique pas son utilisation comme source. Une réponse IA dépend aussi de la question, des sources disponibles, de la fraîcheur et du fonctionnement propre au service.