SEO AI Crawlers Auditor
Audite si les bots de recherche IA peuvent crawler et citer votre page via robots.txt
Testé · Fonctionne
Ce que fait
Audite l'accès et la citabilité des crawlers IA pour une page : confirme que les bots de récupération et de citation (OAI-SearchBot, Claude-SearchBot, PerplexityBot) sont autorisés, vérifie la distinction Googlebot vs Google-Extended, classe chaque user-agent comme entraînement vs recherche vs récupération utilisateur, vérifie la capacité de rendu sans JS, et valide llms.txt. Se déclenche lorsque l'utilisateur demande si les moteurs de recherche IA comme ChatGPT ou Perplexity peuvent crawler et citer son site, ou souhaite un audit robots.txt des bots IA. Fournit un parseur robots.txt qui résout la directive effective par bot.
Rapport de test
Exécuté son parse-robots-sitemap.mjs en direct sur theverge.com et il a correctement résolu 106 groupes de robots en buckets entraînement/récupération/utilisateur/recherche, révélant une réelle asymétrie (OAI-SearchBot autorisé tandis que Claude-SearchBot et PerplexityBot sont bloqués) qu'un examen visuel de 106 groupes aurait manquée. La section d'honnêteté du SKILL.md est inhabituellement franche : elle note l'impact de llms.txt à 0 et avertit que bloquer GPTBot ne bloque pas OAI-SearchBot. Caveat : le dossier de la compétence ne contient que SKILL.md, donc une simple copie de compétence laisse sa table de références, son schéma et son script de vérification derrière. Installez le dépôt/plugin entier pour obtenir le parseur.
Testé le: 2026-07-19 · Claude Code 2.x (agent harness)
Installation
git clone https://github.com/Hainrixz/claude-seo-ai mkdir -p ~/.claude/skills cd claude-seo-ai && cp -r skills/seo-ai-crawlers ~/.claude/skills/seo-ai-crawlers # For the parser/reference table, install the whole repo as a plugin (skill folder ships only SKILL.md)
Commandes et exemples de prompts
/seo-ai-crawlersAudite si les bots de recherche IA peuvent crawler et citer votre page via robots.txt
Les skills se déclenchent sur des demandes en langage courant — aucune commande à retenir. Après installation, des prompts comme ceux-ci l'activent (en anglais) :
Can ChatGPT and Perplexity actually crawl and cite my site?Audit my robots.txt for AI crawler access and blocked bots.Check if my llms.txt setup is actually helping AI visibility.