SEO AI Crawlers Auditor
Audita si los bots de búsqueda de IA pueden rastrear y citar tu página a través de robots.txt
Probado · Funciona
Qué hace
Audita el acceso y la citabilidad de los rastreadores de IA para una página: confirma que los bots de recuperación y citación (OAI-SearchBot, Claude-SearchBot, PerplexityBot) están permitidos, verifica la división Googlebot vs Google-Extended, clasifica cada user-agent como entrenamiento vs búsqueda vs user-fetch, verifica la renderización sin JS y valida llms.txt. Se activa cuando el usuario pregunta si los motores de búsqueda de IA como ChatGPT o Perplexity pueden rastrear y citar su sitio, o quiere una auditoría de robots.txt de bots de IA. Incluye un parser de robots.txt que resuelve la directiva efectiva por bot.
Informe de la prueba
Ejecutó su parse-robots-sitemap.mjs en vivo contra theverge.com y resolvió correctamente 106 grupos de robots en cubos de entrenamiento/recuperación/usuario/búsqueda, revelando una asimetría real (OAI-SearchBot permitido mientras Claude-SearchBot y PerplexityBot están bloqueados) que un vistazo rápido a 106 grupos pasaría por alto. La sección de honestidad de SKILL.md es inusualmente franca: puntúa el impacto de llms.txt en 0 y advierte que bloquear GPTBot no bloquea OAI-SearchBot. Advertencia: la carpeta de la habilidad solo incluye SKILL.md, por lo que una copia simple de la habilidad deja atrás su tabla de referencias, esquema y script de verificación. Instale todo el repositorio/plugin para obtener el parser.
Probado el: 2026-07-19 · Claude Code 2.x (agent harness)
Instalación
git clone https://github.com/Hainrixz/claude-seo-ai mkdir -p ~/.claude/skills cd claude-seo-ai && cp -r skills/seo-ai-crawlers ~/.claude/skills/seo-ai-crawlers # For the parser/reference table, install the whole repo as a plugin (skill folder ships only SKILL.md)
Comandos y prompts de ejemplo
/seo-ai-crawlersAudita si los bots de búsqueda de IA pueden rastrear y citar tu página a través de robots.txt
Los skills se activan con peticiones en lenguaje natural, sin comandos que memorizar. Tras instalarlo, prompts como estos lo activan (en inglés):
Can ChatGPT and Perplexity actually crawl and cite my site?Audit my robots.txt for AI crawler access and blocked bots.Check if my llms.txt setup is actually helping AI visibility.