SEO AI Crawlers Auditor
Verifica se i bot di ricerca AI possono scansionare e citare la tua pagina tramite `robots.txt`
Promosso
Cosa fa
Verifica l'accesso e la citabilità dei crawler AI per una pagina: conferma che i bot di recupero e citazione (`OAI-SearchBot`, `Claude-SearchBot`, `PerplexityBot`) sono consentiti, controlla la divisione `Googlebot` vs `Google-Extended`, classifica ogni user-agent come training vs search vs user-fetch, verifica la renderizzabilità non-JS e convalida `llms.txt`. Si attiva quando l'utente chiede se i motori di ricerca AI come ChatGPT o Perplexity possono scansionare e citare il loro sito, o desidera un audit `robots.txt` per bot AI. Fornisce un parser `robots.txt` che risolve la direttiva effettiva per bot.
Rapporto di test
Eseguito il suo `parse-robots-sitemap.mjs` in tempo reale contro `theverge.com` e ha correttamente risolto 106 gruppi di robot in bucket training/retrieval/user/search, facendo emergere una vera asimmetria (`OAI-SearchBot` consentito mentre `Claude-SearchBot` e `PerplexityBot` sono bloccati) che un'analisi visiva di 106 gruppi mancherebbe. La sezione onestà del `SKILL.md` è insolitamente schietta: valuta l'impatto di `llms.txt` a 0 e avverte che bloccare `GPTBot` non blocca `OAI-SearchBot`. Attenzione: la cartella della skill contiene solo `SKILL.md`, quindi una semplice copia della skill lascia indietro la sua tabella di riferimenti, lo schema e lo script di verifica. Installare l'intero repo/plugin per ottenere il parser.
Testato il: 2026-07-19 · Claude Code 2.x (agent harness)
Installazione
git clone https://github.com/Hainrixz/claude-seo-ai mkdir -p ~/.claude/skills cd claude-seo-ai && cp -r skills/seo-ai-crawlers ~/.claude/skills/seo-ai-crawlers # For the parser/reference table, install the whole repo as a plugin (skill folder ships only SKILL.md)
Comandi e prompt di esempio
/seo-ai-crawlersVerifica se i bot di ricerca AI possono scansionare e citare la tua pagina tramite `robots.txt`
Gli skill si attivano con richieste in linguaggio naturale, senza comandi da ricordare. Dopo l'installazione, prompt come questi lo attivano (in inglese):
Can ChatGPT and Perplexity actually crawl and cite my site?Audit my robots.txt for AI crawler access and blocked bots.Check if my llms.txt setup is actually helping AI visibility.