SEO AI Crawlers Auditor
Audit of AI search bots je pagina kunnen crawlen en citeren via `robots.txt`
Getest · Werkt
Wat het doet
Auditeert AI crawler toegang en citeerbaarheid voor een pagina: bevestigt dat retrieval en citation bots (`OAI-SearchBot`, `Claude-SearchBot`, `PerplexityBot`) zijn toegestaan, controleert de `Googlebot` vs `Google-Extended` splitsing, classificeert elke user-agent als training vs search vs user-fetch, verifieert non-JS renderbaarheid, en valideert `llms.txt`. Activeert wanneer de gebruiker vraagt of AI zoekmachines zoals `ChatGPT` of `Perplexity` hun site kunnen crawlen en citeren, of een `robots.txt` AI-bot audit wil. Levert een `robots.txt parser` die de effectieve directive per bot oplost.
Testrapport
Voerde de `parse-robots-sitemap.mjs` live uit tegen `theverge.com` en het loste correct `106 robots groups` op in training/retrieval/user/search buckets, waarbij een echte asymmetrie naar boven kwam (`OAI-SearchBot` toegestaan terwijl `Claude-SearchBot` en `PerplexityBot` geblokkeerd zijn) die een visuele inspectie van `106 groups` zou missen. De `SKILL.md` eerlijkheidssectie is ongewoon openhartig: het scoort `llms.txt` impact op `0` en waarschuwt dat het blokkeren van `GPTBot` `OAI-SearchBot` niet blokkeert. Let op: de skill-map bevat alleen `SKILL.md`, dus een simpele skill-kopie laat de referentietabel, het schema en het verificatiescript achter. Installeer de hele repo/plugin om de parser te krijgen.
Getest op: 2026-07-19 · Claude Code 2.x (agent harness)
Installatie
git clone https://github.com/Hainrixz/claude-seo-ai mkdir -p ~/.claude/skills cd claude-seo-ai && cp -r skills/seo-ai-crawlers ~/.claude/skills/seo-ai-crawlers # For the parser/reference table, install the whole repo as a plugin (skill folder ships only SKILL.md)
Commando's en voorbeeldprompts
/seo-ai-crawlersAudit of AI search bots je pagina kunnen crawlen en citeren via `robots.txt`
Skills reageren op gewone verzoeken — geen commando's om te onthouden. Na installatie activeren prompts zoals deze de skill (in het Engels):
Can ChatGPT and Perplexity actually crawl and cite my site?Audit my robots.txt for AI crawler access and blocked bots.Check if my llms.txt setup is actually helping AI visibility.