SEO AI Crawlers Auditor
Auditér om AI søgerobotter kan crawle og citere din side via robots.txt
Testet · Virker
Hvad det gør
Auditerer AI crawler-adgang og citerbarhed for en side: bekræfter, at retrieval- og citation-bots (OAI-SearchBot, Claude-SearchBot, PerplexityBot) er tilladt, kontrollerer Googlebot vs Google-Extended opdelingen, klassificerer hver user-agent som træning vs søgning vs bruger-fetch, verificerer ikke-JS renderbarhed og validerer llms.txt. Udløses når brugeren spørger, om AI søgemaskiner som ChatGPT eller Perplexity kan crawle og citere deres site, eller ønsker en robots.txt AI-bot audit. Leverer en robots.txt parser, der løser den effektive direktiv pr. bot.
Testrapport
Kørte dens parse-robots-sitemap.mjs live mod theverge.com, og den løste korrekt 106 robotgrupper til træning/retrieval/bruger/søgning buckets, hvilket afdækkede en reel asymmetri (OAI-SearchBot tilladt, mens Claude-SearchBot og PerplexityBot er blokeret), som en manuel gennemgang af 106 grupper ville overse. SKILL.md's ærlighedssektion er usædvanligt åbenhjertig: den scorer llms.txt indvirkning til 0 og advarer om, at blokering af GPTBot ikke blokerer OAI-SearchBot. Forbehold: skill-mappen leverer kun SKILL.md, så en simpel skill-kopi efterlader dens referencetabel, skema og verificeringsscript. Installer hele repoet/plugin'et for at få parseren.
Testet: 2026-07-19 · Claude Code 2.x (agent harness)
Installation
git clone https://github.com/Hainrixz/claude-seo-ai mkdir -p ~/.claude/skills cd claude-seo-ai && cp -r skills/seo-ai-crawlers ~/.claude/skills/seo-ai-crawlers # For the parser/reference table, install the whole repo as a plugin (skill folder ships only SKILL.md)
Kommandoer og eksempelprompter
/seo-ai-crawlersAuditér om AI søgerobotter kan crawle og citere din side via robots.txt
Skills udløses af almindelige forespørgsler — ingen kommandoer at huske. Efter installationen aktiverer prompter som disse skillen (på engelsk):
Can ChatGPT and Perplexity actually crawl and cite my site?Audit my robots.txt for AI crawler access and blocked bots.Check if my llms.txt setup is actually helping AI visibility.