SEO AI Crawlers Auditor
Granska om `AI`-sökrobotar kan crawla och citera din sida via `robots.txt`
Testad · Fungerar
Vad den gör
Granskar `AI`-crawler-åtkomst och citerbarhet för en sida: bekräftar att hämtnings- och citeringsrobotar (`OAI-SearchBot`, `Claude-SearchBot`, `PerplexityBot`) är tillåtna, kontrollerar uppdelningen mellan Googlebot och Google-Extended, klassificerar varje `user-agent` som träning kontra sökning kontra användarhämtning, verifierar icke-`JS`-renderbarhet och validerar `llms.txt`. Utlöses när användaren frågar om `AI`-sökmotorer som ChatGPT eller Perplexity kan crawla och citera deras webbplats, eller vill ha en `robots.txt AI-bot`-granskning. Levererar en `robots.txt`-parser som löser den effektiva direktivet per bot.
Testrapport
Körde dess `parse-robots-sitemap.mjs` live mot `theverge.com` och den löste korrekt 106 robotgrupper till tränings-/hämtnings-/användar-/sök-hinkar, vilket avslöjade en verklig asymmetri (`OAI-SearchBot` tillåten medan `Claude-SearchBot` och `PerplexityBot` är blockerade) som en ögonkontroll över 106 grupper skulle missa. `SKILL.md`s ärlighetssektion är ovanligt uppriktig: den poängsätter `llms.txt`-påverkan till 0 och varnar för att blockering av `GPTBot` inte blockerar `OAI-SearchBot`. Varning: skicklighetsmappen levererar endast `SKILL.md`, så en enkel skicklighetskopiering lämnar dess referenstabell, schema och verifieringsskript bakom sig. Installera hela repot/pluginet för att få parsern.
Testad: 2026-07-19 · Claude Code 2.x (agent harness)
Installation
git clone https://github.com/Hainrixz/claude-seo-ai mkdir -p ~/.claude/skills cd claude-seo-ai && cp -r skills/seo-ai-crawlers ~/.claude/skills/seo-ai-crawlers # For the parser/reference table, install the whole repo as a plugin (skill folder ships only SKILL.md)
Kommandon och exempelprompter
/seo-ai-crawlersGranska om `AI`-sökrobotar kan crawla och citera din sida via `robots.txt`
Skills triggas av vanliga förfrågningar — inga kommandon att memorera. Efter installationen aktiverar prompter som dessa skillen (på engelska):
Can ChatGPT and Perplexity actually crawl and cite my site?Audit my robots.txt for AI crawler access and blocked bots.Check if my llms.txt setup is actually helping AI visibility.