SEO AI Crawlers Auditor
Revider om AI-søkeroboter kan gjennomsøke og sitere siden din via `robots.txt`
Bestått
Hva den gjør
Reviderer AI-crawler-tilgang og siterbarhet for en side: bekrefter at gjenfinnings- og siteringsroboter (OAI-SearchBot, Claude-SearchBot, PerplexityBot) er tillatt, sjekker Googlebot vs Google-Extended-splitten, klassifiserer hver user-agent som trening vs søk vs bruker-henting, verifiserer ikke-JS-gjengivbarhet, og validerer `llms.txt`. Utløses når brukeren spør om AI-søkemotorer som ChatGPT eller Perplexity kan gjennomsøke og sitere nettstedet deres, eller ønsker en `robots.txt` AI-bot-revisjon. Leverer en `robots.txt`-parser som løser den effektive direktivet per bot.
Testrapport
Kjørte dens `parse-robots-sitemap.mjs` live mot `theverge.com` og den løste korrekt 106 robotgrupper inn i trenings-/gjenfinnings-/bruker-/søke-bøtter, og avdekket en reell asymmetri (OAI-SearchBot tillatt mens Claude-SearchBot og PerplexityBot er blokkert) som en manuell gjennomgang av 106 grupper ville gått glipp av. `SKILL.md`s ærlighetsseksjon er uvanlig åpen: den scorer `llms.txt` innvirkning til 0 og advarer om at blokkering av `GPTBot` ikke blokkerer `OAI-SearchBot`. Forbehold: ferdighetsmappen leverer kun `SKILL.md`, så en enkel ferdighetskopi etterlater referansetabellen, skjemaet og verifikasjonsskriptet. Installer hele repoet/pluginen for å få parseren.
Testet på: 2026-07-19 · Claude Code 2.x (agent harness)
Installer
git clone https://github.com/Hainrixz/claude-seo-ai mkdir -p ~/.claude/skills cd claude-seo-ai && cp -r skills/seo-ai-crawlers ~/.claude/skills/seo-ai-crawlers # For the parser/reference table, install the whole repo as a plugin (skill folder ships only SKILL.md)
Kommandoer og eksempelprompter
/seo-ai-crawlersRevider om AI-søkeroboter kan gjennomsøke og sitere siden din via `robots.txt`
Skills utløses av vanlige forespørsler — ingen kommandoer å huske. Etter installasjonen aktiverer prompter som disse skillen (på engelsk):
Can ChatGPT and Perplexity actually crawl and cite my site?Audit my robots.txt for AI crawler access and blocked bots.Check if my llms.txt setup is actually helping AI visibility.