SEO AI Crawlers Auditor
Auditujte, zda AI vyhledávací boti mohou procházet a citovat vaši stránku přes robots.txt
Otestováno · Funguje
Co umí
Audituje přístup AI crawlerů a citovatelnost pro stránku: potvrzuje, že boti pro získávání a citování (OAI-SearchBot, Claude-SearchBot, PerplexityBot) jsou povoleni, kontroluje rozdělení Googlebot vs Google-Extended, klasifikuje každého user-agenta jako training vs search vs user-fetch, ověřuje renderovatelnost bez JS a validuje llms.txt. Spouští se, když se uživatel zeptá, zda AI vyhledávače jako ChatGPT nebo Perplexity mohou procházet a citovat jejich web, nebo chce audit robots.txt AI-botů. Dodává parser robots.txt, který řeší efektivní direktivu pro každého bota.
Testovací report
Spuštěn jeho parse-robots-sitemap.mjs živě proti theverge.com a správně rozřešil 106 skupin robotů do kbelíků training/retrieval/user/search, odhalující skutečnou asymetrii (OAI-SearchBot povolen, zatímco Claude-SearchBot a PerplexityBot jsou blokovány), kterou by vizuální kontrola 106 skupin přehlédla. Sekce poctivosti SKILL.md je neobvykle upřímná: hodnotí dopad llms.txt na 0 a varuje, že blokování GPTBot neblokuje OAI-SearchBot. Upozornění: složka dovednosti obsahuje pouze SKILL.md, takže prostá kopie dovednosti zanechává svou referenční tabulku, schéma a ověřovací skript za sebou. Pro získání parseru nainstalujte celý repozitář/plugin.
Testováno: 2026-07-19 · Claude Code 2.x (agent harness)
Instalace
git clone https://github.com/Hainrixz/claude-seo-ai mkdir -p ~/.claude/skills cd claude-seo-ai && cp -r skills/seo-ai-crawlers ~/.claude/skills/seo-ai-crawlers # For the parser/reference table, install the whole repo as a plugin (skill folder ships only SKILL.md)
Příkazy a ukázkové prompty
/seo-ai-crawlersAuditujte, zda AI vyhledávací boti mohou procházet a citovat vaši stránku přes robots.txt
Skilly se spouštějí běžnými požadavky — žádné příkazy k zapamatování. Po instalaci ho aktivují prompty jako tyto (anglicky):
Can ChatGPT and Perplexity actually crawl and cite my site?Audit my robots.txt for AI crawler access and blocked bots.Check if my llms.txt setup is actually helping AI visibility.