SEO AI Crawlers Auditor
Audytuj, czy boty wyszukiwarek AI mogą indeksować i cytować Twoją stronę za pomocą robots.txt
Testowano · Działa
Co robi ten skill
Audytuje dostęp i cytowalność strony dla crawlerów AI: potwierdza, że boty do pobierania i cytowania (OAI-SearchBot, Claude-SearchBot, PerplexityBot) są dozwolone, sprawdza podział Googlebot vs Google-Extended, klasyfikuje każdego user-agenta jako treningowy vs wyszukiwanie vs pobieranie przez użytkownika, weryfikuje renderowalność bez JS i waliduje llms.txt. Uruchamia się, gdy użytkownik pyta, czy wyszukiwarki AI, takie jak ChatGPT lub Perplexity, mogą indeksować i cytować jego witrynę, lub chce audytu bota AI w robots.txt. Dostarcza parser robots.txt, który rozwiązuje efektywną dyrektywę dla każdego bota.
Raport z testu
Uruchomiono parse-robots-sitemap.mjs na żywo na theverge.com i poprawnie rozwiązał 106 grup robotów na kategorie trening/pobieranie/użytkownik/wyszukiwanie, ujawniając prawdziwą asymetrię (OAI-SearchBot dozwolony, podczas gdy Claude-SearchBot i PerplexityBot są zablokowane), którą przegląd wzrokowy 106 grup by przeoczył. Sekcja uczciwości SKILL.md jest niezwykle szczera: ocenia wpływ llms.txt na 0 i ostrzega, że blokowanie GPTBot nie blokuje OAI-SearchBot. Uwaga: folder umiejętności zawiera tylko SKILL.md, więc zwykłe skopiowanie umiejętności pozostawia tabelę referencji, schemat i skrypt weryfikacji. Zainstaluj całe repozytorium/wtyczkę, aby uzyskać parser.
Testowano: 2026-07-19 · Claude Code 2.x (agent harness)
Instalacja
git clone https://github.com/Hainrixz/claude-seo-ai mkdir -p ~/.claude/skills cd claude-seo-ai && cp -r skills/seo-ai-crawlers ~/.claude/skills/seo-ai-crawlers # For the parser/reference table, install the whole repo as a plugin (skill folder ships only SKILL.md)
Komendy i przykładowe prompty
/seo-ai-crawlersAudytuj, czy boty wyszukiwarek AI mogą indeksować i cytować Twoją stronę za pomocą robots.txt
Skille uruchamiają się na zwykłe polecenia — bez komend do zapamiętania. Po instalacji aktywują go prompty takie jak te (po angielsku):
Can ChatGPT and Perplexity actually crawl and cite my site?Audit my robots.txt for AI crawler access and blocked bots.Check if my llms.txt setup is actually helping AI visibility.