SEO AI Crawlers Auditor
Prüft, ob `AI`-Suchbots Ihre Seite über `robots.txt` crawlen und zitieren können
Getestet · Funktioniert
Was es kann
Prüft den `AI`-Crawler-Zugriff und die Zitierfähigkeit für eine Seite: bestätigt, dass Retrieval- und Zitations-Bots (`OAI-SearchBot`, `Claude-SearchBot`, `PerplexityBot`) erlaubt sind, prüft die `Googlebot` vs `Google-Extended`-Aufteilung, klassifiziert jeden `user-agent` als Training vs Suche vs Benutzer-Abruf, verifiziert die Nicht-`JS`-Renderbarkeit und validiert `llms.txt`. Wird ausgelöst, wenn der Benutzer fragt, ob `AI`-Suchmaschinen wie `ChatGPT` oder `Perplexity` ihre Website crawlen und zitieren können, oder einen `robots.txt AI-bot`-Audit wünscht. Liefert einen `robots.txt`-Parser, der die effektive Direktive pro Bot auflöst.
Testbericht
Führte sein `parse-robots-sitemap.mjs` live gegen `theverge.com` aus und es löste korrekt 106 Roboter-Gruppen in Trainings-/Retrieval-/Benutzer-/Such-Buckets auf, wobei eine echte Asymmetrie (`OAI-SearchBot` erlaubt, während `Claude-SearchBot` und `PerplexityBot` blockiert sind) aufgedeckt wurde, die ein manueller Durchlauf über 106 Gruppen übersehen hätte. Der Ehrlichkeitsteil der `SKILL.md` ist ungewöhnlich offen: Er bewertet den `llms.txt`-Einfluss mit 0 und warnt, dass das Blockieren von `GPTBot` `OAI-SearchBot` nicht blockiert. Achtung: Der Skill-Ordner liefert nur `SKILL.md`, sodass eine einfache Skill-Kopie seine Referenztabelle, sein Schema und sein Verifizierungsskript zurücklässt. Installieren Sie das gesamte Repo/Plugin, um den Parser zu erhalten.
Getestet am: 2026-07-19 · Claude Code 2.x (agent harness)
Installation
git clone https://github.com/Hainrixz/claude-seo-ai mkdir -p ~/.claude/skills cd claude-seo-ai && cp -r skills/seo-ai-crawlers ~/.claude/skills/seo-ai-crawlers # For the parser/reference table, install the whole repo as a plugin (skill folder ships only SKILL.md)
Befehle & Beispiel-Prompts
/seo-ai-crawlersPrüft, ob `AI`-Suchbots Ihre Seite über `robots.txt` crawlen und zitieren können
Skills reagieren auf normale Anfragen — keine Slash-Befehle nötig. Nach der Installation aktivieren Prompts wie diese den Skill (auf Englisch):
Can ChatGPT and Perplexity actually crawl and cite my site?Audit my robots.txt for AI crawler access and blocked bots.Check if my llms.txt setup is actually helping AI visibility.