Docs Guard

Testbericht

INSTALL: frontmatter ist gültiges YAML mit name + einer langen, gut abgegrenzten Beschreibung; alle sechs referenzierten Dateien (references/verification.md, code-samples.md, docstrings.md, review-checklist.md, sources.md, agents/openai.yaml) gaben HTTP 200 beim Rohabruf zurück; keine Skripte, kein curl|sh, kein base64, kein geheimer Zugriff, kein Injection-Text — der Skill ist reines Markdown. TRIGGER, 5/5 korrekt: SOLLTE auslösen — „Überprüfe diese README gegen den Code, bevor ich sie veröffentliche, ist etwas daran falsch?“, „Der Agent hat gerade unsere API-Referenz und Docstrings neu geschrieben, überprüfe sie auf Abweichungen, bevor ich sie merge“, „Schreibe eine README für dieses Paket“ (die Beschreibung nennt „write a README“ und definiert einen Live-Modus); SOLLTE NICHT auslösen — „Schreibe den Hero-Text unserer Homepage um, um überzeugender zu sein“ (Marketingtext steht in der expliziten DO NOT USE-Liste), „Überprüfe die Python-Fehlerbehandlung dieses PRs“ (Produktionscode-Review, weitergeleitet an clean-code-guard). OUTPUT: Ich schrieb eine 24-zeilige retry.py plus eine absichtlich abweichende README, erstellte eine Baseline-Überprüfung ohne geladenen Skill (8 Befunde, Prosa-Liste, keine Zeilenreferenzen), dann einen Skill-gefolgten Review-Modus-Durchlauf; die Skill-Version fand 11 Befunde, darunter drei, die die Baseline verpasste (keine Fehlerpfad-Dokumentation, daher wird RetryError nie erwähnt, keine Versions-/Kompatibilitätsrichtlinie, das undefinierte `fetch` des Beispiels bricht die Selbstständigkeit), zitierte Datei:Zeile auf Dokument- und Code-Seite, und — gemäß verification.mds „prefer executable checks“ — ich führte das Beispiel tatsächlich aus und erhielt `TypeError: retry() got an unexpected keyword argument 'max_retries'` und bestätigte `e.__cause__ is None`, wodurch zwei weiche Behauptungen zu harten Beweisen wurden. Kosten sind Länge (~3x die Baseline) und eine selbst bewertete „23 claims checked“-Zählung; die Kern-Drift-Befunde überschnitten sich stark, sodass der Gewinn in Strenge und Beweisen liegt, nicht in einer neuen Art von Fang. DOKUMENTE: Die Pro-Skill-Behauptungen der README (progressive-disclosure references, @param matching, „blazingly fast leaves the building“) lassen sich alle auf echte Regeln im Text abbilden — Regel 7 listet diese Phrase wörtlich auf und docstrings.md behandelt die Tag-Genauigkeit; Forschungszahlen werden mit URLs in sources.md zitiert, die ich nicht geöffnet habe.

Getestet am: 2026-07-21 · Claude Code 2.x (agent harness)