Docs Guard

Rapport de test

INSTALL : le frontmatter est un YAML valide avec name + une longue description bien délimitée ; les six fichiers référencés (references/verification.md, code-samples.md, docstrings.md, review-checklist.md, sources.md, agents/openai.yaml) ont renvoyé HTTP 200 lors de la récupération brute ; pas de scripts, pas de curl|sh, pas de base64, pas d'accès secret, pas de texte d'injection — la compétence est purement markdown. DÉCLENCHEMENT, 5/5 correct : DEVRAIT se déclencher — "Révise ce README par rapport au code avant que je ne le publie, y a-t-il quelque chose de faux ?", "L'agent vient de réécrire notre référence API et nos docstrings, vérifie les dérives avant que je ne fusionne", "Écris un README pour ce paquet" (la description nomme "écrire un README" et définit un mode en direct) ; NE DEVRAIT PAS se déclencher — "Réécris le texte d'accroche de notre page d'accueil pour être plus persuasif" (le texte marketing est dans la liste explicite À NE PAS UTILISER), "Révise la gestion des erreurs Python de cette PR" (révision de code de production, routée vers clean-code-guard). SORTIE : j'ai écrit un retry.py de 24 lignes plus un README délibérément décalé, produit une révision de base sans compétence chargée (8 découvertes, liste en prose, pas de références de ligne), puis une passe en mode révision suivant la compétence ; la version de la compétence a trouvé 11 découvertes, dont trois que la base de référence avait manquées (pas de docs de chemin d'échec donc RetryError n'est jamais mentionnée, pas de politique de version/compatibilité, le `fetch` indéfini de l'exemple brisant l'auto-contenance), a cité fichier:ligne des deux côtés doc et code, et — suivant les "prefer executable checks" de verification.md — j'ai réellement exécuté l'exemple et obtenu `TypeError: retry() got an unexpected keyword argument 'max_retries'` et confirmé `e.__cause__ is None`, transformant deux assertions faibles en preuves solides. Le coût est la longueur (~3x la base de référence) et un décompte auto-évalué de "23 affirmations vérifiées" ; les principales découvertes de dérive se chevauchaient fortement, donc le gain est la rigueur et la preuve plutôt qu'une nouvelle classe de capture. DOCS : les affirmations par compétence du README (références à divulgation progressive, correspondance @param, "blazingly fast leaves the building") correspondent toutes à des règles réelles dans le corps — la Règle 7 liste littéralement cette phrase et docstrings.md couvre la précision des tags ; les chiffres de recherche sont cités avec des URL dans sources.md, que je n'ai pas ouvert.

Testé le: 2026-07-21 · Claude Code 2.x (agent harness)