Content Research Writer

Rapport de test

Tâche : 'créer un plan d'article sur les raisons de l'échec de l'intégration à distance, et fournir une accroche' — exécuté sans compétence et avec compétence. La base de référence a produit un plan plat et une accroche générique ('Dans cet article, nous explorerons…') — 0 sur 8 critères ; la version de la compétence a donné 8 sur 8 : modèle Accroche/Introduction/Corps/Conclusion, annotations [Recherche nécessaire] en ligne, checklist de recherche à faire, analyse de l'accroche actuelle, trois variantes marquées avec justification 'pourquoi ça marche', contre-argument intégré, et une question de vérification de la voix. Le gain structurel est réel et reproductible, mais la moitié de la promesse de la description n'est pas confirmée : la compétence consiste en un seul fichier SKILL.md, sans liaisons d'outils (grep pour WebSearch/WebFetch/allowed-tools/browser — vide), donc 'mener des recherches, ajouter des citations' repose uniquement sur le modèle. Pire, les propres exemples de la compétence démontrent un format de citation avec des chiffres fabriqués et une attribution faisant autorité — 'Gartner : 80% des chefs de projet utiliseront des outils d'IA d'ici 2025', '67% des travailleurs du savoir', 'Dr. Jane Smith, MIT' — ce qui signifie qu'ils enseignent la forme de citation sans aucune vérification, ce qui augmente directement le risque de fabrication ; dans mon exécution, j'ai plutôt laissé une variante d'accroche avec un PLACEHOLDER explicite. Stage 0 propre : lu le fichier entier, pas d'exfiltration, d'instructions cachées ou d'escalade de privilèges. Déclencheur 4 sur 5 — la description 'assists in writing high-quality content' est trop large et, selon mon estimation, s'appliquerait faussement à des textes marketing courts comme des descriptions de produits.

Testé le: 2026-07-16 · Claude Code 2.x (agent harness)