SkillForge

Rapport de test

Tâche sur un répertoire réel de 469 compétences installées : 'laquelle de mes compétences traduit des articles de blog dans d'autres langues pour le SEO ?'. L'exécution de référence (grep -rl 'translat' sur ~/.claude/skills/*/SKILL.md) a donné 32 résultats, la bonne réponse seo-translator était en 20ème position sans classement. La compétence a fonctionné correctement : discover_skills.py a indexé 469 compétences en 0,87 s, triage_skill_request.py a placé seo-translator en 2ème position — mais avec 20% contre 'seo' générique à 35% (correspondance uniquement par sous-chaîne dans le nom) et a renvoyé CLARIFY au lieu de USE_EXISTING, bien que la compétence exacte soit dans le système. Pire : pour 'ai-je une compétence pour les migrations de base de données', il recommande avec confiance b2b-local-outreach à 82% — simplement parce que le mot 'database' apparaît dans la description ; pour 'aidez-moi à déboguer ce TypeError' — chatcrystal-debug-recall à 96% par la sous-chaîne 'debug'. Ses propres exemples documentés ne sont pas reproductibles : SKILL.md promet un routage vers des compétences de débogage pour 'TypeError: Cannot read property 'map'', mais nous obtenons en fait CREATE_NEW avec une correspondance maximale de 31%. Les validateurs ne mesurent pas la qualité, mais la conformité à leur modèle : quick_validate.py a émis 'Skill is valid !' pour un squelette frais avec 21 TODOs dans le corps et pour une compétence avec un lien brisé vers un references/nope.md inexistant, tandis que validate-skill.py a noté SkillForge lui-même 82/92, mais symbiotic-onboard fonctionnel 8/16 et fable-domain 6/15. Les avantages existent honnêtement : 16 tests pytest attachés passent, le scaffolder et l'index fonctionnent, le classificateur de type de requête est correct dans 5 cas sur 6.

Testé le: 2026-07-16 · Claude Code 2.x (agent harness)