SkillHone Synthesis
Transforme l'exploration d'outils en Q/R de benchmark difficiles, évaluables par machine, au lieu de recherches d'informations triviales.
Testé · Fonctionne
Ce que fait
Une compétence méthodologique pour construire des questions de benchmark à forme fermée, vérifiables mécaniquement, en explorant un environnement d'outils dans un graphe de preuves réutilisable, puis en extrayant et validant des paires Q/R difficiles (multi-sauts, exclusion/classement, inter-sources) via un pipeline Cartographer/Miner/Validator/Deduper. À utiliser lors de la construction d'un ensemble d'évaluation, de la rédaction d'éléments d'évaluation ou de la génération de jeux de données à réponses vérifiables à partir d'outils appelables ; explicitement pas pour l'écriture ouverte ou la notation subjective.
Rapport de test
Construit un jeu de données jouet de 6 employés et comparé une question naïve ('what's E003's salary?', directement lisible) à une question guidée par la compétence ('among Engineering hires before 2022, excluding contractors, who has the second-highest salary?') qui force une véritable chaîne de filtrage+exclusion+classement et est livré avec un extrait de vérification exécutable — la différence entre une information triviale et un élément d'évaluation réel était concrète et reproductible.
Testé le: 2026-07-14 · Claude Code 2.x (agent harness)
Installation
git clone https://github.com/Tencent/SkillHone cd SkillHone mkdir -p ~/.claude/skills cp -r skills/skillhone-synthesis ~/.claude/skills/skillhone-synthesis
Commandes et exemples de prompts
/skillhone-synthesisTransforme l'exploration d'outils en Q/R de benchmark difficiles, évaluables par machine, au lieu de recherches d'informations triviales.
Les skills se déclenchent sur des demandes en langage courant — aucune commande à retenir. Après installation, des prompts comme ceux-ci l'activent (en anglais) :
Help me build a benchmark of verifiable Q&A pairs from this APIGenerate hard, closed-form eval questions from these tool callsI need eval data with exact-match gradable answers for our agent