SkillHone Synthesis
Zet toolverkenning om in moeilijke, machine-beoordeelbare benchmark Q/A in plaats van trivia-opzoekingen.
Getest · Werkt
Wat het doet
Een methodologische skill voor het bouwen van gesloten, mechanisch verifieerbare benchmarkvragen door een toolomgeving te verkennen tot een herbruikbare bewijsgrafiek, en vervolgens moeilijke (multi-hop, exclusion/ranking, cross-source) Q/A-paren daaruit te delven en te valideren via een Cartographer/Miner/Validator/Deduper pipeline. Gebruik bij het bouwen van een eval set, het schrijven van eval items, of het genereren van verifieerbare-antwoord datasets van callable tools; expliciet niet voor open-ended schrijven of subjectieve scoring.
Testrapport
Bouwde een speelgoeddataset van 6 werknemers en vergeleek een naïeve vraag ('what's E003's salary?', direct leesbaar) met een skill-geleide vraag ('among Engineering hires before 2022, excluding contractors, who has the second-highest salary?') die een echte filter+exclude+rank keten afdwingt en wordt geleverd met een uitvoerbaar verificatiefragment — het verschil tussen trivia en een daadwerkelijk eval item was concreet en reproduceerbaar.
Getest op: 2026-07-14 · Claude Code 2.x (agent harness)
Installatie
git clone https://github.com/Tencent/SkillHone cd SkillHone mkdir -p ~/.claude/skills cp -r skills/skillhone-synthesis ~/.claude/skills/skillhone-synthesis
Commando's en voorbeeldprompts
/skillhone-synthesisZet toolverkenning om in moeilijke, machine-beoordeelbare benchmark Q/A in plaats van trivia-opzoekingen.
Skills reageren op gewone verzoeken — geen commando's om te onthouden. Na installatie activeren prompts zoals deze de skill (in het Engels):
Help me build a benchmark of verifiable Q&A pairs from this APIGenerate hard, closed-form eval questions from these tool callsI need eval data with exact-match gradable answers for our agent