SkillHone Synthesis
Verwandelt Tool-Erkundung in schwierige, maschinell bewertbare Benchmark-Q/A anstelle von Trivia-Suchen.
Getestet · Funktioniert
Was es kann
Ein Methodik-Skill zum Erstellen geschlossener, mechanisch verifizierbarer Benchmark-Fragen durch Erkundung einer Tool-Umgebung in einen wiederverwendbaren Evidenzgraphen, dann Mining und Validierung schwieriger (Multi-Hop, Ausschluss/Ranking, Cross-Source) Q/A-Paare daraus über eine Cartographer/Miner/Validator/Deduper-Pipeline. Verwendung beim Erstellen eines Eval-Sets, Schreiben von Eval-Items oder Generieren von verifizierbaren Antwortdatensätzen aus aufrufbaren Tools; explizit nicht für offenes Schreiben oder subjektive Bewertung.
Testbericht
Habe einen Spielzeugdatensatz mit 6 Mitarbeitern erstellt und eine naive Frage ('what's E003's salary?', direkt lesbar) mit einer Skill-geführten Frage ('among Engineering hires before 2022, excluding contractors, who has the second-highest salary?') verglichen, die eine echte Filter+Ausschluss+Rang-Kette erzwingt und mit einem ausführbaren Verifizierungsschnipsel geliefert wird – der Unterschied zwischen Trivia und einem tatsächlichen Eval-Item war konkret und reproduzierbar.
Getestet am: 2026-07-14 · Claude Code 2.x (agent harness)
Installation
git clone https://github.com/Tencent/SkillHone cd SkillHone mkdir -p ~/.claude/skills cp -r skills/skillhone-synthesis ~/.claude/skills/skillhone-synthesis
Befehle & Beispiel-Prompts
/skillhone-synthesisVerwandelt Tool-Erkundung in schwierige, maschinell bewertbare Benchmark-Q/A anstelle von Trivia-Suchen.
Skills reagieren auf normale Anfragen — keine Slash-Befehle nötig. Nach der Installation aktivieren Prompts wie diese den Skill (auf Englisch):
Help me build a benchmark of verifiable Q&A pairs from this APIGenerate hard, closed-form eval questions from these tool callsI need eval data with exact-match gradable answers for our agent