Optimise Skill

Fornisce il motore SkillOpt/OPRO di Microsoft per riaddestrare la rubrica a forma di giudice di uno skill su un corpus di risultati etichettati, con un set tenuto da parte.

di yungbose · yungbose/upskill

Promosso ★ 9.2/10

Optimise Skill — Fornisce il motore SkillOpt/OPRO di Microsoft per riaddestrare la rubrica a forma di giudice di uno skill su un corpus di risultati etichettati, con un set tenuto da parte.

Cosa fa

Un ottimizzatore di policy decisionali per skill Claude: dato un manifest, un singolo documento di rubrica modificabile e un corpus markdown etichettato di decisioni passate, esegue il ciclo rollout/reflect/edit/gate di SkillOpt e promuove una rubrica modificata solo quando batte strettamente il baseline su un set tenuto da parte avversario. Si attiva con 'train/optimise the <X> rubric' o il comando /optimise-skill <consumer>; esplicitamente fuori ambito per la messa a punto della descrizione di attivazione di uno skill, che rimane con il creatore dello skill. La messa a punto live si appoggia alla CLI claude contro un abbonamento Claude Max (o una chiave OpenAI come provider alternativo).

Rapporto di test

L'ho effettivamente eseguito: scripts/setup.py --apply ha creato uno scaffold di un vero contratto in 9 file di ottimizzazione/ (manifest, rubrica, directory corpus train/val/test, fixture di incident/reversal tenute da parte, registro) per un consumer usa e getta, validate_manifest.py lo ha superato pulito, e l'intera suite di 206 test è passata istantaneamente con giudici stub e zero chiamate LLM, corrispondendo esattamente all'affermazione verificata del README. Non ho eseguito il ciclo di training LLM live stesso poiché si appoggia a una vera chiamata di sottoscrizione claude -p.

Testato il: 2026-07-15 · Claude Code 2.x (agent harness)

Installazione

git clone https://github.com/yungbose/upskill.git
cd upskill
mkdir -p ~/.claude/skills
cp -r optimise-skill ~/.claude/skills/optimise-skill
pip install -r optimise-skill/requirements.txt  # PyYAML only; live tuning additionally needs the claude CLI + a Claude Max subscription

Comandi e prompt di esempio

  • /optimise-skillFornisce il motore SkillOpt/OPRO di Microsoft per riaddestrare la rubrica a forma di giudice di uno skill su un corpus di risultati etichettati, con un set tenuto da parte.

Gli skill si attivano con richieste in linguaggio naturale, senza comandi da ricordare. Dopo l'installazione, prompt come questi lo attivano (in inglese):

  • train this skill's rubric against our labeled decision corpus
  • optimize the judge rubric and validate it on a held-out test set
  • scaffold a new optimisation consumer and run its test suite