Optimise Skill

Vende el motor SkillOpt/OPRO de Microsoft para reentrenar la rúbrica con forma de juez de una skill contra un corpus de resultados etiquetados, limitado por un conjunto reservado.

Por yungbose · yungbose/upskill

Probado · Funciona ★ 9.2/10

Optimise Skill — Vende el motor SkillOpt/OPRO de Microsoft para reentrenar la rúbrica con forma de juez de una skill contra un corpus de resultados etiquetados, limitado por un conjunto reservado.

Qué hace

Un optimizador de políticas de decisión para skills de Claude: dado un manifiesto, un único documento de rúbrica ajustable y un corpus de markdown etiquetado de decisiones pasadas, ejecuta el bucle rollout/reflect/edit/gate de SkillOpt y solo promueve una rúbrica editada cuando supera estrictamente la línea base en un conjunto reservado adversarial. Se activa con 'train/optimise the <X> rubric' o el comando /optimise-skill <consumer>; explícitamente fuera de alcance para ajustar la descripción de activación de una skill, que permanece con el creador de la skill. La optimización en vivo se descarga al CLI de claude contra una suscripción a Claude Max (o una clave de OpenAI como proveedor alternativo).

Informe de la prueba

Realmente lo ejecuté: scripts/setup.py --apply generó un contrato de optimización real de 9 archivos (manifiesto, rúbrica, directorios de corpus de entrenamiento/validación/prueba, fixtures de incidentes/reversiones reservadas, libro de contabilidad) para un consumidor desechable, validate_manifest.py lo pasó limpio, y el conjunto completo de 206 pruebas pasó instantáneamente con jueces simulados y cero llamadas a LLM, coincidiendo exactamente con la afirmación verificada del propio README. No ejecuté el bucle de entrenamiento LLM en vivo en sí, ya que se descarga a una llamada real de suscripción a claude -p.

Probado el: 2026-07-15 · Claude Code 2.x (agent harness)

Instalación

git clone https://github.com/yungbose/upskill.git
cd upskill
mkdir -p ~/.claude/skills
cp -r optimise-skill ~/.claude/skills/optimise-skill
pip install -r optimise-skill/requirements.txt  # PyYAML only; live tuning additionally needs the claude CLI + a Claude Max subscription

Comandos y prompts de ejemplo

  • /optimise-skillVende el motor SkillOpt/OPRO de Microsoft para reentrenar la rúbrica con forma de juez de una skill contra un corpus de resultados etiquetados, limitado por un conjunto reservado.

Los skills se activan con peticiones en lenguaje natural, sin comandos que memorizar. Tras instalarlo, prompts como estos lo activan (en inglés):

  • train this skill's rubric against our labeled decision corpus
  • optimize the judge rubric and validate it on a held-out test set
  • scaffold a new optimisation consumer and run its test suite