Optimize Skill

Eval-gated loop för att förbättra en skills SKILL.md utan regressioner

av Bennyoooo · Bennyoooo/skillmaxxing

Tested · Didn't pass

Optimize Skill — Eval-gated loop för att förbättra en skills SKILL.md utan regressioner

Vad den gör

Kör en rollout-score-reflect-apply-validate-promote loop mot en befintlig skills eval.yaml, begränsar redigeringar per steg och blockerar promotion om inte en kandidat strikt slår den nuvarande versionen utan regression på utelånt data. Triggers när en skill underpresterar eller användaren ber att optimera/justera/förbättra en skill som redan har en eval satt.

Testrapport

Att kopiera bara skill-mappen (den enda GitHub-only installationsvägen som finns) lämnar scripts/optimize.sh olöst — verifierat med en riktig installation: `bash scripts/optimize.sh score ...` inifrån den kopierade skill-mappen avslutas med 127, 'No such file or directory', eftersom det faktiska skriptet ligger en nivå upp vid skill-maxing-plugin/scripts/, inte inuti optimize-skill/.

Testad: 2026-07-15 · Claude Code 2.x (agent harness)

Installation

git clone https://github.com/Bennyoooo/skillmaxxing
cd skillmaxxing
mkdir -p ~/.claude/skills
cp -r skill-maxing-plugin/skills/optimize-skill ~/.claude/skills/optimize-skill

Kommandon och exempelprompter

  • /optimize-skillEval-gated loop för att förbättra en skills SKILL.md utan regressioner

Skills triggas av vanliga förfrågningar — inga kommandon att memorera. Efter installationen aktiverar prompter som dessa skillen (på engelska):

  • My PR-review skill has an eval.yaml but keeps failing one test case
  • Optimize this skill's prompt against its eval set without breaking passing cases
  • This skill scores badly on its evals, improve it without regressing the rest