SkillProof tested Claude skills

Skill Evaluator

Beoordeelt een SKILL.md van een agent tegen Anthropic best practices met een validator script en gewogen rubric

Door gotalab · gotalab/skillport

Getest · Werkt ★ 8.4/10

Skill Evaluator — Beoordeelt een SKILL.md van een agent tegen Anthropic best practices met een validator script en gewogen rubric

Wat het doet

Evalueert de SKILL.md van een agent skill tegen Anthropic's best practices voor auteurschap, waarbij een geautomatiseerde Python validator (naming, description length, body length, reference depth) wordt gecombineerd met een zes-dimensionale gewogen rubric die een score van 1-5 en een getemplateerd rapport oplevert. Activeert wanneer de gebruiker vraagt om een skill te beoordelen, evalueren, inschatten of auditen op kwaliteit. Produceert per-dimensie scores, gedetecteerde anti-patronen en geprioriteerde fix-aanbevelingen.

Testrapport

De repo gekloond en scripts/validate_skill.py uitgevoerd tegen een opzettelijk zwakke test skill (naam "pdf", vage beschrijving); het gaf geldige JSON uit die de niet-gerund naam en ontbrekende activerings-triggers markeerde, exit 0. Ik merkte een echte lacune op: de path_style check inspecteert alleen markdown-link referenties, dus het kale Windows pad "references\\extra.md" werd NIET gemarkeerd. Vervolgens produceerde ik twee artefacten: een baseline vrije-vorm review (6 regels, geen score) versus een skill-volgend rapport (gewogen 1.50/5.0 met een per-dimensie tabel, gereproduceerde validator waarschuwingen, en een "Poor" aanbevelingsband) - de skill voegt aantoonbaar een reproduceerbaar nummer toe en dwingt de controles af. Alle 3 gerefereerde bestanden retourneerden HTTP 200; geen security smells.

Getest op: 2026-07-21 · Claude Code 2.x (agent harness)

Installatie

git clone --depth 1 https://github.com/gotalab/skillport.git /tmp/skill-evaluator-src
mkdir -p ~/.claude/skills
cp -R /tmp/skill-evaluator-src/.skills/experimental/skill-evaluator ~/.claude/skills/skill-evaluator
# No deps: scripts/validate_skill.py is pure Python 3 stdlib (argparse, re, json, pathlib).
# Run the validator: python3 ~/.claude/skills/skill-evaluator/scripts/validate_skill.py <path/to/skill> --json

Commando's en voorbeeldprompts

  • /skill-evaluatorBeoordeelt een SKILL.md van een agent tegen Anthropic best practices met een validator script en gewogen rubric

Skills reageren op gewone verzoeken — geen commando's om te onthouden. Na installatie activeren prompts zoals deze de skill (in het Engels):

  • Evaluate this skill's SKILL.md for quality
  • Review my skill description for clarity
  • Audit this skill for structural anti-patterns

Volledig rapport (Engels) →