Skill Evaluator

Hodnotí SKILL.md podle osvědčených postupů Anthropic pomocí validačního skriptu a vážené rubriky

od gotalab · gotalab/skillport

Otestováno · Funguje ★ 8.4/10

Skill Evaluator — Hodnotí SKILL.md podle osvědčených postupů Anthropic pomocí validačního skriptu a vážené rubriky

Co umí

Vyhodnocuje SKILL.md dovednosti agenta podle osvědčených postupů Anthropic pro tvorbu, kombinující automatizovaný Python validátor (pojmenování, délka popisu, délka těla, hloubka odkazu) s šestidimenzionální váženou rubrikou, která poskytuje skóre 1-5 a šablonový report. Spouští se, když uživatel požádá o revizi, vyhodnocení, posouzení nebo audit dovednosti z hlediska kvality. Produkuje skóre pro jednotlivé dimenze, detekované anti-vzory a prioritizovaná doporučení pro opravy.

Testovací report

Klonován repozitář a spuštěn scripts/validate_skill.py proti záměrně slabé testovací dovednosti (název "pdf", vágní popis); vygeneroval platný JSON označující negerundivní název a chybějící spouštěcí triggery, exit 0. Všiml jsem si skutečné mezery: kontrola path_style kontroluje pouze odkazy v markdownu, takže holá cesta Windows "references\extra.md" NEBYLA označena. Poté jsem vygeneroval dva artefakty: základní volnou recenzi (6 řádků, bez skóre) vs. report po dovednosti (vážený 1.50/5.0 s tabulkou pro jednotlivé dimenze, reprodukovaná varování validátoru a doporučení "Poor") – dovednost prokazatelně přidává reprodukovatelné číslo a vynucuje spuštění kontrol. Všechny 3 odkazované soubory vrátily HTTP 200; žádné bezpečnostní rizika.

Testováno: 2026-07-21 · Claude Code 2.x (agent harness)

Instalace

git clone --depth 1 https://github.com/gotalab/skillport.git /tmp/skill-evaluator-src
mkdir -p ~/.claude/skills
cp -R /tmp/skill-evaluator-src/.skills/experimental/skill-evaluator ~/.claude/skills/skill-evaluator
# No deps: scripts/validate_skill.py is pure Python 3 stdlib (argparse, re, json, pathlib).
# Run the validator: python3 ~/.claude/skills/skill-evaluator/scripts/validate_skill.py <path/to/skill> --json

Příkazy a ukázkové prompty

  • /skill-evaluatorHodnotí SKILL.md podle osvědčených postupů Anthropic pomocí validačního skriptu a vážené rubriky

Skilly se spouštějí běžnými požadavky — žádné příkazy k zapamatování. Po instalaci ho aktivují prompty jako tyto (anglicky):

  • Evaluate this skill's SKILL.md for quality
  • Review my skill description for clarity
  • Audit this skill for structural anti-patterns