Skill Evaluator

Valuta un SKILL.md di un agente rispetto alle best practice di Anthropic con uno script validatore e una rubrica ponderata

di gotalab · gotalab/skillport

Promosso ★ 8.4/10

Skill Evaluator — Valuta un SKILL.md di un agente rispetto alle best practice di Anthropic con uno script validatore e una rubrica ponderata

Cosa fa

Valuta il SKILL.md di una skill agente rispetto alle best practice di authoring di Anthropic, combinando un validatore Python automatizzato (naming, lunghezza descrizione, lunghezza corpo, profondità riferimento) con una rubrica ponderata a sei dimensioni che produce un punteggio da 1 a 5 e un report basato su template. Si attiva quando l'utente chiede di rivedere, valutare, stimare o auditare una skill per la qualità. Produce punteggi per dimensione, anti-pattern rilevati e raccomandazioni di correzione prioritarie.

Rapporto di test

Clonato il repository e eseguito scripts/validate_skill.py contro una skill di test deliberatamente debole (nome "pdf", descrizione vaga); ha emesso JSON valido segnalando il nome non gerundivo e i trigger di attivazione mancanti, exit 0. Ho notato una vera lacuna: il controllo path_style ispeziona solo i riferimenti ai link markdown, quindi il percorso Windows nudo "references\extra.md" NON è stato segnalato. Poi ho prodotto due artefatti: una revisione a forma libera di baseline (6 righe, nessun punteggio) vs un report seguito dalla skill (ponderato 1.50/5.0 con una tabella per dimensione, avvisi del validatore riprodotti e una fascia di raccomandazione "Poor") - la skill aggiunge dimostrabilmente un numero riproducibile e forza l'esecuzione dei controlli. Tutti e 3 i file referenziati hanno restituito HTTP 200; nessun problema di sicurezza.

Testato il: 2026-07-21 · Claude Code 2.x (agent harness)

Installazione

git clone --depth 1 https://github.com/gotalab/skillport.git /tmp/skill-evaluator-src
mkdir -p ~/.claude/skills
cp -R /tmp/skill-evaluator-src/.skills/experimental/skill-evaluator ~/.claude/skills/skill-evaluator
# No deps: scripts/validate_skill.py is pure Python 3 stdlib (argparse, re, json, pathlib).
# Run the validator: python3 ~/.claude/skills/skill-evaluator/scripts/validate_skill.py <path/to/skill> --json

Comandi e prompt di esempio

/skill-evaluatorValuta un SKILL.md di un agente rispetto alle best practice di Anthropic con uno script validatore e una rubrica ponderata

Gli skill si attivano con richieste in linguaggio naturale, senza comandi da ricordare. Dopo l'installazione, prompt come questi lo attivano (in inglese):

Evaluate this skill's SKILL.md for quality
Review my skill description for clarity
Audit this skill for structural anti-patterns

Rapporto completo →