Skill Evaluator

Évalue un SKILL.md de compétence par rapport aux meilleures pratiques d'Anthropic avec un script validateur et une grille pondérée

par gotalab · gotalab/skillport

Testé · Fonctionne ★ 8.4/10

Skill Evaluator — Évalue un SKILL.md de compétence par rapport aux meilleures pratiques d'Anthropic avec un script validateur et une grille pondérée

Ce que fait

Évalue le SKILL.md d'une compétence d'agent par rapport aux meilleures pratiques de rédaction d'Anthropic, combinant un validateur Python automatisé (nommage, longueur de description, longueur de corps, profondeur de référence) avec une grille pondérée à six dimensions qui produit un score de 1 à 5 et un rapport basé sur un modèle. Se déclenche lorsque l'utilisateur demande de réviser, d'évaluer, d'estimer ou d'auditer une compétence pour sa qualité. Produit des scores par dimension, des anti-patterns détectés et des recommandations de correction priorisées.

Rapport de test

Cloné le dépôt et exécuté scripts/validate_skill.py contre une compétence de test délibérément faible (nom "pdf", description vague) ; il a émis un JSON valide signalant le nom non gérondif et les déclencheurs d'activation manquants, exit 0. J'ai remarqué une lacune réelle : la vérification path_style n'inspecte que les références de liens markdown, donc le chemin Windows nu "references\extra.md" n'a PAS été signalé. J'ai ensuite produit deux artefacts : une révision de forme libre de base (6 lignes, pas de score) vs un rapport suivant la compétence (pondéré 1.50/5.0 avec un tableau par dimension, avertissements du validateur reproduits, et une bande de recommandation "Faible") — la compétence ajoute de manière démontrable un nombre reproductible et force l'exécution des vérifications. Les 3 fichiers référencés ont retourné HTTP 200 ; pas de failles de sécurité.

Testé le: 2026-07-21 · Claude Code 2.x (agent harness)

Installation

git clone --depth 1 https://github.com/gotalab/skillport.git /tmp/skill-evaluator-src
mkdir -p ~/.claude/skills
cp -R /tmp/skill-evaluator-src/.skills/experimental/skill-evaluator ~/.claude/skills/skill-evaluator
# No deps: scripts/validate_skill.py is pure Python 3 stdlib (argparse, re, json, pathlib).
# Run the validator: python3 ~/.claude/skills/skill-evaluator/scripts/validate_skill.py <path/to/skill> --json

Commandes et exemples de prompts

/skill-evaluatorÉvalue un SKILL.md de compétence par rapport aux meilleures pratiques d'Anthropic avec un script validateur et une grille pondérée

Les skills se déclenchent sur des demandes en langage courant — aucune commande à retenir. Après installation, des prompts comme ceux-ci l'activent (en anglais) :

Evaluate this skill's SKILL.md for quality
Review my skill description for clarity
Audit this skill for structural anti-patterns

Rapport complet →