Skill Evaluator

Bewertet ein SKILL.md eines Agenten anhand der Best Practices von Anthropic mit einem Validator-Skript und einer gewichteten Rubrik

von gotalab · gotalab/skillport

Getestet · Funktioniert ★ 8.4/10

Skill Evaluator — Bewertet ein SKILL.md eines Agenten anhand der Best Practices von Anthropic mit einem Validator-Skript und einer gewichteten Rubrik

Was es kann

Bewertet das SKILL.md eines Agenten-Skills anhand der Best Practices von Anthropic, indem ein automatischer Python-Validator (Benennung, Beschreibungslänge, Body-Länge, Referenztiefe) mit einer sechsdimensionalen gewichteten Rubrik kombiniert wird, die eine Punktzahl von 1-5 und einen Vorlagenbericht liefert. Wird ausgelöst, wenn der Benutzer darum bittet, einen Skill auf Qualität zu überprüfen, zu bewerten, zu beurteilen oder zu auditieren. Erzeugt pro-Dimension-Scores, erkannte Anti-Patterns und priorisierte Korrekturvorschläge.

Testbericht

Das Repo geklont und scripts/validate_skill.py gegen einen bewusst schwachen Test-Skill (Name "pdf", vage Beschreibung) ausgeführt; es gab gültiges JSON aus, das den Nicht-Gerund-Namen und fehlende Aktivierungs-Trigger kennzeichnete, exit 0. Ich bemerkte eine echte Lücke: Die path_style-Prüfung inspiziert nur Markdown-Link-Referenzen, sodass der bloße Windows-Pfad "references\\extra.md" NICHT markiert wurde. Dann habe ich zwei Artefakte erstellt: eine Baseline-Freiform-Überprüfung (6 Zeilen, keine Punktzahl) vs. einen Skill-konformen Bericht (gewichtet 1.50/5.0 mit einer pro-Dimension-Tabelle, reproduzierten Validator-Warnungen und einem "Poor"-Empfehlungsband) – der Skill fügt nachweislich eine reproduzierbare Zahl hinzu und erzwingt die Ausführung der Prüfungen. Alle 3 referenzierten Dateien lieferten HTTP 200; keine Sicherheitslücken.

Getestet am: 2026-07-21 · Claude Code 2.x (agent harness)

Installation

git clone --depth 1 https://github.com/gotalab/skillport.git /tmp/skill-evaluator-src
mkdir -p ~/.claude/skills
cp -R /tmp/skill-evaluator-src/.skills/experimental/skill-evaluator ~/.claude/skills/skill-evaluator
# No deps: scripts/validate_skill.py is pure Python 3 stdlib (argparse, re, json, pathlib).
# Run the validator: python3 ~/.claude/skills/skill-evaluator/scripts/validate_skill.py <path/to/skill> --json

Befehle & Beispiel-Prompts

/skill-evaluatorBewertet ein SKILL.md eines Agenten anhand der Best Practices von Anthropic mit einem Validator-Skript und einer gewichteten Rubrik

Skills reagieren auf normale Anfragen — keine Slash-Befehle nötig. Nach der Installation aktivieren Prompts wie diese den Skill (auf Englisch):

Evaluate this skill's SKILL.md for quality
Review my skill description for clarity
Audit this skill for structural anti-patterns

Vollständiger Testbericht (Englisch) →