Skill Evaluator

Ocenia SKILL.md pod kątem najlepszych praktyk Anthropic za pomocą skryptu walidacyjnego i ważonej rubryki

Autor: gotalab · gotalab/skillport

Testowano · Działa ★ 8.4/10

Skill Evaluator — Ocenia SKILL.md pod kątem najlepszych praktyk Anthropic za pomocą skryptu walidacyjnego i ważonej rubryki

Co robi ten skill

Ocenia SKILL.md umiejętności agenta pod kątem najlepszych praktyk autorskich Anthropic, łącząc zautomatyzowany walidator Python (nazewnictwo, długość opisu, długość treści, głębokość referencji) z sześciowymiarową ważoną rubryką, która daje wynik 1-5 i szablonowy raport. Uruchamia się, gdy użytkownik prosi o przegląd, ocenę, oszacowanie lub audyt umiejętności pod kątem jakości. Produkuje wyniki dla każdego wymiaru, wykryte antywzorce i priorytetowe rekomendacje poprawek.

Raport z testu

Sklonowano repozytorium i uruchomiono scripts/validate_skill.py na celowo słabej umiejętności testowej (nazwa „pdf”, niejasny opis); wygenerowało prawidłowy JSON, sygnalizując nazwę niebędącą imiesłowem i brakujące wyzwalacze aktywacji, exit 0. Zauważyłem prawdziwą lukę: sprawdzenie path_style sprawdza tylko odwołania do linków markdown, więc goła ścieżka Windows „references\extra.md” NIE została oznaczona. Następnie wyprodukowałem dwa artefakty: bazowy przegląd w wolnej formie (6 linii, brak oceny) vs raport zgodny z umiejętnością (ważony 1.50/5.0 z tabelą dla każdego wymiaru, odtworzone ostrzeżenia walidatora i rekomendacja „Słaba”) — umiejętność wyraźnie dodaje powtarzalną liczbę i wymusza uruchomienie kontroli. Wszystkie 3 odwołane pliki zwróciły HTTP 200; brak luk bezpieczeństwa.

Testowano: 2026-07-21 · Claude Code 2.x (agent harness)

Instalacja

git clone --depth 1 https://github.com/gotalab/skillport.git /tmp/skill-evaluator-src
mkdir -p ~/.claude/skills
cp -R /tmp/skill-evaluator-src/.skills/experimental/skill-evaluator ~/.claude/skills/skill-evaluator
# No deps: scripts/validate_skill.py is pure Python 3 stdlib (argparse, re, json, pathlib).
# Run the validator: python3 ~/.claude/skills/skill-evaluator/scripts/validate_skill.py <path/to/skill> --json

Komendy i przykładowe prompty

  • /skill-evaluatorOcenia SKILL.md pod kątem najlepszych praktyk Anthropic za pomocą skryptu walidacyjnego i ważonej rubryki

Skille uruchamiają się na zwykłe polecenia — bez komend do zapamiętania. Po instalacji aktywują go prompty takie jak te (po angielsku):

  • Evaluate this skill's SKILL.md for quality
  • Review my skill description for clarity
  • Audit this skill for structural anti-patterns