Create Skill Test
Erzeugt eval.yaml-Testdateien mit Szenarien und Bewertungsrubriken für Agent-Skills.
Getestet · Funktioniert
Was es kann
Erzeugt eval.yaml-Testdateien für Agent-Skills im dotnet/skills-Repository. Einsetzen beim Erstellen von Skill-Tests, beim Schreiben von Evaluationsszenarien, beim Definieren von Assertions und Rubriken oder beim Einrichten von Test-Fixture-Dateien. Deckt eval.yaml-Generierung, Fixture-Organisation und die Vermeidung von Overfitting ab. Nicht einsetzen zum Ausführen oder Debuggen bestehender Tests, noch zum Verfassen von Skills.
Testbericht
Getestet wurde das Scaffolding einer eval.yaml für einen inline definierten csv-summarizer-Skill (1 Aktivierungs- + 2 Nicht-Aktivierungs-Szenarien). Die wortgetreue git-clone+cp-Installation platzierte den Single-File-Skill exakt am dokumentierten Pfad mit gültigem Frontmatter. A/B: Die Skill-Ausgabe nutzte das korrekte dokumentierte Schema — echte Assertion-Typnamen (output_contains/output_matches/exit_success/file_not_exists), saubere setup.files-Blöcke, keine überzähligen Keys —, während die From-Scratch-Base-Ausgabe zwar einen zusätzlichen Nicht-Aktivierungs-Fall abdeckte, aber ungültige Assertion-Typen (contains/not_contains) sowie undokumentierte Top-Level-skill:- und Pro-Szenario-description:-Keys verwendete, die am statischen Validator des Repos scheitern würden.
Getestet am: 2026-07-12 · Claude Code 2.x (agent harness)
Installation
git clone https://github.com/dotnet/skills cd skills mkdir -p ~/.claude/skills cp -r .agents/skills/create-skill-test ~/.claude/skills/create-skill-test
Befehle & Beispiel-Prompts
/create-skill-testErzeugt eval.yaml-Testdateien mit Szenarien und Bewertungsrubriken für Agent-Skills.
Skills reagieren auf normale Anfragen — keine Slash-Befehle nötig. Nach der Installation aktivieren Prompts wie diese den Skill (auf Englisch):
Write eval.yaml tests for this new skillCreate test fixtures for this skill's scenariosDefine assertions and rubrics for this skill test