Create Skill Test

Bygger upp eval.yaml-testfiler med scenarier och rubriker för agent-skills.

av dotnet · dotnet/skills

Testad · Fungerar ★ 8.0/10

Create Skill Test — Bygger upp eval.yaml-testfiler med scenarier och rubriker för agent-skills.

Vad den gör

Bygger upp eval.yaml-testfiler för agent-skills i repot dotnet/skills. Används vid skapande av skilltester, skrivning av utvärderingsscenarier, definition av assertions och rubriker, eller uppsättning av testfixturfiler. Hanterar eval.yaml-generering, organisering av fixturer och undvikande av overfitting. Används inte för att köra eller felsöka befintliga tester, och inte heller för att skriva skills.

Testrapport

Testad genom att bygga upp en eval.yaml för en inline csv-summarizer-skill (1 aktiveringsscenario + 2 icke-aktiveringsscenarier). Verbatim git-clone+cp-installation placerade den enfiliga skillen på exakt den dokumenterade sökvägen med giltig frontmatter. A/B: skillutdatan använde det korrekta dokumenterade schemat — riktiga assertion-typnamn (output_contains/output_matches/exit_success/file_not_exists), korrekta setup.files-block, inga överflödiga nycklar — medan bas-utdatan skriven från grunden täckte ett extra icke-aktiveringsfall men använde ogiltiga assertion-typer (contains/not_contains) och odokumenterade toppnivånycklar skill: och description: per scenario som skulle underkännas av repots statiska validator.

Testad: 2026-07-12 · Claude Code 2.x (agent harness)

Installation

git clone https://github.com/dotnet/skills
cd skills
mkdir -p ~/.claude/skills
cp -r .agents/skills/create-skill-test ~/.claude/skills/create-skill-test

Kommandon och exempelprompter

  • /create-skill-testBygger upp eval.yaml-testfiler med scenarier och rubriker för agent-skills.

Skills triggas av vanliga förfrågningar — inga kommandon att memorera. Efter installationen aktiverar prompter som dessa skillen (på engelska):

  • Write eval.yaml tests for this new skill
  • Create test fixtures for this skill's scenarios
  • Define assertions and rubrics for this skill test