Create Skill Test

Scaffoldt eval.yaml-testbestanden met scenario's en rubrics voor agent-skills.

Door dotnet · dotnet/skills

Getest · Werkt ★ 8.0/10

Create Skill Test — Scaffoldt eval.yaml-testbestanden met scenario's en rubrics voor agent-skills.

Wat het doet

Scaffoldt eval.yaml-testbestanden voor agent-skills in de dotnet/skills-repository. Te gebruiken bij het maken van skilltests, het schrijven van evaluatiescenario's, het definiëren van assertions en rubrics, of het opzetten van testfixturebestanden. Verzorgt eval.yaml-generatie, fixture-organisatie en het vermijden van overfitting. Niet te gebruiken voor het draaien of debuggen van bestaande tests, noch voor het schrijven van skills zelf.

Testrapport

Getest door een eval.yaml te genereren voor een inline csv-summarizer-skill (1 activatie- + 2 niet-activatiescenario's). Letterlijke git-clone+cp-installatie plaatste het single-file-bestand van de skill precies op het gedocumenteerde pad, met geldige frontmatter. A/B: de output met skill gebruikte het correcte gedocumenteerde schema — echte assertion-typenamen (output_contains/output_matches/exit_success/file_not_exists), correcte setup.files-blokken, geen overtollige keys — terwijl de from-scratch basisoutput één extra niet-activatiegeval dekte, maar ongeldige assertion-typen gebruikte (contains/not_contains) en ongedocumenteerde top-level skill:- en per-scenario description:-keys, waardoor de statische validator van de repo zou falen.

Getest op: 2026-07-12 · Claude Code 2.x (agent harness)

Installatie

git clone https://github.com/dotnet/skills
cd skills
mkdir -p ~/.claude/skills
cp -r .agents/skills/create-skill-test ~/.claude/skills/create-skill-test

Commando's en voorbeeldprompts

  • /create-skill-testScaffoldt eval.yaml-testbestanden met scenario's en rubrics voor agent-skills.

Skills reageren op gewone verzoeken — geen commando's om te onthouden. Na installatie activeren prompts zoals deze de skill (in het Engels):

  • Write eval.yaml tests for this new skill
  • Create test fixtures for this skill's scenarios
  • Define assertions and rubrics for this skill test