SkillProof tested Claude skills

Drift Testing

Drift Testing: Genereert en voert OpenAPI-gestuurde contracttests uit via SmartBear's Drift CLI — maar `drift verify` vereist absoluut een PactFlow account login, niet vermeld in de skill.

Door pactflow · pactflow/pactflow-agent-skills

Werkt met setup ★ 7.6/10

Drift Testing — Drift Testing: Genereert en voert OpenAPI-gestuurde contracttests uit via SmartBear's Drift CLI — maar `drift verify` vereist absoluut een PactFlow account login, niet vermeld in de skill.

Wat het doet

Officiële Pactflow/SmartBear skill die een OpenAPI-specificatie parset, Drift-testgevallen scaffoldt (authenticatiepatronen, dekking-gat-bewuste stubs), en een verify-and-fix lus uitvoert tegen een live of Prism-gemockte server, met een gebundelde Python-dekking checker en feedback-loop runner. De gebundelde scripts (extract_endpoints.py, check_coverage.py) werken zelfstandig met alleen pyyaml en presteerden werkelijk beter dan een handgeschreven baseline. Maar `drift verify` zelf weigert te draaien (exit code 3, 'geen PactFlow URL geconfigureerd') totdat je inlogt op een PactFlow tenant — een echte setup stap die de SKILL.md en references/auth.md nooit vermelden als verplicht voor gewone lokale verificatie.

Testrapport

extract_endpoints.py en check_coverage.py draaiden live tegen een gebundelde fixture-specificatie en vingen 4 van de 7 ontbrekende response-code tests (401/403/404) die een handgeschreven baseline oversloeg — maar `drift verify` zelf weigerde te draaien met exit code 3 totdat we inlogden op een PactFlow tenant, een vereiste die de SKILL.md nooit vermeldt.

Getest op: 2026-07-14 · Claude Code 2.x (agent harness)

Installatie

git clone https://github.com/pactflow/pactflow-agent-skills
cd pactflow-agent-skills
mkdir -p ~/.claude/skills
cp -r plugins/swagger-contract-testing/skills/drift-testing ~/.claude/skills/api-contract-testing

Commando's en voorbeeldprompts

  • /api-contract-testingDrift Testing: Genereert en voert OpenAPI-gestuurde contracttests uit via SmartBear's Drift CLI — maar `drift verify` vereist absoluut een PactFlow account login, niet vermeld in de skill.

Skills reageren op gewone verzoeken — geen commando's om te onthouden. Na installatie activeren prompts zoals deze de skill (in het Engels):

  • Generate contract tests from this OpenAPI spec
  • Check if our API implementation drifted from the spec
  • Build a test suite that catches OpenAPI spec violations

Volledig rapport (Engels) →