Inngest Agent Evals

Configureer productie Inngest agent evals: directe/uitgestelde scoring, sessies en A/B experimenten.

Door inngest · inngest/inngest-skills

Getest · Werkt ★ 9.6/10

Inngest Agent Evals — Configureer productie Inngest agent evals: directe/uitgestelde scoring, sessies en A/B experimenten.

Wat het doet

Voegt Inngest's v4 evaluatieprimitieven — step.score, uitgestelde createScorer scorers, meta.sessions correlatie en group.experiment A/B vergelijkingen — toe aan een productie AI agent of workflow gebouwd op Inngest. Activeert wanneer de gebruiker agent/workflow resultaten wil scoren, evalueren, debuggen of A/B testen, of een bestaande Inngest app wil migreren om productie evals toe te voegen.

Testrapport

Typecheckte het exacte codepatroon van de skill tegen het echte, momenteel gepubliceerde inngest@4.12.1 pakket op npm — scoreMiddleware, createScorer, group.experiment en experimentRef compileerden allemaal schoon — terwijl een uit het geheugen gebaseerde baseline een niet-duurzaam, niet-toegeschreven scoringssysteem opnieuw uitvond dat POSTs naar een verzonnen metrics endpoint en zijn 'experiment' met Math.random() 'kop of munt' speelde.

Getest op: 2026-07-14 · Claude Code 2.x (agent harness)

Installatie

git clone https://github.com/inngest/inngest-skills
cd inngest-skills
mkdir -p ~/.claude/skills
cp -r skills/inngest-agent-evals ~/.claude/skills/inngest-agent-evals

Commando's en voorbeeldprompts

  • /inngest-agent-evalsConfigureer productie Inngest agent evals: directe/uitgestelde scoring, sessies en A/B experimenten.

Skills reageren op gewone verzoeken — geen commando's om te onthouden. Na installatie activeren prompts zoals deze de skill (in het Engels):

  • Add quality scoring to my Inngest support-ticket agent function
  • I need an A/B test comparing two prompt strategies in Inngest
  • Wire up deferred eval scoring from user feedback in Inngest