Inngest Agent Evals

Kopplar produktions-Inngest-agentutvärderingar: direkt/uppskjuten poängsättning, sessioner och A/B-experiment.

Af inngest · inngest/inngest-skills

Testet · Virker ★ 9.6/10

Inngest Agent Evals — Kopplar produktions-Inngest-agentutvärderingar: direkt/uppskjuten poängsättning, sessioner och A/B-experiment.

Hvad det gør

Lägger till Inngests v4-utvärderingsprimitiver — step.score, uppskjutna createScorer-scorers, meta.sessions-korrelation och group.experiment A/B-jämförelser — till en produktions-AI-agent eller arbetsflöde byggt på Inngest. Aktiveras när användaren vill poängsätta, utvärdera, felsöka eller A/B-testa agent/arbetsflödesresultat, eller migrera en befintlig Inngest-app för att lägga till produktionsevalueringar.

Testrapport

Typkontrollerade färdighetens exakta kodmönster mot det verkliga, för närvarande publicerade inngest@4.12.1-paketet på npm — scoreMiddleware, createScorer, group.experiment och experimentRef kompilerades alla rent — medan en baslinje från minnet återuppfann ett icke-beständigt, icke-attribuerat poängsystem som POSTar till en påhittad mätvärdesändpunkt och singlar 'experiment' med Math.random().

Testet: 2026-07-14 · Claude Code 2.x (agent harness)

Installation

git clone https://github.com/inngest/inngest-skills
cd inngest-skills
mkdir -p ~/.claude/skills
cp -r skills/inngest-agent-evals ~/.claude/skills/inngest-agent-evals

Kommandoer og eksempelprompter

  • /inngest-agent-evalsKopplar produktions-Inngest-agentutvärderingar: direkt/uppskjuten poängsättning, sessioner och A/B-experiment.

Skills udløses af almindelige forespørgsler — ingen kommandoer at huske. Efter installationen aktiverer prompter som disse skillen (på engelsk):

  • Add quality scoring to my Inngest support-ticket agent function
  • I need an A/B test comparing two prompt strategies in Inngest
  • Wire up deferred eval scoring from user feedback in Inngest