Inngest Agent Evals

Koble til produksjons Inngest agent-evalueringer: direkte/utsatt poengsum, økter og A/B-eksperimenter.

av inngest · inngest/inngest-skills

Bestått ★ 9.6/10

Inngest Agent Evals — Koble til produksjons Inngest agent-evalueringer: direkte/utsatt poengsum, økter og A/B-eksperimenter.

Hva den gjør

Legger til Inngests v4 evalueringsprimitiver — step.score, utsatte createScorer scorers, meta.sessions korrelasjon, og group.experiment A/B-sammenligninger — til en produksjons AI-agent eller arbeidsflyt bygget på Inngest. Utløses når brukeren ønsker å score, evaluere, feilsøke, eller A/B-teste agent/arbeidsflyt-utfall, eller migrere en eksisterende Inngest-app for å legge til produksjons-evalueringer.

Testrapport

Type-sjekket ferdighetens eksakte kodemønster mot den ekte, for øyeblikket publiserte inngest@4.12.1-pakken på npm — scoreMiddleware, createScorer, group.experiment, og experimentRef kompilerte alle rent — mens en baseline fra minnet gjenskapte et ikke-varig, uattribuert scoringssystem som POSTer til en oppdiktet metrikk-endepunkt og slår mynt og krone på sitt 'eksperiment' med Math.random().

Testet på: 2026-07-14 · Claude Code 2.x (agent harness)

Installer

git clone https://github.com/inngest/inngest-skills
cd inngest-skills
mkdir -p ~/.claude/skills
cp -r skills/inngest-agent-evals ~/.claude/skills/inngest-agent-evals

Kommandoer og eksempelprompter

  • /inngest-agent-evalsKoble til produksjons Inngest agent-evalueringer: direkte/utsatt poengsum, økter og A/B-eksperimenter.

Skills utløses av vanlige forespørsler — ingen kommandoer å huske. Etter installasjonen aktiverer prompter som disse skillen (på engelsk):

  • Add quality scoring to my Inngest support-ticket agent function
  • I need an A/B test comparing two prompt strategies in Inngest
  • Wire up deferred eval scoring from user feedback in Inngest