A/B Test Setup

Gated tjekliste, der blokerer ugyldige A/B-tests, før nogen kode skrives

Af sickn33 · sickn33/agentic-awesome-skills

Testet · Virker ★ 8.4/10

A/B Test Setup — Gated tjekliste, der blokerer ugyldige A/B-tests, før nogen kode skrives

Hvad det gør

Fører en A/B-test gennem hårde gates for hypotese, metrics, stikprøvestørrelse og udførelsesklarhed, og nægter at fortsætte, når et design er underdimensioneret, eller en metric er udefineret. Inkluderer en konkret sporingsverifikations-tjekliste (event firing, variant attribution, de-duplication, randomization audit) og no-peeking disciplin. Udløses, når du ønsker at opsætte, designe eller validere et eksperiment.

Testrapport

Bad begge om at opsætte en signup-button farvetest: baseline gav løs 'pick a metric and check significance' rådgivning, mens skill'en tvang en MDE og stikprøvestørrelsesestimat (afslørende at en lille farveeffekt kræver stor trafik) og kørte en fem-trins sporingsverifikations-tjekliste plus eksplicitte afvisningsbetingelser, som baseline sprang over. Det er en enkelt selvstændig SKILL.md uden medfølgende scripts; den efterfølgende generiske 'When to Use / Limitations' boilerplate tilføjer intet.

Testet: 2026-07-18 · Claude Code 2.x (agent harness)

Installation

git clone https://github.com/sickn33/agentic-awesome-skills.git
mkdir -p ~/.claude/skills
cd agentic-awesome-skills && cp -r skills/ab-test-setup ~/.claude/skills/ab-test-setup

Kommandoer og eksempelprompter

  • /ab-test-setupGated tjekliste, der blokerer ugyldige A/B-tests, før nogen kode skrives

Skills udløses af almindelige forespørgsler — ingen kommandoer at huske. Efter installationen aktiverer prompter som disse skillen (på engelsk):

  • Help me set up an A/B test changing my signup button from blue to green.
  • I want to test two versions of my landing page, walk me through it.
  • Run an experiment on my checkout flow, make sure it's statistically valid.