A/B Test Setup

Gesteuerte Checkliste, die ungültige A/B-Tests blockiert, bevor Code geschrieben wird

von sickn33 · sickn33/agentic-awesome-skills

Getestet · Funktioniert ★ 8.4/10

A/B Test Setup — Gesteuerte Checkliste, die ungültige A/B-Tests blockiert, bevor Code geschrieben wird

Was es kann

Führt einen A/B-Test durch strenge Prüfpunkte für Hypothese, Metriken, Stichprobengröße und Ausführungsbereitschaft und verweigert die Fortsetzung, wenn ein Design unterdimensioniert oder eine Metrik undefiniert ist. Enthält eine konkrete Checkliste zur Tracking-Verifizierung (Ereignisauslösung, Variantenattribution, Deduplizierung, Randomisierungsprüfung) und eine "No-Peeking"-Disziplin. Wird ausgelöst, wenn Sie ein Experiment einrichten, entwerfen oder validieren möchten.

Testbericht

Beide wurden gebeten, einen Signup-Button-Farbtest einzurichten: Die Baseline gab vage Ratschläge wie 'pick a metric and check significance', während der Skill eine MDE und eine Stichprobengrößenabschätzung erzwang (was aufzeigte, dass ein winziger Farbeffekt viel Traffic benötigt) und eine fünfstufige Tracking-Verifizierungs-Checkliste plus explizite Ablehnungsbedingungen durchführte, die die Baseline übersprungen hatte. Es ist eine einzelne, eigenständige SKILL.md ohne gebündelte Skripte; der nachgestellte generische 'When to Use / Limitations' Boilerplate fügt nichts hinzu.

Getestet am: 2026-07-18 · Claude Code 2.x (agent harness)

Installation

git clone https://github.com/sickn33/agentic-awesome-skills.git
mkdir -p ~/.claude/skills
cd agentic-awesome-skills && cp -r skills/ab-test-setup ~/.claude/skills/ab-test-setup

Befehle & Beispiel-Prompts

  • /ab-test-setupGesteuerte Checkliste, die ungültige A/B-Tests blockiert, bevor Code geschrieben wird

Skills reagieren auf normale Anfragen — keine Slash-Befehle nötig. Nach der Installation aktivieren Prompts wie diese den Skill (auf Englisch):

  • Help me set up an A/B test changing my signup button from blue to green.
  • I want to test two versions of my landing page, walk me through it.
  • Run an experiment on my checkout flow, make sure it's statistically valid.