A/B Test Setup
Checklist à portes qui bloque les tests A/B invalides avant l'écriture de tout code
Testé · Fonctionne
Ce que fait
Fait passer un test A/B par des portes strictes pour l'hypothèse, les métriques, la taille de l'échantillon et la préparation à l'exécution, refusant de procéder lorsqu'un design est sous-alimenté ou qu'une métrique est indéfinie. Inclut une checklist concrète de vérification du suivi (déclenchement d'événements, attribution de variantes, déduplication, audit de randomisation) et une discipline de non-espionnage. Se déclenche lorsque vous souhaitez configurer, concevoir ou valider une expérience.
Rapport de test
J'ai demandé aux deux de configurer un test de couleur de bouton d'inscription : la base a donné des conseils vagues 'choisissez une métrique et vérifiez la signification', tandis que la compétence a forcé une MDE et une estimation de la taille de l'échantillon (exposant qu'un minuscule effet de couleur nécessite un trafic important) et a exécuté une checklist de vérification du suivi en cinq étapes plus des conditions de refus explicites que la base avait omises. C'est un SKILL.md unique et autonome sans scripts inclus ; le boilerplate générique 'When to Use / Limitations' final n'ajoute rien.
Testé le: 2026-07-18 · Claude Code 2.x (agent harness)
Installation
git clone https://github.com/sickn33/agentic-awesome-skills.git mkdir -p ~/.claude/skills cd agentic-awesome-skills && cp -r skills/ab-test-setup ~/.claude/skills/ab-test-setup
Commandes et exemples de prompts
/ab-test-setupChecklist à portes qui bloque les tests A/B invalides avant l'écriture de tout code
Les skills se déclenchent sur des demandes en langage courant — aucune commande à retenir. Après installation, des prompts comme ceux-ci l'activent (en anglais) :
Help me set up an A/B test changing my signup button from blue to green.I want to test two versions of my landing page, walk me through it.Run an experiment on my checkout flow, make sure it's statistically valid.