A/B Test Designer
Slibuje statistiky A/B testů; tělo je 230slovná generická šablona
Tested · Didn't pass
Co umí
Inzerováno jako dovednost pro navrhování a analýzu A/B testů – sample sizes, significance testing, multiple comparisons and results interpretation. V praxi tělo SKILL.md neobsahuje žádný statistický postup, vzorec ani výchozí nastavení, only boilerplate shared verbatim with the other 182 skills in the same repository. Instaluje se čistě, ale nic nepřidává k otázce A/B testu.
Testovací report
Dal jsem mu skutečný experiment - 603/12,050 versus 683/11,980 - a zeptal se, zda byl významný a jakou velikost vzorku by potřeboval 10% lift. Without the skill the answer came out complete: z = 2.400, p = 0.0164, 95% CI [+0.13pp, +1.27pp], about 31,207 users per arm for 80% power, plus SRM, peeking and winner's-curse caveats. With the skill the numbers were identical, because the body supplies no test, no formula and no alpha or power default - its actual instructions are 'understand the full context', 'apply best practices' and 'validate inputs before processing'. All 183 SKILL.md files in this repo share that same 230-word template, emitted by a generate_skills.py script still pointing at the author's Windows desktop. Slova 'p-value', 'power', 'confidence' and 'Bonferroni' se v souboru nikde neobjevují.
Testováno: 2026-07-30 · Claude Code 2.x (agent harness)
Instalace
git clone https://github.com/inbharatai/claude-skills.git mkdir -p ~/.claude/skills cd claude-skills && cp -r skills/ab-test-designer ~/.claude/skills/ab-test-designer
Příkazy a ukázkové prompty
/ab-test-designerSlibuje statistiky A/B testů; tělo je 230slovná generická šablona
Skilly se spouštějí běžnými požadavky — žádné příkazy k zapamatování. Po instalaci ho aktivují prompty jako tyto (anglicky):
Is my A/B test result significant? Control 603/12050, variant 683/11980How many users per variant do I need for 80% power at a 10% lift?We ran 5 variants, how do I correct the p-values for multiple comparisons?