SkillProof tested Claude skills

A/B Test Designer

Promete estadísticas de pruebas A/B; el cuerpo es una plantilla genérica de 230 palabras

Por inbharatai · inbharatai/claude-skills

Tested · Didn't pass

A/B Test Designer — Promete estadísticas de pruebas A/B; el cuerpo es una plantilla genérica de 230 palabras

Qué hace

Anunciada como una habilidad para diseñar y analizar pruebas A/B —tamaños de muestra, pruebas de significancia, comparaciones múltiples e interpretación de resultados. En la práctica, el cuerpo de SKILL.md no contiene ningún procedimiento estadístico, fórmula o valor predeterminado, solo texto estándar compartido textualmente con las otras 182 habilidades en el mismo repositorio. Se instala limpiamente pero no añade nada a una pregunta de prueba A/B.

Informe de la prueba

Se le dio un real experiment - 603/12,050 versus 683/11,980 - y se preguntó whether it was significant and what sample size a 10% lift would need. Without the skill the answer came out complete: z = 2.400, p = 0.0164, 95% CI [+0.13pp, +1.27pp], about 31,207 users per arm for 80% power, plus SRM, peeking and winner's-curse caveats. With the skill the numbers were identical, because the body supplies no test, no formula and no alpha or power default - its actual instructions are 'understand the full context', 'apply best practices' and 'validate inputs before processing'. All 183 SKILL.md files in this repo share that same 230-word template, emitted by a generate_skills.py script still pointing at the author's Windows desktop. Las words 'p-value', 'power', 'confidence' y 'Bonferroni' appear nowhere in the file.

Probado el: 2026-07-30 · Claude Code 2.x (agent harness)

Instalación

git clone https://github.com/inbharatai/claude-skills.git
mkdir -p ~/.claude/skills
cd claude-skills && cp -r skills/ab-test-designer ~/.claude/skills/ab-test-designer

Comandos y prompts de ejemplo

  • /ab-test-designerPromete estadísticas de pruebas A/B; el cuerpo es una plantilla genérica de 230 palabras

Los skills se activan con peticiones en lenguaje natural, sin comandos que memorizar. Tras instalarlo, prompts como estos lo activan (en inglés):

  • Is my A/B test result significant? Control 603/12050, variant 683/11980
  • How many users per variant do I need for 80% power at a 10% lift?
  • We ran 5 variants, how do I correct the p-values for multiple comparisons?

Informe completo →