Analyzing Experiment Session Replays

Qué hace

Extrae grabaciones de sesiones por variante de experimento utilizando las consultas HogQL de PostHog y la herramienta query-session-recordings-list, luego compara métricas de actividad cuantitativas (duración, clics, errores de consola) y patrones de comportamiento cualitativos entre grupos de control y de prueba. Se activa cuando un usuario desea ver cómo se comportan los usuarios de manera diferente entre las variantes del experimento, identificar problemas de usabilidad a partir de las repeticiones u obtener información cualitativa para complementar los resultados cuantitativos de las pruebas A/B. Documenta un 'footgun' específico de PostHog: el filtro de grabación type:flag es ignorado silenciosamente por la API, por lo que el alcance de la variante debe realizarse a través de la propiedad de evento $feature/<flag_key> en su lugar.

Instalación

git clone https://github.com/PostHog/ai-plugin
cd ai-plugin
mkdir -p ~/.claude/skills
cp -r skills/analyzing-experiment-session-replays ~/.claude/skills/analyzing-experiment-session-replays

Comandos y prompts de ejemplo

• /analyzing-experiment-session-replaysCompara repeticiones de sesiones de PostHog entre variantes de experimentos A/B para obtener información cualitativa.

Los skills se activan con peticiones en lenguaje natural, sin comandos que memorizar. Tras instalarlo, prompts como estos lo activan (en inglés):

• Compare session recordings between our control and test experiment groups
• Pull PostHog replays for each variant and tell me how users behaved differently
• I need qualitative insight from replays to explain our A/B test results