Spark Advisor

Convierte las métricas de Spark History Server en hallazgos de skew/GC/shuffle clasificados por severidad con umbrales exactos.

Por yaooqinn · yaooqinn/spark-history-cli

Probado · Funciona ★ 8.4/10

Spark Advisor — Convierte las métricas de Spark History Server en hallazgos de skew/GC/shuffle clasificados por severidad con umbrales exactos.

Qué hace

Spark Advisor es una skill de Claude Code que utiliza el CLI spark-history-cli contra un Spark History Server en ejecución para diagnosticar aplicaciones Spark y consultas SQL lentas, comparar ejecuciones TPC-DS/benchmark y producir recomendaciones de ajuste. Se activa cuando el usuario pregunta por qué un trabajo o consulta Spark es lento, quiere comparar dos ejecuciones, o pregunta sobre skew, presión de GC, sobrecarga de shuffle, spill, o problemas específicos de Gluten/Iceberg/Delta.

Informe de la prueba

pip install spark-history-cli se ejecutó con éxito y el CLI funciona, pero este sandbox no tiene Java/Spark para levantar un History Server real, por lo que los umbrales de diagnóstico (p95/p50>10x skew, GC>20%, shuffle>2x input) se verificaron contra un escenario de métricas descrito en lugar de una extracción en vivo — evidencia, no fe. Cabe señalar: el repositorio incluye dos copias de SKILL.md (skills/spark-advisor y spark_history_cli/skills/spark-advisor) y la empaquetada está desactualizada, le faltan las secciones Quick Start y SQL Plan Analysis presentes en la copia canónica de nivel superior utilizada para la instalación.

Probado el: 2026-07-14 · Claude Code 2.x (agent harness)

Instalación

git clone https://github.com/yaooqinn/spark-history-cli
cd spark-history-cli
mkdir -p ~/.claude/skills
cp -r skills/spark-advisor ~/.claude/skills/spark-advisor

Comandos y prompts de ejemplo

  • /spark-advisorConvierte las métricas de Spark History Server en hallazgos de skew/GC/shuffle clasificados por severidad con umbrales exactos.

Los skills se activan con peticiones en lenguaje natural, sin comandos que memorizar. Tras instalarlo, prompts como estos lo activan (en inglés):

  • My Spark job is slow, here's the history server metrics for it
  • This TPC-DS query has bad stage skew, can you diagnose it?
  • GC time is eating my Spark job, help me tune the executors