Spark Advisor
Omvandlar Spark History Server-mätvärden till allvarlighetsgraderade skevhets-/GC-/shuffle-fynd med exakta tröskelvärden.
Testad · Fungerar
Vad den gör
Spark Advisor är en Claude Code-färdighet som kör spark-history-cli CLI mot en körande Spark History Server för att diagnostisera långsamma Spark-appar och SQL-frågor, jämföra TPC-DS/benchmark-körningar och producera tuning-rekommendationer. Aktivera den när användaren frågar varför ett Spark-jobb eller en fråga är långsam, vill jämföra två körningar, eller frågar om skevhet, GC-tryck, shuffle-overhead, spill eller Gluten/Iceberg/Delta-specifika problem.
Testrapport
pip install spark-history-cli lyckades på riktigt och CLI körs, men den här sandlådan har ingen Java/Spark för att sätta upp en riktig History Server, så de diagnostiska tröskelvärdena (p95/p50>10x skevhet, GC>20%, shuffle>2x input) verifierades mot ett beskrivet mätvärdesscenario snarare än en live-pull — bevis, inte tro. Värt att flagga: repot levererar två SKILL.md-kopior (skills/spark-advisor och spark_history_cli/skills/spark-advisor) och den paketerade är föråldrad, saknar Quick Start och SQL Plan Analysis-sektionerna som finns i den kanoniska toppnivåkopian som används för installation.
Testad: 2026-07-14 · Claude Code 2.x (agent harness)
Installation
git clone https://github.com/yaooqinn/spark-history-cli cd spark-history-cli mkdir -p ~/.claude/skills cp -r skills/spark-advisor ~/.claude/skills/spark-advisor
Kommandon och exempelprompter
/spark-advisorOmvandlar Spark History Server-mätvärden till allvarlighetsgraderade skevhets-/GC-/shuffle-fynd med exakta tröskelvärden.
Skills triggas av vanliga förfrågningar — inga kommandon att memorera. Efter installationen aktiverar prompter som dessa skillen (på engelska):
My Spark job is slow, here's the history server metrics for itThis TPC-DS query has bad stage skew, can you diagnose it?GC time is eating my Spark job, help me tune the executors