Spark Advisor

Omvandlar Spark History Server-mätvärden till allvarlighetsgraderade skevhets-/GC-/shuffle-fynd med exakta tröskelvärden.

av yaooqinn · yaooqinn/spark-history-cli

Testad · Fungerar ★ 8.4/10

Spark Advisor — Omvandlar Spark History Server-mätvärden till allvarlighetsgraderade skevhets-/GC-/shuffle-fynd med exakta tröskelvärden.

Vad den gör

Spark Advisor är en Claude Code-färdighet som kör spark-history-cli CLI mot en körande Spark History Server för att diagnostisera långsamma Spark-appar och SQL-frågor, jämföra TPC-DS/benchmark-körningar och producera tuning-rekommendationer. Aktivera den när användaren frågar varför ett Spark-jobb eller en fråga är långsam, vill jämföra två körningar, eller frågar om skevhet, GC-tryck, shuffle-overhead, spill eller Gluten/Iceberg/Delta-specifika problem.

Testrapport

pip install spark-history-cli lyckades på riktigt och CLI körs, men den här sandlådan har ingen Java/Spark för att sätta upp en riktig History Server, så de diagnostiska tröskelvärdena (p95/p50>10x skevhet, GC>20%, shuffle>2x input) verifierades mot ett beskrivet mätvärdesscenario snarare än en live-pull — bevis, inte tro. Värt att flagga: repot levererar två SKILL.md-kopior (skills/spark-advisor och spark_history_cli/skills/spark-advisor) och den paketerade är föråldrad, saknar Quick Start och SQL Plan Analysis-sektionerna som finns i den kanoniska toppnivåkopian som används för installation.

Testad: 2026-07-14 · Claude Code 2.x (agent harness)

Installation

git clone https://github.com/yaooqinn/spark-history-cli
cd spark-history-cli
mkdir -p ~/.claude/skills
cp -r skills/spark-advisor ~/.claude/skills/spark-advisor

Kommandon och exempelprompter

  • /spark-advisorOmvandlar Spark History Server-mätvärden till allvarlighetsgraderade skevhets-/GC-/shuffle-fynd med exakta tröskelvärden.

Skills triggas av vanliga förfrågningar — inga kommandon att memorera. Efter installationen aktiverar prompter som dessa skillen (på engelska):

  • My Spark job is slow, here's the history server metrics for it
  • This TPC-DS query has bad stage skew, can you diagnose it?
  • GC time is eating my Spark job, help me tune the executors