Spark Advisor

Omvandlar Spark History Server-mätvärden till fynd om skevhet/GC/shuffle med allvarlighetsgrad och exakta tröskelvärden.

Af yaooqinn · yaooqinn/spark-history-cli

Testet · Virker ★ 8.4/10

Spark Advisor — Omvandlar Spark History Server-mätvärden till fynd om skevhet/GC/shuffle med allvarlighetsgrad och exakta tröskelvärden.

Hvad det gør

Spark Advisor är en Claude Code-färdighet som driver spark-history-cli CLI mot en körande Spark History Server för att diagnostisera långsamma Spark-appar och SQL-frågor, jämföra TPC-DS/benchmark-körningar och producera tuningrekommendationer. Aktivera den när användaren frågar varför ett Spark-jobb eller en fråga är långsam, vill jämföra två körningar, eller frågar om skevhet, GC-tryck, shuffle-overhead, spill eller Gluten/Iceberg/Delta-specifika problem.

Testrapport

pip install spark-history-cli lyckades på riktigt och CLI körs, men den här sandlådan har ingen Java/Spark för att sätta upp en riktig History Server, så diagnostiska tröskelvärden (p95/p50>10x skevhet, GC>20%, shuffle>2x input) verifierades mot ett beskrivet mätvärdesscenario snarare än en live-pull — bevis, inte tro. Värt att flagga: repot levereras med två SKILL.md-kopior (skills/spark-advisor och spark_history_cli/skills/spark-advisor) och den paketerade är föråldrad, saknar Quick Start- och SQL Plan Analysis-sektionerna som finns i den kanoniska toppnivåkopian som används för installation.

Testet: 2026-07-14 · Claude Code 2.x (agent harness)

Installation

git clone https://github.com/yaooqinn/spark-history-cli
cd spark-history-cli
mkdir -p ~/.claude/skills
cp -r skills/spark-advisor ~/.claude/skills/spark-advisor

Kommandoer og eksempelprompter

  • /spark-advisorOmvandlar Spark History Server-mätvärden till fynd om skevhet/GC/shuffle med allvarlighetsgrad och exakta tröskelvärden.

Skills udløses af almindelige forespørgsler — ingen kommandoer at huske. Efter installationen aktiverer prompter som disse skillen (på engelsk):

  • My Spark job is slow, here's the history server metrics for it
  • This TPC-DS query has bad stage skew, can you diagnose it?
  • GC time is eating my Spark job, help me tune the executors