Spark Advisor
Omvandlar Spark History Server-mätvärden till fynd om skevhet/GC/shuffle med allvarlighetsgrad och exakta tröskelvärden.
Testet · Virker
Hvad det gør
Spark Advisor är en Claude Code-färdighet som driver spark-history-cli CLI mot en körande Spark History Server för att diagnostisera långsamma Spark-appar och SQL-frågor, jämföra TPC-DS/benchmark-körningar och producera tuningrekommendationer. Aktivera den när användaren frågar varför ett Spark-jobb eller en fråga är långsam, vill jämföra två körningar, eller frågar om skevhet, GC-tryck, shuffle-overhead, spill eller Gluten/Iceberg/Delta-specifika problem.
Testrapport
pip install spark-history-cli lyckades på riktigt och CLI körs, men den här sandlådan har ingen Java/Spark för att sätta upp en riktig History Server, så diagnostiska tröskelvärden (p95/p50>10x skevhet, GC>20%, shuffle>2x input) verifierades mot ett beskrivet mätvärdesscenario snarare än en live-pull — bevis, inte tro. Värt att flagga: repot levereras med två SKILL.md-kopior (skills/spark-advisor och spark_history_cli/skills/spark-advisor) och den paketerade är föråldrad, saknar Quick Start- och SQL Plan Analysis-sektionerna som finns i den kanoniska toppnivåkopian som används för installation.
Testet: 2026-07-14 · Claude Code 2.x (agent harness)
Installation
git clone https://github.com/yaooqinn/spark-history-cli cd spark-history-cli mkdir -p ~/.claude/skills cp -r skills/spark-advisor ~/.claude/skills/spark-advisor
Kommandoer og eksempelprompter
/spark-advisorOmvandlar Spark History Server-mätvärden till fynd om skevhet/GC/shuffle med allvarlighetsgrad och exakta tröskelvärden.
Skills udløses af almindelige forespørgsler — ingen kommandoer at huske. Efter installationen aktiverer prompter som disse skillen (på engelsk):
My Spark job is slow, here's the history server metrics for itThis TPC-DS query has bad stage skew, can you diagnose it?GC time is eating my Spark job, help me tune the executors