SkillProof tested Claude skills

Spark Advisor

Gjør Spark History Server-metrikker om til alvorlighetsgrad-rangerte funn for skjevhet/GC/shuffle med eksakte terskelverdier.

av yaooqinn · yaooqinn/spark-history-cli

Bestått ★ 8.4/10

Spark Advisor — Gjør Spark History Server-metrikker om til alvorlighetsgrad-rangerte funn for skjevhet/GC/shuffle med eksakte terskelverdier.

Hva den gjør

Spark Advisor er en Claude Code-ferdighet som bruker spark-history-cli CLI mot en kjørende Spark History Server for å diagnostisere trege Spark-apper og SQL-spørringer, sammenligne TPC-DS/benchmark-kjøringer, og produsere tuning-anbefalinger. Utløs den når brukeren spør hvorfor et Spark-jobb eller en spørring er treg, ønsker å sammenligne to kjøringer, eller spør om skjevhet, GC-press, shuffle-overhead, spill, eller Gluten/Iceberg/Delta-spesifikke problemer.

Testrapport

pip install spark-history-cli lyktes i praksis og CLI-en kjører, men denne sandkassen har ingen Java/Spark til å sette opp en ekte History Server, så diagnostiske terskelverdier (p95/p50>10x skjevhet, GC>20%, shuffle>2x input) ble verifisert mot et beskrevet metrikk-scenario snarere enn en live-pull — bevis, ikke tro. Verdt å merke seg: repoet leverer to SKILL.md-kopier (skills/spark-advisor og spark_history_cli/skills/spark-advisor) og den pakkede er utdatert, mangler Quick Start og SQL Plan Analysis-seksjonene som finnes i den kanoniske toppnivåkopien som brukes for installasjon.

Testet på: 2026-07-14 · Claude Code 2.x (agent harness)

Installer

git clone https://github.com/yaooqinn/spark-history-cli
cd spark-history-cli
mkdir -p ~/.claude/skills
cp -r skills/spark-advisor ~/.claude/skills/spark-advisor

Kommandoer og eksempelprompter

  • /spark-advisorGjør Spark History Server-metrikker om til alvorlighetsgrad-rangerte funn for skjevhet/GC/shuffle med eksakte terskelverdier.

Skills utløses av vanlige forespørsler — ingen kommandoer å huske. Etter installasjonen aktiverer prompter som disse skillen (på engelsk):

  • My Spark job is slow, here's the history server metrics for it
  • This TPC-DS query has bad stage skew, can you diagnose it?
  • GC time is eating my Spark job, help me tune the executors

Full rapport →