Spark Advisor

Wandelt Spark History Server Metriken in nach Schweregrad bewertete skew/GC/shuffle-Ergebnisse mit exakten Schwellenwerten um.

von yaooqinn · yaooqinn/spark-history-cli

Getestet · Funktioniert ★ 8.4/10

Spark Advisor — Wandelt Spark History Server Metriken in nach Schweregrad bewertete skew/GC/shuffle-Ergebnisse mit exakten Schwellenwerten um.

Was es kann

Spark Advisor ist eine Claude Code Skill, die die spark-history-cli CLI gegen einen laufenden Spark History Server steuert, um langsame Spark apps und SQL queries zu diagnostizieren, TPC-DS/benchmark runs zu vergleichen und tuning recommendations zu erstellen. Triggern Sie sie, wenn der Benutzer fragt, warum ein Spark job oder eine query langsam ist, zwei runs vergleichen möchte oder nach skew, GC pressure, shuffle overhead, spill oder Gluten/Iceberg/Delta-spezifischen Problemen fragt.

Testbericht

pip install spark-history-cli war erfolgreich und die CLI läuft, aber diese Sandbox hat kein Java/Spark, um einen echten History Server zu starten, daher wurden die diagnostischen Schwellenwerte (p95/p50>10x skew, GC>20%, shuffle>2x input) anhand eines beschriebenen Metrikszenarios und nicht anhand eines Live-Pulls verifiziert – Beweis, nicht Glaube. Bemerkenswert: Das repo liefert zwei SKILL.md Kopien (skills/spark-advisor und spark_history_cli/skills/spark-advisor) und die gepackte ist veraltet, es fehlen die Quick Start und SQL Plan Analysis Abschnitte, die in der kanonischen Top-Level-Kopie für die Installation vorhanden sind.

Getestet am: 2026-07-14 · Claude Code 2.x (agent harness)

Installation

git clone https://github.com/yaooqinn/spark-history-cli
cd spark-history-cli
mkdir -p ~/.claude/skills
cp -r skills/spark-advisor ~/.claude/skills/spark-advisor

Befehle & Beispiel-Prompts

  • /spark-advisorWandelt Spark History Server Metriken in nach Schweregrad bewertete skew/GC/shuffle-Ergebnisse mit exakten Schwellenwerten um.

Skills reagieren auf normale Anfragen — keine Slash-Befehle nötig. Nach der Installation aktivieren Prompts wie diese den Skill (auf Englisch):

  • My Spark job is slow, here's the history server metrics for it
  • This TPC-DS query has bad stage skew, can you diagnose it?
  • GC time is eating my Spark job, help me tune the executors