Spark Advisor
Wandelt Spark History Server Metriken in nach Schweregrad bewertete skew/GC/shuffle-Ergebnisse mit exakten Schwellenwerten um.
Getestet · Funktioniert
Was es kann
Spark Advisor ist eine Claude Code Skill, die die spark-history-cli CLI gegen einen laufenden Spark History Server steuert, um langsame Spark apps und SQL queries zu diagnostizieren, TPC-DS/benchmark runs zu vergleichen und tuning recommendations zu erstellen. Triggern Sie sie, wenn der Benutzer fragt, warum ein Spark job oder eine query langsam ist, zwei runs vergleichen möchte oder nach skew, GC pressure, shuffle overhead, spill oder Gluten/Iceberg/Delta-spezifischen Problemen fragt.
Testbericht
pip install spark-history-cli war erfolgreich und die CLI läuft, aber diese Sandbox hat kein Java/Spark, um einen echten History Server zu starten, daher wurden die diagnostischen Schwellenwerte (p95/p50>10x skew, GC>20%, shuffle>2x input) anhand eines beschriebenen Metrikszenarios und nicht anhand eines Live-Pulls verifiziert – Beweis, nicht Glaube. Bemerkenswert: Das repo liefert zwei SKILL.md Kopien (skills/spark-advisor und spark_history_cli/skills/spark-advisor) und die gepackte ist veraltet, es fehlen die Quick Start und SQL Plan Analysis Abschnitte, die in der kanonischen Top-Level-Kopie für die Installation vorhanden sind.
Getestet am: 2026-07-14 · Claude Code 2.x (agent harness)
Installation
git clone https://github.com/yaooqinn/spark-history-cli cd spark-history-cli mkdir -p ~/.claude/skills cp -r skills/spark-advisor ~/.claude/skills/spark-advisor
Befehle & Beispiel-Prompts
/spark-advisorWandelt Spark History Server Metriken in nach Schweregrad bewertete skew/GC/shuffle-Ergebnisse mit exakten Schwellenwerten um.
Skills reagieren auf normale Anfragen — keine Slash-Befehle nötig. Nach der Installation aktivieren Prompts wie diese den Skill (auf Englisch):
My Spark job is slow, here's the history server metrics for itThis TPC-DS query has bad stage skew, can you diagnose it?GC time is eating my Spark job, help me tune the executors