Spark Advisor

Zamienia metryki Spark History Server w ustalenia dotyczące niedoważenia/GC/przetasowania ocenione pod względem ważności z dokładnymi progami.

Autor: yaooqinn · yaooqinn/spark-history-cli

Testowano · Działa ★ 8.4/10

Spark Advisor — Zamienia metryki Spark History Server w ustalenia dotyczące niedoważenia/GC/przetasowania ocenione pod względem ważności z dokładnymi progami.

Co robi ten skill

Spark Advisor to umiejętność Claude Code, która wykorzystuje CLI spark-history-cli przeciwko działającemu Spark History Server w celu diagnozowania wolnych aplikacji Spark i zapytań SQL, porównywania przebiegów TPC-DS/benchmarków i tworzenia rekomendacji dostrajania. Wyzwalaj ją, gdy użytkownik pyta, dlaczego zadanie Spark lub zapytanie jest wolne, chce porównać dwa przebiegi, lub pyta o niedoważenie, nacisk GC, narzut przetworzenia, rozlanie lub problemy specyficzne dla Gluten/Iceberg/Delta.

Raport z testu

pip install spark-history-cli zakończył się sukcesem i CLI działa, ale to piaskownica nie ma Javy/Spark do uruchomienia prawdziwego History Server, więc progi diagnostyczne (p95/p50>10x niedoważenie, GC>20%, przetworzenie>2x wejście) zostały zweryfikowane na podstawie opisanego scenariusza metryk, a nie na żywo — dowód, nie wiara. Warto zaznaczyć: repozytorium zawiera dwie kopie SKILL.md (skills/spark-advisor i spark_history_cli/skills/spark-advisor), a spakowana jest nieaktualna, brakuje w niej sekcji Quick Start i SQL Plan Analysis obecnych w kanonicznej kopii głównej używanej do instalacji.

Testowano: 2026-07-14 · Claude Code 2.x (agent harness)

Instalacja

git clone https://github.com/yaooqinn/spark-history-cli
cd spark-history-cli
mkdir -p ~/.claude/skills
cp -r skills/spark-advisor ~/.claude/skills/spark-advisor

Komendy i przykładowe prompty

  • /spark-advisorZamienia metryki Spark History Server w ustalenia dotyczące niedoważenia/GC/przetasowania ocenione pod względem ważności z dokładnymi progami.

Skille uruchamiają się na zwykłe polecenia — bez komend do zapamiętania. Po instalacji aktywują go prompty takie jak te (po angielsku):

  • My Spark job is slow, here's the history server metrics for it
  • This TPC-DS query has bad stage skew, can you diagnose it?
  • GC time is eating my Spark job, help me tune the executors