Spark Advisor
Zamienia metryki Spark History Server w ustalenia dotyczące niedoważenia/GC/przetasowania ocenione pod względem ważności z dokładnymi progami.
Testowano · Działa
Co robi ten skill
Spark Advisor to umiejętność Claude Code, która wykorzystuje CLI spark-history-cli przeciwko działającemu Spark History Server w celu diagnozowania wolnych aplikacji Spark i zapytań SQL, porównywania przebiegów TPC-DS/benchmarków i tworzenia rekomendacji dostrajania. Wyzwalaj ją, gdy użytkownik pyta, dlaczego zadanie Spark lub zapytanie jest wolne, chce porównać dwa przebiegi, lub pyta o niedoważenie, nacisk GC, narzut przetworzenia, rozlanie lub problemy specyficzne dla Gluten/Iceberg/Delta.
Raport z testu
pip install spark-history-cli zakończył się sukcesem i CLI działa, ale to piaskownica nie ma Javy/Spark do uruchomienia prawdziwego History Server, więc progi diagnostyczne (p95/p50>10x niedoważenie, GC>20%, przetworzenie>2x wejście) zostały zweryfikowane na podstawie opisanego scenariusza metryk, a nie na żywo — dowód, nie wiara. Warto zaznaczyć: repozytorium zawiera dwie kopie SKILL.md (skills/spark-advisor i spark_history_cli/skills/spark-advisor), a spakowana jest nieaktualna, brakuje w niej sekcji Quick Start i SQL Plan Analysis obecnych w kanonicznej kopii głównej używanej do instalacji.
Testowano: 2026-07-14 · Claude Code 2.x (agent harness)
Instalacja
git clone https://github.com/yaooqinn/spark-history-cli cd spark-history-cli mkdir -p ~/.claude/skills cp -r skills/spark-advisor ~/.claude/skills/spark-advisor
Komendy i przykładowe prompty
/spark-advisorZamienia metryki Spark History Server w ustalenia dotyczące niedoważenia/GC/przetasowania ocenione pod względem ważności z dokładnymi progami.
Skille uruchamiają się na zwykłe polecenia — bez komend do zapamiętania. Po instalacji aktywują go prompty takie jak te (po angielsku):
My Spark job is slow, here's the history server metrics for itThis TPC-DS query has bad stage skew, can you diagnose it?GC time is eating my Spark job, help me tune the executors