Spark Advisor

Převádí metriky Spark History Serveru na zjištění přetížení/GC/shuffle s hodnocením závažnosti a přesnými prahy.

od yaooqinn · yaooqinn/spark-history-cli

Otestováno · Funguje ★ 8.4/10

Spark Advisor — Převádí metriky Spark History Serveru na zjištění přetížení/GC/shuffle s hodnocením závažnosti a přesnými prahy.

Co umí

Spark Advisor je dovednost Claude Code, která používá CLI spark-history-cli proti běžícímu Spark History Serveru k diagnostice pomalých aplikací Spark a dotazů SQL, porovnání běhů TPC-DS/benchmarků a produkci doporučení pro ladění. Spusťte ji, když se uživatel ptá, proč je úloha Spark nebo dotaz pomalý, chce porovnat dva běhy nebo se ptá na přetížení, tlak GC, režii shuffle, přetečení nebo problémy specifické pro Gluten/Iceberg/Delta.

Testovací report

Instalace pip spark-history-cli proběhla úspěšně a CLI běží, ale toto sandboxové prostředí nemá Java/Spark pro spuštění skutečného History Serveru, takže diagnostické prahy (p95/p50>10x přetížení, GC>20%, shuffle>2x vstup) byly ověřeny proti popsanému scénáři metrik spíše než proti živému přenosu — důkaz, nikoli víra. Stojí za zmínku: repozitář obsahuje dvě kopie SKILL.md (skills/spark-advisor a spark_history_cli/skills/spark-advisor) a balená kopie je zastaralá, chybí jí Quick Start a SQL Plan Analysis sekce přítomné v kanonické kopii nejvyšší úrovně použité pro instalaci.

Testováno: 2026-07-14 · Claude Code 2.x (agent harness)

Instalace

git clone https://github.com/yaooqinn/spark-history-cli
cd spark-history-cli
mkdir -p ~/.claude/skills
cp -r skills/spark-advisor ~/.claude/skills/spark-advisor

Příkazy a ukázkové prompty

  • /spark-advisorPřevádí metriky Spark History Serveru na zjištění přetížení/GC/shuffle s hodnocením závažnosti a přesnými prahy.

Skilly se spouštějí běžnými požadavky — žádné příkazy k zapamatování. Po instalaci ho aktivují prompty jako tyto (anglicky):

  • My Spark job is slow, here's the history server metrics for it
  • This TPC-DS query has bad stage skew, can you diagnose it?
  • GC time is eating my Spark job, help me tune the executors