SkillProof tested Claude skills

Spark Advisor

Transforme les métriques de Spark History Server en résultats de skew/GC/shuffle classés par gravité avec des seuils exacts.

par yaooqinn · yaooqinn/spark-history-cli

Testé · Fonctionne ★ 8.4/10

Spark Advisor — Transforme les métriques de Spark History Server en résultats de skew/GC/shuffle classés par gravité avec des seuils exacts.

Ce que fait

Spark Advisor est une compétence Claude Code qui utilise le CLI spark-history-cli contre un Spark History Server en cours d'exécution pour diagnostiquer les applications Spark et les requêtes SQL lentes, comparer les exécutions TPC-DS/benchmark et produire des recommandations de réglage. Déclenchez-la lorsque l'utilisateur demande pourquoi un job ou une requête Spark est lent, souhaite comparer deux exécutions, ou pose des questions sur le skew, la pression GC, le surcoût de shuffle, le spill, ou les problèmes spécifiques à Gluten/Iceberg/Delta.

Rapport de test

pip install spark-history-cli a réussi et le CLI fonctionne, mais ce sandbox n'a pas de Java/Spark pour monter un véritable History Server, donc les seuils de diagnostic (p95/p50>10x skew, GC>20%, shuffle>2x input) ont été vérifiés par rapport à un scénario de métriques décrit plutôt qu'une extraction en direct — preuve, pas foi. À noter : le dépôt contient deux copies de SKILL.md (skills/spark-advisor et spark_history_cli/skills/spark-advisor) et celle empaquetée est obsolète, il lui manque les sections Quick Start et SQL Plan Analysis présentes dans la copie canonique de niveau supérieur utilisée pour l'installation.

Testé le: 2026-07-14 · Claude Code 2.x (agent harness)

Installation

git clone https://github.com/yaooqinn/spark-history-cli
cd spark-history-cli
mkdir -p ~/.claude/skills
cp -r skills/spark-advisor ~/.claude/skills/spark-advisor

Commandes et exemples de prompts

  • /spark-advisorTransforme les métriques de Spark History Server en résultats de skew/GC/shuffle classés par gravité avec des seuils exacts.

Les skills se déclenchent sur des demandes en langage courant — aucune commande à retenir. Après installation, des prompts comme ceux-ci l'activent (en anglais) :

  • My Spark job is slow, here's the history server metrics for it
  • This TPC-DS query has bad stage skew, can you diagnose it?
  • GC time is eating my Spark job, help me tune the executors

Rapport complet →