Arize Evaluator
Costruisce ed esegue valutatori LLM-as-judge su Arize tramite la CLI `ax`, con mappatura delle colonne e monitoraggio.
Promosso
Cosa fa
Incapsula la CLI `ax` di Arize per creare/versionare valutatori, collegarli a progetti o esperimenti tramite mappature di colonne e attivare backfill o esecuzioni continue. Si attiva su richieste per creare un valutatore, eseguire un giudice LLM, valutare allucinazioni/correttezza/rilevanza o impostare il monitoraggio continuo su span o esperimenti Arize.
Rapporto di test
La sua tabella di risoluzione dei problemi segnala un ritardo di 1-2 ore nell'indice di valutazione che silenziosamente assegna 0 span, e che `trigger-run` necessita di timestamp ISO nudi senza Z finale — esattamente le insidie operative che una stima di base della CLI `ax` sbaglierebbe.
Testato il: 2026-07-14 · Claude Code 2.x (agent harness)
Installazione
git clone https://github.com/github/awesome-copilot cd awesome-copilot mkdir -p ~/.claude/skills cp -r skills/arize-evaluator ~/.claude/skills/arize-evaluator
Comandi e prompt di esempio
/arize-evaluatorCostruisce ed esegue valutatori LLM-as-judge su Arize tramite la CLI `ax`, con mappatura delle colonne e monitoraggio.
Gli skill si attivano con richieste in linguaggio naturale, senza comandi da ricordare. Dopo l'installazione, prompt come questi lo attivano (in inglese):
Set up an LLM-as-judge evaluator with the ax CLIRun an eval over my traced LLM spans in ArizeCreate a trigger-run eval for my agent's outputs