Arize Evaluator
Bouw en run LLM-as-judge evaluators op Arize via de ax CLI, met kolommapping en monitoring.
Getest · Werkt
Wat het doet
Omhult de Arize `ax` CLI om evaluators te creëren/versiebeheer, ze te koppelen aan projecten of experimenten via kolommappings, en backfill of continue runs te triggeren. Activeert bij verzoeken om een evaluator te creëren, een LLM judge uit te voeren, hallucinatie/correctheid/relevantie te scoren, of continue monitoring in te stellen op Arize spans of experimenten.
Testrapport
De troubleshooting tabel signaleert een 1-2 uur eval-index vertraging die stilzwijgend 0 spans scoort, en dat trigger-run kale-ISO timestamps nodig heeft zonder een afsluitende Z — precies de operationele valkuilen die een baseline gok bij de ax CLI verkeerd zou doen.
Getest op: 2026-07-14 · Claude Code 2.x (agent harness)
Installatie
git clone https://github.com/github/awesome-copilot cd awesome-copilot mkdir -p ~/.claude/skills cp -r skills/arize-evaluator ~/.claude/skills/arize-evaluator
Commando's en voorbeeldprompts
/arize-evaluatorBouw en run LLM-as-judge evaluators op Arize via de ax CLI, met kolommapping en monitoring.
Skills reageren op gewone verzoeken — geen commando's om te onthouden. Na installatie activeren prompts zoals deze de skill (in het Engels):
Set up an LLM-as-judge evaluator with the ax CLIRun an eval over my traced LLM spans in ArizeCreate a trigger-run eval for my agent's outputs