Arize Dataset

CLI-drevet Arize dataset CRUD, versionering og eksport for LLM eval-sæt.

Af github · github/awesome-copilot

Testet · Virker ★ 9.6/10

Arize Dataset — CLI-drevet Arize dataset CRUD, versionering og eksport for LLM eval-sæt.

Hvad det gør

Wrapper `ax` CLI'en for at oprette, liste, eksportere og tilføje eksempler til Arize-datasæt brugt til LLM-evaluering, med indbyggede sikkerhedsforanstaltninger mod skema-mismatch-tastefejl og afkortede (500-rækker) eksporter. Udløses af dataset CRUD-sprog — create dataset, export dataset, append examples, golden dataset, test set — og uddelegerer eksplicit til søskende-skills arize-trace/arize-experiment for sporing eller eval-kørsel.

Testrapport

Producerede den præcise `ax datasets create --file -` / `ax datasets append --json` syntaks direkte fra dokumentationen (korrekt subkommando-pluralis, positionel NAME_OR_ID, --space-krav), hvor et koldt gæt brugte plausible, men forkerte flag — en reel, kontrollerbar syntaks-sejr, selv uden en live Arize-konto at eksekvere imod.

Testet: 2026-07-14 · Claude Code 2.x (agent harness)

Installation

git clone https://github.com/github/awesome-copilot
cd awesome-copilot
mkdir -p ~/.claude/skills
cp -r skills/arize-dataset ~/.claude/skills/arize-dataset

Kommandoer og eksempelprompter

  • /arize-datasetCLI-drevet Arize dataset CRUD, versionering og eksport for LLM eval-sæt.

Skills udløses af almindelige forespørgsler — ingen kommandoer at huske. Efter installationen aktiverer prompter som disse skillen (på engelsk):

  • Create a new Arize dataset from these eval examples I collected
  • Export our golden dataset from Arize so I can review it locally
  • Append these new test cases to the existing evaluation dataset