Dataset Evaluation

Validerer JSONL finjusteringsdatasett mot SageMaker SFT/DPO/RLVR-skjemaer, feil per linje

Bestått ★ 9.2/10

Hva den gjør

Oppdager formatet til et lokalt eller S3 JSONL-datasett og validerer det mot SageMaker finjusteringsskjemaer (Nova, GPT-OSS, open-weights SFT/DPO, Verl/RLVR, og eval) før en treningsjobb. Utløses ved fraser som "is my dataset okay", "check my training data", eller "evaluate my data", som kjører en medfølgende format_detector.py som sampler opptil 1MB og rapporterer det oppdagede formatet pluss linjenummererte feil. Rapporterer om dataene er klare og peker til dataset-transformation-ferdigheten når de ikke er det.

Testrapport

Installert i en midlertidig HOME (ekte ~/.claude/skills bekreftet uberørt) og kjørte den medfølgende format_detector.py mot et 240-linjers DPO-datasett jeg genererte med 4 skjulte defekter. Baseline (head/tail eyeballing, ingen ferdighet) konkluderte "format looks correct, ready to train" og bommet på alle fire; ferdighetskjøringen klassifiserte filen som open_weights_dpo og flagget linje 89 (unterminated-string JSON), 137 (missing 'rejected' -> unknown), 201 ('rejected' null not str), og 226 ('chosen' list not str), exit 1. Frontmatter parses med name+description; alle tre refererte filer returnerer HTTP 200; ingen sikkerhetsbrudd. Eneste friksjon: boto3 importeres på modulens toppnivå, så det er nødvendig selv for lokale filer (til stede på min maskin på 1.43.27; en ren venv utløste ModuleNotFoundError).

Testet på: 2026-07-21 · Claude Code 2.x (agent harness)

Installer

git clone --depth 1 https://github.com/awslabs/agent-plugins.git /tmp/dataset-evaluation-src
mkdir -p ~/.claude/skills
cp -R /tmp/dataset-evaluation-src/plugins/sagemaker-ai/skills/dataset-evaluation ~/.claude/skills/dataset-evaluation
# Dependency: scripts/format_detector.py imports boto3 at module top level, so it is
#   required even for local-file validation:  pip install boto3
# Run directly:  python ~/.claude/skills/dataset-evaluation/scripts/format_detector.py <path-or-s3-uri>
#   add --json for machine-readable output; exit code 0 = valid, 1 = invalid/error
# Plugin-marketplace alternative: the skill ships in the sagemaker-ai plugin of the
#   awslabs/agent-plugins marketplace (.claude-plugin/marketplace.json).

Kommandoer og eksempelprompter

/dataset-evaluationValiderer JSONL finjusteringsdatasett mot SageMaker SFT/DPO/RLVR-skjemaer, feil per linje

Skills utløses av vanlige forespørsler — ingen kommandoer å huske. Etter installasjonen aktiverer prompter som disse skillen (på engelsk):

Check if my dataset is ready for SFT fine-tuning
Validate this DPO dataset schema before training
Evaluate my training data for format issues

Full rapport →