Dataset Evaluation

Validerar JSONL finjusterings-dataset mot SageMaker SFT/DPO/RLVR-scheman, per-rad-fel

Testad · Fungerar ★ 9.2/10

Vad den gör

Upptäcker formatet för ett lokalt eller S3 JSONL-dataset och validerar det mot SageMaker finjusterings-scheman (Nova, GPT-OSS, open-weights SFT/DPO, Verl/RLVR och eval) före ett träningsjobb. Utlöses vid fraser som "is my dataset okay", "check my training data", eller "evaluate my data", kör en medföljande format_detector.py som samplar upp till 1MB och rapporterar det upptäckta formatet plus radnumrerade fel. Rapporterar om datan är redo och pekar på dataset-transformation-skillen när den inte är det.

Testrapport

Installerad i en tillfällig HOME (verklig ~/.claude/skills bekräftades orörd) och körde den medföljande format_detector.py mot ett 240-raders DPO-dataset jag genererade med 4 dolda defekter. Baseline (översiktlig granskning, ingen skill) drog slutsatsen "format looks correct, ready to train" och missade alla fyra; skill-körningen klassificerade filen som open_weights_dpo och flaggade rad 89 (oavslutad-sträng JSON), 137 (saknar 'rejected' -> okänd), 201 ('rejected' null inte str), och 226 ('chosen' lista inte str), exit 1. Frontmatter parsas med namn+beskrivning; alla tre refererade filer returnerar HTTP 200; inga säkerhetsbrister. Enda friktionen: boto3 importeras på modulens toppnivå så det behövs även för lokala filer (finns på min maskin på 1.43.27; en ren venv kastade ModuleNotFoundError).

Testad: 2026-07-21 · Claude Code 2.x (agent harness)

Installation

git clone --depth 1 https://github.com/awslabs/agent-plugins.git /tmp/dataset-evaluation-src
mkdir -p ~/.claude/skills
cp -R /tmp/dataset-evaluation-src/plugins/sagemaker-ai/skills/dataset-evaluation ~/.claude/skills/dataset-evaluation
# Dependency: scripts/format_detector.py imports boto3 at module top level, so it is
#   required even for local-file validation:  pip install boto3
# Run directly:  python ~/.claude/skills/dataset-evaluation/scripts/format_detector.py <path-or-s3-uri>
#   add --json for machine-readable output; exit code 0 = valid, 1 = invalid/error
# Plugin-marketplace alternative: the skill ships in the sagemaker-ai plugin of the
#   awslabs/agent-plugins marketplace (.claude-plugin/marketplace.json).

Kommandon och exempelprompter

/dataset-evaluationValiderar JSONL finjusterings-dataset mot SageMaker SFT/DPO/RLVR-scheman, per-rad-fel

Skills triggas av vanliga förfrågningar — inga kommandon att memorera. Efter installationen aktiverar prompter som dessa skillen (på engelska):

Check if my dataset is ready for SFT fine-tuning
Validate this DPO dataset schema before training
Evaluate my training data for format issues

Läs hela rapporten →