SkillProof tested Claude skills

Dataset Evaluation

Valideert JSONL fine-tuning datasets tegen SageMaker SFT/DPO/RLVR schema's, per-regel fouten

Door awslabs · awslabs/agent-plugins

Getest · Werkt ★ 9.2/10

Dataset Evaluation — Valideert JSONL fine-tuning datasets tegen SageMaker SFT/DPO/RLVR schema's, per-regel fouten

Wat het doet

Detecteert het formaat van een lokale of S3 JSONL dataset en valideert deze tegen SageMaker fine-tuning schema's (Nova, GPT-OSS, open-weights SFT/DPO, Verl/RLVR, en eval) vóór een trainingsjob. Activeert bij zinnen als "is my dataset okay", "check my training data", of "evaluate my data", waarbij een gebundelde format_detector.py wordt uitgevoerd die tot 1MB samplen en het gedetecteerde formaat plus fouten met regelnummers rapporteert. Rapporteert of de data klaar is en verwijst naar de dataset-transformation skill wanneer dit niet het geval is.

Testrapport

Geïnstalleerd in een tijdelijke HOME (echte ~/.claude/skills bevestigd onaangetast) en de gebundelde format_detector.py uitgevoerd tegen een 240-regelige DPO dataset die ik genereerde met 4 verborgen defecten. Baseline (hoofd/staart visuele inspectie, geen skill) concludeerde "format looks correct, ready to train" en miste alle vier; de skill-run classificeerde het bestand als open_weights_dpo en markeerde regel 89 (unterminated-string JSON), 137 (missing 'rejected' -> unknown), 201 ('rejected' null not str), en 226 ('chosen' list not str), exit 1. Frontmatter parseert met name+description; alle drie de gerefereerde bestanden retourneren HTTP 200; geen beveiligingsrisico's. Enige wrijving: boto3 wordt geïmporteerd op module top level, dus het is zelfs nodig voor lokale bestanden (aanwezig op mijn machine op 1.43.27; een schone venv gaf ModuleNotFoundError).

Getest op: 2026-07-21 · Claude Code 2.x (agent harness)

Installatie

git clone --depth 1 https://github.com/awslabs/agent-plugins.git /tmp/dataset-evaluation-src
mkdir -p ~/.claude/skills
cp -R /tmp/dataset-evaluation-src/plugins/sagemaker-ai/skills/dataset-evaluation ~/.claude/skills/dataset-evaluation
# Dependency: scripts/format_detector.py imports boto3 at module top level, so it is
#   required even for local-file validation:  pip install boto3
# Run directly:  python ~/.claude/skills/dataset-evaluation/scripts/format_detector.py <path-or-s3-uri>
#   add --json for machine-readable output; exit code 0 = valid, 1 = invalid/error
# Plugin-marketplace alternative: the skill ships in the sagemaker-ai plugin of the
#   awslabs/agent-plugins marketplace (.claude-plugin/marketplace.json).

Commando's en voorbeeldprompts

  • /dataset-evaluationValideert JSONL fine-tuning datasets tegen SageMaker SFT/DPO/RLVR schema's, per-regel fouten

Skills reageren op gewone verzoeken — geen commando's om te onthouden. Na installatie activeren prompts zoals deze de skill (in het Engels):

  • Check if my dataset is ready for SFT fine-tuning
  • Validate this DPO dataset schema before training
  • Evaluate my training data for format issues

Volledig rapport (Engels) →