SkillProof tested Claude skills

Dataset Evaluation

Validerer JSONL fine-tuning datasæt mod SageMaker SFT/DPO/RLVR skemaer, fejl pr. linje

Af awslabs · awslabs/agent-plugins

Testet · Virker ★ 9.2/10

Dataset Evaluation — Validerer JSONL fine-tuning datasæt mod SageMaker SFT/DPO/RLVR skemaer, fejl pr. linje

Hvad det gør

Registrerer formatet af et lokalt eller S3 JSONL-datasæt og validerer det mod SageMaker fine-tuning-skemaer (Nova, GPT-OSS, open-weights SFT/DPO, Verl/RLVR og eval) før et træningsjob. Udløses ved fraseringer som "is my dataset okay", "check my training data" eller "evaluate my data", og kører en medfølgende format_detector.py, der sampler op til 1MB og rapporterer det detekterede format plus linjenummererede fejl. Rapporterer, om dataene er klar, og henviser til dataset-transformation-skill'en, når de ikke er.

Testrapport

Installeret i et midlertidigt HOME (ægte ~/.claude/skills bekræftet uberørt) og kørte den medfølgende format_detector.py mod et 240-linjers DPO-datasæt, jeg genererede med 4 skjulte fejl. Baseline (hoved/hale-øjensyn, ingen skill) konkluderede "format looks correct, ready to train" og overså alle fire; skill-kørslen klassificerede filen som open_weights_dpo og markerede linje 89 (unterminated-string JSON), 137 (missing 'rejected' -> unknown), 201 ('rejected' null not str) og 226 ('chosen' list not str), exit 1. Frontmatter parses med name+description; alle tre refererede filer returnerer HTTP 200; ingen sikkerhedsrisici. Eneste friktion: boto3 importeres på modul-topniveau, så det er nødvendigt selv for lokale filer (til stede på min maskine ved 1.43.27; en ren venv rejste ModuleNotFoundError).

Testet: 2026-07-21 · Claude Code 2.x (agent harness)

Installation

git clone --depth 1 https://github.com/awslabs/agent-plugins.git /tmp/dataset-evaluation-src
mkdir -p ~/.claude/skills
cp -R /tmp/dataset-evaluation-src/plugins/sagemaker-ai/skills/dataset-evaluation ~/.claude/skills/dataset-evaluation
# Dependency: scripts/format_detector.py imports boto3 at module top level, so it is
#   required even for local-file validation:  pip install boto3
# Run directly:  python ~/.claude/skills/dataset-evaluation/scripts/format_detector.py <path-or-s3-uri>
#   add --json for machine-readable output; exit code 0 = valid, 1 = invalid/error
# Plugin-marketplace alternative: the skill ships in the sagemaker-ai plugin of the
#   awslabs/agent-plugins marketplace (.claude-plugin/marketplace.json).

Kommandoer og eksempelprompter

  • /dataset-evaluationValiderer JSONL fine-tuning datasæt mod SageMaker SFT/DPO/RLVR skemaer, fejl pr. linje

Skills udløses af almindelige forespørgsler — ingen kommandoer at huske. Efter installationen aktiverer prompter som disse skillen (på engelsk):

  • Check if my dataset is ready for SFT fine-tuning
  • Validate this DPO dataset schema before training
  • Evaluate my training data for format issues

Læs hele rapporten →