SkillProof tested Claude skills

Dataset Evaluation

Validuje JSONL datasety pro jemné ladění proti schématům SageMaker SFT/DPO/RLVR, chyby na řádek

od awslabs · awslabs/agent-plugins

Otestováno · Funguje ★ 9.2/10

Dataset Evaluation — Validuje JSONL datasety pro jemné ladění proti schématům SageMaker SFT/DPO/RLVR, chyby na řádek

Co umí

Detekuje formát lokálního nebo S3 JSONL datasetu a validuje jej proti schématům SageMaker pro jemné ladění (Nova, GPT-OSS, open-weights SFT/DPO, Verl/RLVR a eval) před tréninkovou úlohou. Spouští se na fráze jako "is my dataset okay", "check my training data" nebo "evaluate my data", spouštějící přibalený format_detector.py, který vzorkuje až 1MB a hlásí detekovaný formát plus chyby s čísly řádků. Hlásí, zda jsou data připravena, a v případě, že nejsou, odkazuje na skill pro transformaci datasetu.

Testovací report

Nainstalováno do dočasného HOME (skutečné ~/.claude/skills potvrzeno jako nedotčené) a spuštěn přibalený format_detector.py proti 240řádkovému DPO datasetu, který jsem vygeneroval se 4 skrytými vadami. Baseline (vizuální kontrola začátku/konce, bez skillu) dospěl k závěru "format looks correct, ready to train" a všechny čtyři chyby přehlédl; spuštění skillu klasifikovalo soubor jako open_weights_dpo a označilo řádek 89 (JSON s neukončeným řetězcem), 137 (chybějící 'rejected' -> neznámý), 201 ('rejected' null není str) a 226 ('chosen' list není str), exit 1. Frontmatter se parsuje s name+description; všechny tři odkazované soubory vrátily HTTP 200; žádné bezpečnostní problémy. Jediná komplikace: boto3 je importován na nejvyšší úrovni modulu, takže je potřeba i pro lokální soubory (přítomno na mém počítači ve verzi 1.43.27; čisté venv vyvolalo ModuleNotFoundError).

Testováno: 2026-07-21 · Claude Code 2.x (agent harness)

Instalace

git clone --depth 1 https://github.com/awslabs/agent-plugins.git /tmp/dataset-evaluation-src
mkdir -p ~/.claude/skills
cp -R /tmp/dataset-evaluation-src/plugins/sagemaker-ai/skills/dataset-evaluation ~/.claude/skills/dataset-evaluation
# Dependency: scripts/format_detector.py imports boto3 at module top level, so it is
#   required even for local-file validation:  pip install boto3
# Run directly:  python ~/.claude/skills/dataset-evaluation/scripts/format_detector.py <path-or-s3-uri>
#   add --json for machine-readable output; exit code 0 = valid, 1 = invalid/error
# Plugin-marketplace alternative: the skill ships in the sagemaker-ai plugin of the
#   awslabs/agent-plugins marketplace (.claude-plugin/marketplace.json).

Příkazy a ukázkové prompty

  • /dataset-evaluationValiduje JSONL datasety pro jemné ladění proti schématům SageMaker SFT/DPO/RLVR, chyby na řádek

Skilly se spouštějí běžnými požadavky — žádné příkazy k zapamatování. Po instalaci ho aktivují prompty jako tyto (anglicky):

  • Check if my dataset is ready for SFT fine-tuning
  • Validate this DPO dataset schema before training
  • Evaluate my training data for format issues

Kompletní testovací report (anglicky) →