SkillProof tested Claude skills

NanoResearch Experiment Skeleton

Omdanner en eksperiment-blueprint JSON til et kørbart multi-modul ML trænings/eval/ablations-skelet

Af OpenRaiser · OpenRaiser/NanoResearch

Testet · Virker ★ 8.8/10

NanoResearch Experiment Skeleton — Omdanner en eksperiment-blueprint JSON til et kørbart multi-modul ML trænings/eval/ablations-skelet

Hvad det gør

Læser en papers/experiment_blueprint.json (datasets, baselines, metrics, ablation groups) og stilladserer et experiments/-projekt med data, modeller, træning, evaluering, per-ablation YAML-konfigurationer og et run.py entry point. Udløses, når du beder om at stilladsere eller generere kode fra en ML-eksperiment-blueprint eller -plan.

Testrapport

Fodrede den med en ægte CIFAR-10 label-smoothing blueprint med et fire-værdi eps sweep: skillen producerede 11 filer på tværs af data/models/training/evaluation/configs plus én YAML per ablationsværdi, begge anmodede metrics (accuracy og expected calibration error), early stopping og checkpointing, al Python-parsing og al YAML gyldig. No-skill baseline kollapsede sweepet til et enkelt CLI-flag og droppede kalibreringsmetrikken fuldstændigt.

Testet: 2026-07-24 · Claude Code 2.x (agent harness)

Installation

git clone https://github.com/OpenRaiser/NanoResearch
mkdir -p ~/.claude/skills
cd NanoResearch && cp -r skills/nanoresearch-experiment ~/.claude/skills/nanoresearch-experiment

Kommandoer og eksempelprompter

  • /nanoresearch-experimentOmdanner en eksperiment-blueprint JSON til et kørbart multi-modul ML trænings/eval/ablations-skelet

Skills udløses af almindelige forespørgsler — ingen kommandoer at huske. Efter installationen aktiverer prompter som disse skillen (på engelsk):

  • Scaffold an ML experiment project from this blueprint JSON
  • Generate training and eval code for my ablation groups
  • Build the experiments skeleton from experiment_blueprint.json

Læs hele rapporten →