NanoResearch Experiment Skeleton

Zet een experiment blueprint JSON om in een uitvoerbaar multi-module ML training/eval/ablation skeleton

Door OpenRaiser · OpenRaiser/NanoResearch

Getest · Werkt ★ 8.8/10

NanoResearch Experiment Skeleton — Zet een experiment blueprint JSON om in een uitvoerbaar multi-module ML training/eval/ablation skeleton

Wat het doet

Leest een papers/experiment_blueprint.json (datasets, baselines, metrics, ablation groups) en scaffoldt een experiments/-project met data, modellen, training, evaluatie, per-ablation YAML configs en een run.py entry point. Activeert wanneer u vraagt om code te scaffolden of te genereren vanuit een ML experiment blueprint of plan.

Testrapport

Voedde het een echte CIFAR-10 label-smoothing blueprint met een vierwaardige eps sweep: de skill produceerde 11 bestanden over data/models/training/evaluation/configs plus één YAML per ablation value, beide gevraagde metrics (accuracy en expected calibration error), early stopping en checkpointing, alle Python parsing en alle YAML geldig. De no-skill baseline vouwde de sweep samen tot één CLI flag en liet de calibration metric volledig vallen.

Getest op: 2026-07-24 · Claude Code 2.x (agent harness)

Installatie

git clone https://github.com/OpenRaiser/NanoResearch
mkdir -p ~/.claude/skills
cd NanoResearch && cp -r skills/nanoresearch-experiment ~/.claude/skills/nanoresearch-experiment

Commando's en voorbeeldprompts

  • /nanoresearch-experimentZet een experiment blueprint JSON om in een uitvoerbaar multi-module ML training/eval/ablation skeleton

Skills reageren op gewone verzoeken — geen commando's om te onthouden. Na installatie activeren prompts zoals deze de skill (in het Engels):

  • Scaffold an ML experiment project from this blueprint JSON
  • Generate training and eval code for my ablation groups
  • Build the experiments skeleton from experiment_blueprint.json