NanoResearch Experiment Skeleton

Wandelt ein Experiment-Blueprint-JSON in ein ausführbares Multi-Modul ML Trainings-/Evaluierungs-/Ablations-Skelett um

von OpenRaiser · OpenRaiser/NanoResearch

Getestet · Funktioniert ★ 8.8/10

NanoResearch Experiment Skeleton — Wandelt ein Experiment-Blueprint-JSON in ein ausführbares Multi-Modul ML Trainings-/Evaluierungs-/Ablations-Skelett um

Was es kann

Liest ein papers/experiment_blueprint.json (datasets, baselines, metrics, ablation groups) und scaffolds an experiments/ project with data, models, training, evaluation, per-ablation YAML configs, und a run.py entry point. Wird ausgelöst, wenn Sie darum bitten, code from an ML experiment blueprint or plan zu scaffold or generate.

Testbericht

Fed it a real CIFAR-10 label-smoothing blueprint with a four-value eps sweep: the skill produced 11 files across data/models/training/evaluation/configs plus one YAML per ablation value, both requested metrics (accuracy und expected calibration error), early stopping und checkpointing, all Python parsing und all YAML valid. The no-skill baseline collapsed the sweep into a single CLI flag und dropped the calibration metric entirely.

Getestet am: 2026-07-24 · Claude Code 2.x (agent harness)

Installation

git clone https://github.com/OpenRaiser/NanoResearch
mkdir -p ~/.claude/skills
cd NanoResearch && cp -r skills/nanoresearch-experiment ~/.claude/skills/nanoresearch-experiment

Befehle & Beispiel-Prompts

  • /nanoresearch-experimentWandelt ein Experiment-Blueprint-JSON in ein ausführbares Multi-Modul ML Trainings-/Evaluierungs-/Ablations-Skelett um

Skills reagieren auf normale Anfragen — keine Slash-Befehle nötig. Nach der Installation aktivieren Prompts wie diese den Skill (auf Englisch):

  • Scaffold an ML experiment project from this blueprint JSON
  • Generate training and eval code for my ablation groups
  • Build the experiments skeleton from experiment_blueprint.json