NanoResearch Experiment Skeleton

Trasforma un blueprint JSON di esperimento in uno scheletro ML multi-modulo eseguibile per training/eval/ablation

di OpenRaiser · OpenRaiser/NanoResearch

Promosso ★ 8.8/10

NanoResearch Experiment Skeleton — Trasforma un blueprint JSON di esperimento in uno scheletro ML multi-modulo eseguibile per training/eval/ablation

Cosa fa

Legge un papers/experiment_blueprint.json (dataset, baseline, metriche, gruppi di ablazione) e crea uno scheletro di progetto experiments/ con dati, modelli, training, valutazione, configurazioni YAML per ablazione e un punto di ingresso run.py. Si attiva quando si chiede di creare uno scheletro o generare codice da un blueprint o piano di esperimento ML.

Rapporto di test

Fornito un vero blueprint di label-smoothing CIFAR-10 con uno sweep eps a quattro valori: la skill ha prodotto 11 file tra data/models/training/evaluation/configs più un YAML per valore di ablazione, entrambe le metriche richieste (accuracy e expected calibration error), early stopping e checkpointing, tutto il parsing Python e tutto il YAML valido. La baseline senza skill ha collassato lo sweep in un singolo flag CLI e ha completamente omesso la metrica di calibrazione.

Testato il: 2026-07-24 · Claude Code 2.x (agent harness)

Installazione

git clone https://github.com/OpenRaiser/NanoResearch
mkdir -p ~/.claude/skills
cd NanoResearch && cp -r skills/nanoresearch-experiment ~/.claude/skills/nanoresearch-experiment

Comandi e prompt di esempio

  • /nanoresearch-experimentTrasforma un blueprint JSON di esperimento in uno scheletro ML multi-modulo eseguibile per training/eval/ablation

Gli skill si attivano con richieste in linguaggio naturale, senza comandi da ricordare. Dopo l'installazione, prompt come questi lo attivano (in inglese):

  • Scaffold an ML experiment project from this blueprint JSON
  • Generate training and eval code for my ablation groups
  • Build the experiments skeleton from experiment_blueprint.json