NanoResearch Experiment Skeleton

Transforme un blueprint d'expérience JSON en un squelette d'entraînement/évaluation/ablation ML multi-modules exécutable.

par OpenRaiser · OpenRaiser/NanoResearch

Testé · Fonctionne ★ 8.8/10

NanoResearch Experiment Skeleton — Transforme un blueprint d'expérience JSON en un squelette d'entraînement/évaluation/ablation ML multi-modules exécutable.

Ce que fait

Lit un papers/experiment_blueprint.json (jeux de données, bases de référence, métriques, groupes d'ablation) et échafaude un projet experiments/ avec des données, des modèles, l'entraînement, l'évaluation, des configurations YAML par ablation et un point d'entrée run.py. Se déclenche lorsque vous demandez d'échafauder ou de générer du code à partir d'un blueprint ou d'un plan d'expérience ML.

Rapport de test

Fourni un blueprint réel de lissage d'étiquettes CIFAR-10 avec un balayage eps à quatre valeurs : la compétence a produit 11 fichiers à travers data/models/training/evaluation/configs plus un YAML par valeur d'ablation, les deux métriques demandées (précision et erreur de calibration attendue), l'arrêt précoce et le checkpointing, tout le parsing Python et tout le YAML valide. La référence sans compétence a regroupé le balayage en un seul flag CLI et a entièrement abandonné la métrique de calibration.

Testé le: 2026-07-24 · Claude Code 2.x (agent harness)

Installation

git clone https://github.com/OpenRaiser/NanoResearch
mkdir -p ~/.claude/skills
cd NanoResearch && cp -r skills/nanoresearch-experiment ~/.claude/skills/nanoresearch-experiment

Commandes et exemples de prompts

  • /nanoresearch-experimentTransforme un blueprint d'expérience JSON en un squelette d'entraînement/évaluation/ablation ML multi-modules exécutable.

Les skills se déclenchent sur des demandes en langage courant — aucune commande à retenir. Après installation, des prompts comme ceux-ci l'activent (en anglais) :

  • Scaffold an ML experiment project from this blueprint JSON
  • Generate training and eval code for my ablation groups
  • Build the experiments skeleton from experiment_blueprint.json