Academic Experiments

Controlla gli esperimenti ML, bloccando i numeri non verificati prima che finiscano in una bozza di paper.

di joshua-zyy · joshua-zyy/academic-paper-writer

Richiede configurazione ★ 8.8/10

Academic Experiments — Controlla gli esperimenti ML, bloccando i numeri non verificati prima che finiscano in una bozza di paper.

Cosa fa

Funziona come un 'agente forense per esperimenti' per paper di CS/AI/ML: fa l'inventario degli artefatti di run esistenti, classifica ogni risultato come newly_run, preexisting_artifact o user_claim, tenta un comando minimo riproducibile prima di suggerire un retraining completo, e scrive i Protocol Risks (data leakage, baseline mancanti, risultati da singola run). Attivalo quando qualcuno chiede di verificare la riproducibilità, fare l'audit degli artefatti sperimentali, o costruire un inventario di prove prima di scrivere i risultati in un paper; rifiuta esplicitamente di far passare una user_claim non verificata come una frase sicura nel paper. Non adatto a revisioni della letteratura o compiti di scrittura in prosa.

Rapporto di test

Su un repo con README che dichiara '92% accuracy' ma un train.py che non allena nulla, lo skill impone [RESULT_UNVERIFIED] e una nota Protocol Risks, dove una baseline ingenua avrebbe scritto il numero come fatto certo.

Testato il: 2026-07-13 · Claude Code 2.x (agent harness)

Installazione

git clone https://github.com/joshua-zyy/academic-paper-writer
cd academic-paper-writer
mkdir -p ~/.claude/skills
cp -r skills/academic-experiments ~/.claude/skills/academic-experiments

Comandi e prompt di esempio

  • /academic-experimentsControlla gli esperimenti ML, bloccando i numeri non verificati prima che finiscano in una bozza di paper.

Gli skill si attivano con richieste in linguaggio naturale, senza comandi da ricordare. Dopo l'installazione, prompt come questi lo attivano (in inglese):

  • Audit my ML experiment results before I cite them
  • Verify these accuracy numbers are reproducible
  • Inventory my experiment artifacts for the paper