Academic Experiments

Reviderer ML-eksperimenter og blokkerer uverifiserte tall før de siteres i et paperutkast.

av joshua-zyy · joshua-zyy/academic-paper-writer

Krever oppsett ★ 8.8/10

Academic Experiments — Reviderer ML-eksperimenter og blokkerer uverifiserte tall før de siteres i et paperutkast.

Hva den gjør

Fungerer som en «eksperiment-etterforsker» for CS/AI/ML-artikler: den kartlegger eksisterende kjøre-artefakter, klassifiserer hvert resultat som newly_run, preexisting_artifact eller user_claim, prøver en minimal reproduserbar kommando før den foreslår full gjentrening, og skriver opp Protocol Risks (datalekkasje, manglende baselines, enkeltkjøringsresultater). Bruk den når noen ber om å verifisere reproduserbarhet, revidere eksperiment-artefakter, eller bygge en bevisoversikt før resultater skrives inn i en artikkel; den nekter eksplisitt å vaske en uverifisert brukerpåstand til en selvsikker artikkelsetning. Ikke for litteraturgjennomgang eller ren tekstskriving.

Testrapport

Kjørt mot et leke-repo der README hevder «92% accuracy», men train.py aldri trener noe. Skillet nektet å skrive tallet som fakta, tvang frem [RESULT_UNVERIFIED] og et Protocol Risks-notat — baseline limte bare inn 92% rått.

Testet på: 2026-07-13 · Claude Code 2.x (agent harness)

Installer

git clone https://github.com/joshua-zyy/academic-paper-writer
cd academic-paper-writer
mkdir -p ~/.claude/skills
cp -r skills/academic-experiments ~/.claude/skills/academic-experiments

Kommandoer og eksempelprompter

/academic-experimentsReviderer ML-eksperimenter og blokkerer uverifiserte tall før de siteres i et paperutkast.

Skills utløses av vanlige forespørsler — ingen kommandoer å huske. Etter installasjonen aktiverer prompter som disse skillen (på engelsk):

Audit my ML experiment results before I cite them
Verify these accuracy numbers are reproducible
Inventory my experiment artifacts for the paper

Full rapport →