Academic Experiments

Reviderer ML-eksperimenter og blokerer uverificerede tal, før de citeres i et paper-udkast.

Af joshua-zyy · joshua-zyy/academic-paper-writer

Virker med opsætning ★ 8.8/10

Academic Experiments — Reviderer ML-eksperimenter og blokerer uverificerede tal, før de citeres i et paper-udkast.

Hvad det gør

Fungerer som en 'eksperiment-retsmedicinsk agent' til CS/AI/ML-papers: den kortlægger eksisterende run-artefakter, klassificerer hvert resultat som newly_run, preexisting_artifact eller user_claim, forsøger en minimal reproducerbar kommando før den foreslår fuld genoptræning, og skriver Protocol Risks op (datalæk, manglende baselines, enkeltkørselsresultater). Udløs den, når nogen beder om at verificere reproducerbarhed, auditere eksperimentartefakter eller bygge et bevisinventar, før resultater skrives ind i et paper; den nægter eksplicit at hvidvaske en uverificeret brugerpåstand til en selvsikker sætning i et paper. Ikke til litteraturgennemgang eller prosaskrivning.

Testrapport

Testet på et legetøjsrepo, hvor README hævdede '92% accuracy', men train.py aldrig trænede noget. Skillet nægtede at skrive tallet som fakta og satte i stedet [RESULT_UNVERIFIED] ind, mens en naiv baseline bare accepterede de 92%.

Testet: 2026-07-13 · Claude Code 2.x (agent harness)

Installation

git clone https://github.com/joshua-zyy/academic-paper-writer
cd academic-paper-writer
mkdir -p ~/.claude/skills
cp -r skills/academic-experiments ~/.claude/skills/academic-experiments

Kommandoer og eksempelprompter

  • /academic-experimentsReviderer ML-eksperimenter og blokerer uverificerede tal, før de citeres i et paper-udkast.

Skills udløses af almindelige forespørgsler — ingen kommandoer at huske. Efter installationen aktiverer prompter som disse skillen (på engelsk):

  • Audit my ML experiment results before I cite them
  • Verify these accuracy numbers are reproducible
  • Inventory my experiment artifacts for the paper