Academic Experiments

Granskar ML-experiment och blockerar overifierade siffror innan de hamnar i ett uppsatsutkast.

av joshua-zyy · joshua-zyy/academic-paper-writer

Fungerar med konfiguration ★ 8.8/10

Academic Experiments — Granskar ML-experiment och blockerar overifierade siffror innan de hamnar i ett uppsatsutkast.

Vad den gör

Fungerar som en "experimentforensisk agent" för CS/AI/ML-uppsatser: den inventerar befintliga körningsartefakter, klassificerar varje resultat som newly_run, preexisting_artifact eller user_claim, provar ett minimalt reproducerbart kommando innan den föreslår full omträning, och skriver upp Protocol Risks (dataläckage, saknade baslinjer, enstaka körningar). Trigga den när någon vill verifiera reproducerbarhet, granska experimentartefakter eller bygga en bevisinventering innan resultat skrivs in i en uppsats; den vägrar uttryckligen att tvätta ett overifierat användarpåstående till en självsäker mening i uppsatsen. Inte till för litteraturöversikt eller ren textskrivning.

Testrapport

Testad mot ett låtsasrepo där README påstår "92% accuracy" men train.py aldrig tränar. Skillen vägrade skriva siffran som fakta, krävde [RESULT_UNVERIFIED] — en baslinje skrev bara in 92% rakt av.

Testad: 2026-07-13 · Claude Code 2.x (agent harness)

Installation

git clone https://github.com/joshua-zyy/academic-paper-writer
cd academic-paper-writer
mkdir -p ~/.claude/skills
cp -r skills/academic-experiments ~/.claude/skills/academic-experiments

Kommandon och exempelprompter

  • /academic-experimentsGranskar ML-experiment och blockerar overifierade siffror innan de hamnar i ett uppsatsutkast.

Skills triggas av vanliga förfrågningar — inga kommandon att memorera. Efter installationen aktiverar prompter som dessa skillen (på engelska):

  • Audit my ML experiment results before I cite them
  • Verify these accuracy numbers are reproducible
  • Inventory my experiment artifacts for the paper