Academic Experiments

Controleert ML-experimenten en blokkeert ongeverifieerde cijfers voordat een paperconcept ze citeert.

Door joshua-zyy · joshua-zyy/academic-paper-writer

Werkt met setup ★ 8.8/10

Academic Experiments — Controleert ML-experimenten en blokkeert ongeverifieerde cijfers voordat een paperconcept ze citeert.

Wat het doet

Fungeert als een 'experiment forensics agent' voor CS/AI/ML-papers: inventariseert bestaande run-artefacten, classificeert elk resultaat als newly_run, preexisting_artifact of user_claim, probeert eerst een minimaal reproduceerbaar commando voordat het volledige hertraining voorstelt, en schrijft Protocol Risks op (data-lekkage, ontbrekende baselines, single-run-resultaten). Trigger hem om reproduceerbaarheid te verifiëren, experimentartefacten te auditen, of een evidence inventory op te bouwen voordat resultaten in een paper komen; hij weigert expliciet een ongeverifieerde claim wit te wassen tot een zelfverzekerde zin. Niet voor literatuuronderzoek of proza.

Testrapport

Getest op een repo waarvan de README '92% accuracy' claimt terwijl train.py nooit traint; de skill weigerde dit als feit en dwong een [RESULT_UNVERIFIED]-placeholder af, waar een naïeve baseline de 92% zomaar overnam.

Getest op: 2026-07-13 · Claude Code 2.x (agent harness)

Installatie

git clone https://github.com/joshua-zyy/academic-paper-writer
cd academic-paper-writer
mkdir -p ~/.claude/skills
cp -r skills/academic-experiments ~/.claude/skills/academic-experiments

Commando's en voorbeeldprompts

  • /academic-experimentsControleert ML-experimenten en blokkeert ongeverifieerde cijfers voordat een paperconcept ze citeert.

Skills reageren op gewone verzoeken — geen commando's om te onthouden. Na installatie activeren prompts zoals deze de skill (in het Engels):

  • Audit my ML experiment results before I cite them
  • Verify these accuracy numbers are reproducible
  • Inventory my experiment artifacts for the paper