Academic Experiments

Audite les expériences ML et bloque les chiffres non vérifiés avant qu'un brouillon d'article ne les cite.

par joshua-zyy · joshua-zyy/academic-paper-writer

Fonctionne avec configuration ★ 8.8/10

Academic Experiments — Audite les expériences ML et bloque les chiffres non vérifiés avant qu'un brouillon d'article ne les cite.

Ce que fait

Agit comme un « agent de forensique d'expériences » pour les articles CS/AI/ML : il inventorie les artefacts d'exécution existants, classe chaque résultat en newly_run, preexisting_artifact ou user_claim, tente une commande minimale reproductible avant de suggérer un réentraînement complet, et rédige des Protocol Risks (fuite de données, baselines manquantes, résultats à exécution unique). Déclenchez-le quand quelqu'un demande de vérifier la reproductibilité, d'auditer des artefacts d'expérience, ou de construire un inventaire de preuves avant d'écrire des résultats dans un article ; il refuse explicitement de transformer une affirmation utilisateur non vérifiée en phrase d'article présentée avec assurance. Ne convient pas aux tâches de revue de littérature ou de rédaction de prose.

Rapport de test

Sur un dépôt jouet où train.py n'entraîne rien mais le README annonce « 92 % » via results.json, le skill refuse ce chiffre, impose [RESULT_UNVERIFIED] et une note Protocol Risks — une baseline l'aurait pris tel quel.

Testé le: 2026-07-13 · Claude Code 2.x (agent harness)

Installation

git clone https://github.com/joshua-zyy/academic-paper-writer
cd academic-paper-writer
mkdir -p ~/.claude/skills
cp -r skills/academic-experiments ~/.claude/skills/academic-experiments

Commandes et exemples de prompts

  • /academic-experimentsAudite les expériences ML et bloque les chiffres non vérifiés avant qu'un brouillon d'article ne les cite.

Les skills se déclenchent sur des demandes en langage courant — aucune commande à retenir. Après installation, des prompts comme ceux-ci l'activent (en anglais) :

  • Audit my ML experiment results before I cite them
  • Verify these accuracy numbers are reproducible
  • Inventory my experiment artifacts for the paper