Academic Experiments

Audita experimentos de ML y bloquea cifras sin verificar antes de que un borrador de paper las cite.

Por joshua-zyy · joshua-zyy/academic-paper-writer

Funciona con configuración ★ 8.8/10

Academic Experiments — Audita experimentos de ML y bloquea cifras sin verificar antes de que un borrador de paper las cite.

Qué hace

Actúa como un 'agente forense de experimentos' para papers de CS/AI/ML: inventaría los artefactos de ejecuciones existentes, clasifica cada resultado como newly_run, preexisting_artifact o user_claim, intenta un comando mínimo reproducible antes de sugerir un reentrenamiento completo, y redacta Protocol Risks (fuga de datos, baselines faltantes, resultados de una sola ejecución). Actívala cuando alguien pida verificar la reproducibilidad, auditar artefactos de experimentos o construir un inventario de evidencia antes de escribir resultados en un paper; se niega explícitamente a blanquear una afirmación del usuario sin verificar convirtiéndola en una frase segura del paper. No sirve para revisión de literatura ni tareas de redacción de prosa.

Informe de la prueba

Probado en un repo de juguete cuyo README afirma '92% accuracy' con un results.json, pero train.py solo imprime un placeholder y nunca entrena; fuerza [RESULT_UNVERIFIED] y Protocol Risks, el baseline copiaba el 92% tal cual.

Probado el: 2026-07-13 · Claude Code 2.x (agent harness)

Instalación

git clone https://github.com/joshua-zyy/academic-paper-writer
cd academic-paper-writer
mkdir -p ~/.claude/skills
cp -r skills/academic-experiments ~/.claude/skills/academic-experiments

Comandos y prompts de ejemplo

  • /academic-experimentsAudita experimentos de ML y bloquea cifras sin verificar antes de que un borrador de paper las cite.

Los skills se activan con peticiones en lenguaje natural, sin comandos que memorizar. Tras instalarlo, prompts como estos lo activan (en inglés):

  • Audit my ML experiment results before I cite them
  • Verify these accuracy numbers are reproducible
  • Inventory my experiment artifacts for the paper