Content Refinement Agent

Iteratieve paper.tex peer-review verfijningsloop met deterministische accept/revert halt gates

Getest · Werkt ★ 8.4/10

Wat het doet

Verfijnt een academisch LaTeX concept (paper.tex) door peer review te simuleren en gerichte revisies toe te passen over maximaal drie iteraties, met behulp van Python scripts die deterministisch 0-100 beslissingsbanden berekenen, accept/revert/plateau/target-met stops, en een Devil's Advocate concession guard. Activeert als Stap 5 van de PaperOrchestra pijplijn of wanneer een gebruiker vraagt om een concept te verfijnen, een paper te itereren, of peer review uit te voeren op een paper. Handhaaft anti-reward-hack regels: geen gefabriceerde experimenten, geen nieuwe numerieke claims buiten experimental_log.md, geen defensieve beperkingenlijst.

Testrapport

De repo gekloond; alle 7 scripts, 7 referenties en 4 gedeelde bestanden bestaan. De deterministische kern uitgevoerd op handgemaakte score JSONs: score_delta.py retourneerde exit 0 ACCEPT (58.0->67.3, band Major->Minor), exit 1 REVERT bij regressie, exit 5 HALT_TARGET_MET op 81.0; decision_band.py mapte 67.3->Minor Revision; concession_guard.py retourneerde exit 1 voor een staande CRITICAL, exit 0 voor een geldige concessie (rebuttal_score>=4) — overeenkomend met de gedocumenteerde exit codes. Voor output versus baseline heb ik een korte paper.tex herzien tegen feedback van reviewers die een nieuwe ImageNet baseline vroegen plus het signaleren van een overclaim: de no-skill baseline schreef "we acknowledge as a limitation" (faalt de Rule 2 limitation grep van de skill) en fabriceerde een 76% ImageNet nummer afwezig in experimental_log.md (faalt Rule 3), terwijl de skill-volgende revisie de overclaim herformuleerde, geen nummer verzon, en beide gates passeerde. Frontmatter parset (name+description aanwezig); geen beveiligingsrisico's. Oordeel pass; de volledige multi-iteratie latexmk loop heeft sibling skills plus een workspace scaffold nodig die ik niet heb gebouwd. Categorie hint "sales" is verkeerd — dit is academische schrijf-tooling.

Getest op: 2026-07-21 · Claude Code 2.x (agent harness)

Installatie

git clone --depth 1 https://github.com/Ar9av/PaperOrchestra.git /tmp/content-refinement-agent-src
mkdir -p ~/.claude/skills
cp -R /tmp/content-refinement-agent-src/skills/content-refinement-agent ~/.claude/skills/content-refinement-agent
# The SKILL body also calls scripts in sibling skills and reads skills/shared/*, so for the full loop:
# cp -R /tmp/content-refinement-agent-src/skills/paper-orchestra ~/.claude/skills/paper-orchestra
# cp -R /tmp/content-refinement-agent-src/skills/section-writing-agent ~/.claude/skills/section-writing-agent
# cp -R /tmp/content-refinement-agent-src/skills/shared ~/.claude/skills/shared
# Decision scripts (score_delta.py, decision_band.py, concession_guard.py, snapshot.py) are pure Python 3 stdlib.
# Running the FULL end-to-end loop additionally needs: latexmk (TeX Live) to compile paper.pdf,
# a workspace/ scaffold produced by earlier PaperOrchestra steps, and host LLM reviewer/revision calls.

Commando's en voorbeeldprompts

/content-refinement-agentIteratieve paper.tex peer-review verfijningsloop met deterministische accept/revert halt gates

Skills reageren op gewone verzoeken — geen commando's om te onthouden. Na installatie activeren prompts zoals deze de skill (in het Engels):

Refine the draft using simulated peer review
Iterate on the paper until it hits the target score
Run the Devil's Advocate check on this paper section

Volledig rapport (Engels) →