Content Refinement Agent

Iterativ paper.tex peer-review förfiningsloop med deterministiska accept/revert-stoppgrindar.

Testad · Fungerar ★ 8.4/10

Vad den gör

Förfinar ett akademiskt LaTeX-utkast (paper.tex) genom att simulera peer review och tillämpa riktade revisioner över upp till tre iterationer, med hjälp av Python-skript som deterministiskt beräknar 0-100 beslutsband, accept/revert/platå/target-met-stopp, och en Devil's Advocate-koncessionsvakt. Utlöses som Steg 5 i PaperOrchestra-pipelinen eller när en användare ber att förfina ett utkast, iterera på ett papper eller köra peer review på ett papper. Upprätthåller anti-reward-hack-regler: inga fabricerade experiment, inga nya numeriska påståenden utanför experimental_log.md, ingen defensiv begränsningslistning.

Testrapport

Klonade repot; alla 7 skript, 7 referenser och 4 delade filer existerar. Körde den deterministiska kärnan på skapade poäng-JSON:er: score_delta.py returnerade exit 0 ACCEPT (58.0->67.3, band Major->Minor), exit 1 REVERT vid regression, exit 5 HALT_TARGET_MET vid 81.0; decision_band.py mappade 67.3->Minor Revision; concession_guard.py returnerade exit 1 för en stående CRITICAL, exit 0 för en giltig koncession (rebuttal_score>=4) — matchar de dokumenterade exit-koderna. För utdata kontra baslinje reviderade jag ett kort paper.tex mot granskarkommentarer som begärde en ny ImageNet-baslinje plus flaggade ett överdrivet påstående: den no-skill-baslinjen skrev "we acknowledge as a limitation" (misslyckas med skillens Regel 2 begränsnings-grep) och fabricerade ett 76% ImageNet-nummer som saknades i experimental_log.md (misslyckas med Regel 3), medan den skill-följande revisionen omformulerade överdrivna påståendet, uppfann inget nummer och passerade båda grindarna. Frontmatter parsas (name+description närvarande); inga säkerhetsbrister. Bedömning pass; den fullständiga multi-iterations latexmk-loopen behöver syskonskills plus en arbetsyta jag inte byggde. Kategoritips "sales" är fel — detta är verktyg för akademiskt skrivande.

Testad: 2026-07-21 · Claude Code 2.x (agent harness)

Installation

git clone --depth 1 https://github.com/Ar9av/PaperOrchestra.git /tmp/content-refinement-agent-src
mkdir -p ~/.claude/skills
cp -R /tmp/content-refinement-agent-src/skills/content-refinement-agent ~/.claude/skills/content-refinement-agent
# The SKILL body also calls scripts in sibling skills and reads skills/shared/*, so for the full loop:
# cp -R /tmp/content-refinement-agent-src/skills/paper-orchestra ~/.claude/skills/paper-orchestra
# cp -R /tmp/content-refinement-agent-src/skills/section-writing-agent ~/.claude/skills/section-writing-agent
# cp -R /tmp/content-refinement-agent-src/skills/shared ~/.claude/skills/shared
# Decision scripts (score_delta.py, decision_band.py, concession_guard.py, snapshot.py) are pure Python 3 stdlib.
# Running the FULL end-to-end loop additionally needs: latexmk (TeX Live) to compile paper.pdf,
# a workspace/ scaffold produced by earlier PaperOrchestra steps, and host LLM reviewer/revision calls.

Kommandon och exempelprompter

/content-refinement-agentIterativ paper.tex peer-review förfiningsloop med deterministiska accept/revert-stoppgrindar.

Skills triggas av vanliga förfrågningar — inga kommandon att memorera. Efter installationen aktiverar prompter som dessa skillen (på engelska):

Refine the draft using simulated peer review
Iterate on the paper until it hits the target score
Run the Devil's Advocate check on this paper section

Läs hela rapporten →