Content Refinement Agent

Iterativ paper.tex peer-review raffineringsløkke med deterministiske accept/revert stop-gates

Testet · Virker ★ 8.4/10

Hvad det gør

Forfiner et akademisk LaTeX-udkast (paper.tex) ved at simulere peer review og anvende målrettede revisioner over op til tre iterationer, ved hjælp af Python-scripts, der deterministisk beregner 0-100 beslutningsbånd, accept/revert/plateau/target-met stop, og en Devil's Advocate indrømmelsesvagt. Udløses som Trin 5 i PaperOrchestra-pipelinen eller når en bruger beder om at forfine et udkast, iterere på et papir eller køre peer review på et papir. Håndhæver anti-reward-hack regler: ingen fabrikerede eksperimenter, ingen nye numeriske påstande uden for experimental_log.md, ingen defensiv begrænsningsliste.

Testrapport

Klonede repoet; alle 7 scripts, 7 referencer og 4 delte filer eksisterer. Kørte den deterministiske kerne på udformede score JSONs: score_delta.py returnerede exit 0 ACCEPT (58.0->67.3, bånd Major->Minor), exit 1 REVERT ved regression, exit 5 HALT_TARGET_MET ved 81.0; decision_band.py mappede 67.3->Minor Revision; concession_guard.py returnerede exit 1 for en stående CRITICAL, exit 0 for en gyldig indrømmelse (rebuttal_score>=4) — matcher de dokumenterede exit-koder. Til output vs baseline reviderede jeg et kort paper.tex mod reviewer feedback, der anmodede om en ny ImageNet baseline plus flagging af en overpåstand: no-skill baseline skrev "we acknowledge as a limitation" (fejler skill'ens Regel 2 begrænsnings-grep) og fabrikerede et 76% ImageNet nummer fraværende fra experimental_log.md (fejler Regel 3), mens den skill-følgende revision omformulerede overpåstanden, opfandt intet nummer og passerede begge gates. Frontmatter parses (name+description til stede); ingen sikkerhedsbrister. Dom bestået; den fulde multi-iteration latexmk løkke kræver søskende-skills plus et workspace scaffold, jeg ikke byggede. Kategori-hint "sales" er forkert — dette er akademisk skriveværktøj.

Testet: 2026-07-21 · Claude Code 2.x (agent harness)

Installation

git clone --depth 1 https://github.com/Ar9av/PaperOrchestra.git /tmp/content-refinement-agent-src
mkdir -p ~/.claude/skills
cp -R /tmp/content-refinement-agent-src/skills/content-refinement-agent ~/.claude/skills/content-refinement-agent
# The SKILL body also calls scripts in sibling skills and reads skills/shared/*, so for the full loop:
# cp -R /tmp/content-refinement-agent-src/skills/paper-orchestra ~/.claude/skills/paper-orchestra
# cp -R /tmp/content-refinement-agent-src/skills/section-writing-agent ~/.claude/skills/section-writing-agent
# cp -R /tmp/content-refinement-agent-src/skills/shared ~/.claude/skills/shared
# Decision scripts (score_delta.py, decision_band.py, concession_guard.py, snapshot.py) are pure Python 3 stdlib.
# Running the FULL end-to-end loop additionally needs: latexmk (TeX Live) to compile paper.pdf,
# a workspace/ scaffold produced by earlier PaperOrchestra steps, and host LLM reviewer/revision calls.

Kommandoer og eksempelprompter

/content-refinement-agentIterativ paper.tex peer-review raffineringsløkke med deterministiske accept/revert stop-gates

Skills udløses af almindelige forespørgsler — ingen kommandoer at huske. Efter installationen aktiverer prompter som disse skillen (på engelsk):

Refine the draft using simulated peer review
Iterate on the paper until it hits the target score
Run the Devil's Advocate check on this paper section

Læs hele rapporten →