Content Refinement Agent

Iterativ paper.tex fagfellevurderingsforbedringssløyfe med deterministiske aksept/reverteringsstoppporter

Bestått ★ 8.4/10

Hva den gjør

Forbedrer et akademisk LaTeX-utkast (paper.tex) ved å simulere fagfellevurdering og anvende målrettede revisjoner over opptil tre iterasjoner, ved hjelp av Python-skript som deterministisk beregner 0-100 beslutningsbånd, aksept/revertering/platå/mål-oppnådd stopp, og en Devil's Advocate konsesjonsvakt. Utløses som Trinn 5 i PaperOrchestra-pipelinen eller når en bruker ber om å forbedre et utkast, iterere på et paper, eller kjøre fagfellevurdering på et paper. Håndhever anti-belønnings-hack-regler: ingen fabrikkerte eksperimenter, ingen nye numeriske påstander utenfor experimental_log.md, ingen defensiv begrensningsopplisting.

Testrapport

Klonet repoet; alle 7 skript, 7 referanser og 4 delte filer eksisterer. Kjørte den deterministiske kjernen på utformede score JSON-er: score_delta.py returnerte exit 0 ACCEPT (58.0->67.3, bånd Major->Minor), exit 1 REVERT ved regresjon, exit 5 HALT_TARGET_MET ved 81.0; decision_band.py kartla 67.3->Minor Revision; concession_guard.py returnerte exit 1 for en stående CRITICAL, exit 0 for en gyldig konsesjon (rebuttal_score>=4) — matchende de dokumenterte exit-kodene. For utdata vs grunnlinje reviderte jeg et kort paper.tex mot anmelderfeedback som ba om en ny ImageNet-grunnlinje pluss flagget en overpåstand: den uten-ferdighet grunnlinjen skrev "vi erkjenner som en begrensning" (feiler ferdighetens Regel 2 begrensning grep) og fabrikkerte et 76% ImageNet-nummer fraværende fra experimental_log.md (feiler Regel 3), mens den ferdighetsbaserte revisjonen omformulerte overpåstanden, oppfant ingen tall, og passerte begge portene. Frontmatter parses (name+description til stede); ingen sikkerhetsbrister. Dom bestått; den fulle multi-iterasjons latexmk-sløyfen trenger søskenferdigheter pluss et arbeidsområde-stillase jeg ikke bygget. Kategorihint "sales" er feil — dette er verktøy for akademisk skriving.

Testet på: 2026-07-21 · Claude Code 2.x (agent harness)

Installer

git clone --depth 1 https://github.com/Ar9av/PaperOrchestra.git /tmp/content-refinement-agent-src
mkdir -p ~/.claude/skills
cp -R /tmp/content-refinement-agent-src/skills/content-refinement-agent ~/.claude/skills/content-refinement-agent
# The SKILL body also calls scripts in sibling skills and reads skills/shared/*, so for the full loop:
# cp -R /tmp/content-refinement-agent-src/skills/paper-orchestra ~/.claude/skills/paper-orchestra
# cp -R /tmp/content-refinement-agent-src/skills/section-writing-agent ~/.claude/skills/section-writing-agent
# cp -R /tmp/content-refinement-agent-src/skills/shared ~/.claude/skills/shared
# Decision scripts (score_delta.py, decision_band.py, concession_guard.py, snapshot.py) are pure Python 3 stdlib.
# Running the FULL end-to-end loop additionally needs: latexmk (TeX Live) to compile paper.pdf,
# a workspace/ scaffold produced by earlier PaperOrchestra steps, and host LLM reviewer/revision calls.

Kommandoer og eksempelprompter

/content-refinement-agentIterativ paper.tex fagfellevurderingsforbedringssløyfe med deterministiske aksept/reverteringsstoppporter

Skills utløses av vanlige forespørsler — ingen kommandoer å huske. Etter installasjonen aktiverer prompter som disse skillen (på engelsk):

Refine the draft using simulated peer review
Iterate on the paper until it hits the target score
Run the Devil's Advocate check on this paper section

Full rapport →