Content Refinement Agent

Iterativer paper.tex Peer-Review-Verfeinerungszyklus mit deterministischen Accept/Revert-Haltegattern

Getestet · Funktioniert ★ 8.4/10

Was es kann

Verfeinert einen akademischen LaTeX-Entwurf (paper.tex) durch Simulation eines Peer Reviews und Anwendung gezielter Revisionen über bis zu drei Iterationen, unter Verwendung von Python-Skripten, die deterministisch 0-100 Entscheidungsbänder, Accept/Revert/Plateau/Target-Met-Haltepunkte und einen Devil's Advocate Concession Guard berechnen. Wird als Schritt 5 der PaperOrchestra-Pipeline ausgelöst oder wenn ein Benutzer darum bittet, einen Entwurf zu verfeinern, ein Papier zu iterieren oder ein Peer Review für ein Papier durchzuführen. Erzwingt Anti-Reward-Hack-Regeln: keine fabrizierten Experimente, keine neuen numerischen Behauptungen außerhalb von experimental_log.md, keine defensive Auflistung von Einschränkungen.

Testbericht

Das Repo geklont; alle 7 Skripte, 7 Referenzen und 4 geteilte Dateien existieren. Den deterministischen Kern auf erstellten Score-JSONs ausgeführt: score_delta.py gab Exit 0 ACCEPT zurück (58.0->67.3, Band Major->Minor), Exit 1 REVERT bei Regression, Exit 5 HALT_TARGET_MET bei 81.0; decision_band.py ordnete 67.3->Minor Revision zu; concession_guard.py gab Exit 1 für einen stehenden CRITICAL zurück, Exit 0 für eine gültige Konzession (rebuttal_score>=4) – passend zu den dokumentierten Exit-Codes. Für den Output vs. Baseline habe ich ein kurzes paper.tex gegen Reviewer-Feedback überarbeitet, das eine neue ImageNet-Baseline anforderte und eine Übertreibung kennzeichnete: Die No-Skill-Baseline schrieb "we acknowledge as a limitation" (verstößt gegen Regel 2 des Skills zur Einschränkungs-Grep) und fabrizierte eine 76%ige ImageNet-Zahl, die in experimental_log.md fehlte (verstößt gegen Regel 3), während die Skill-basierte Revision die Übertreibung neu formulierte, keine Zahl erfand und beide Gates passierte. Frontmatter wird geparst (name+description vorhanden); keine Sicherheitslücken. Urteil Pass; die vollständige Multi-Iterations-latexmk-Schleife benötigt Schwester-Skills plus ein Workspace-Gerüst, das ich nicht gebaut habe. Kategoriehinweis "sales" ist falsch – dies ist ein Tool für akademisches Schreiben.

Getestet am: 2026-07-21 · Claude Code 2.x (agent harness)

Installation

git clone --depth 1 https://github.com/Ar9av/PaperOrchestra.git /tmp/content-refinement-agent-src
mkdir -p ~/.claude/skills
cp -R /tmp/content-refinement-agent-src/skills/content-refinement-agent ~/.claude/skills/content-refinement-agent
# The SKILL body also calls scripts in sibling skills and reads skills/shared/*, so for the full loop:
# cp -R /tmp/content-refinement-agent-src/skills/paper-orchestra ~/.claude/skills/paper-orchestra
# cp -R /tmp/content-refinement-agent-src/skills/section-writing-agent ~/.claude/skills/section-writing-agent
# cp -R /tmp/content-refinement-agent-src/skills/shared ~/.claude/skills/shared
# Decision scripts (score_delta.py, decision_band.py, concession_guard.py, snapshot.py) are pure Python 3 stdlib.
# Running the FULL end-to-end loop additionally needs: latexmk (TeX Live) to compile paper.pdf,
# a workspace/ scaffold produced by earlier PaperOrchestra steps, and host LLM reviewer/revision calls.

Befehle & Beispiel-Prompts

/content-refinement-agentIterativer paper.tex Peer-Review-Verfeinerungszyklus mit deterministischen Accept/Revert-Haltegattern

Skills reagieren auf normale Anfragen — keine Slash-Befehle nötig. Nach der Installation aktivieren Prompts wie diese den Skill (auf Englisch):

Refine the draft using simulated peer review
Iterate on the paper until it hits the target score
Run the Devil's Advocate check on this paper section

Vollständiger Testbericht (Englisch) →