Claude-Zusammenfassungen, die Fakten nicht umschreiben

Bittet man Claude, ein Dokument zusammenzufassen, bekommt man ein sauberes, souveränes Kondensat. Was man nicht sieht – weil man die Quelle nicht gelesen hat –, ist alles, was die Zusammenfassung auf dem Weg dorthin still verändert hat: Ein „kann das Risiko senken“ wurde zu „senkt das Risiko“, aus 2,4 Mio. € wurden 2,9 Mio. €, zwei widersprüchliche Daten wurden zu einem zusammengefasst. Eine Zusammenfassung ist verlustbehaftete Kompression fremder Aussagen, und der einzige legitime Verlust ist Auslassung. Alles andere ist Verzerrung, die der Leser nicht erkennen kann.

Also haben wir es gemessen. Das Ergebnis heißt summary-discipline, unser neuestes Skill: neun durchsetzbare Treue-Regeln, benchmarked im Vorher-Nachher gegen ein eingefrorenes Ground-Truth-Blatt. Kostenlos und MIT-lizenziert: github.com/Skillproofdev/summary-discipline.

Die Nischen-Lücke: 174 Summarizer, null Treue-Regeln

Bevor wir eine Regel geschrieben haben, haben wir unseren Index von 16.682 entdeckten Skills durchsucht. 460 erwähnen Zusammenfassen; 174 sind echte Summarizer. Jeder Einzelne optimiert dasselbe: Struktur und Kürze – Abschnitte, Bullet-Anzahl, Action Items, Ton. Null formulieren eine einzige prüfbare Regel zur Beziehung zwischen Zusammenfassung und Quelle: nichts hinzugefügt, Zahlen wortgetreu, Vorbehalte intakt, Zuordnung erhalten.

Das ist der merkwürdige Teil, denn die Wissenschaft misst genau diese Fehler seit einem Jahrzehnt. FactCC, FRANK, SummaC, AggreFact, FaithBench – eine ganze Literatur zu Treue-Benchmarks für Zusammenfassungen mit benannten Fehlertypen. Kein veröffentlichtes Skill übernimmt davon irgendetwas. summary-discipline ist genau dieser fehlende Transfer: Fehlerkategorien aus Halluzinations-Benchmarks, umgesetzt in Regeln, die zur Generierungszeit gelten und sich Zeile für Zeile prüfen lassen.

Neun Regeln, jede gegen die Quelle prüfbar

Die vollständige SKILL.md umfasst neun Regeln; die tragenden:

1. Keine Aussage ohne Quellsatz. Lässt sich die Passage, die einen Satz legitimiert, nicht zeigen, kommt er nicht rein. Wirklich nötiger Kontext wird als [context, not in source] markiert.
2. Zahlen werden kopiert, nie neu abgeleitet. Wert, Einheit und Bezugsgröße wortgetreu – kein Runden, Mitteln oder stilles Rechnen. „4,2 Mio. € Q3-Umsatz, +12% ggü. Vorjahr“, niemals „grob 4 Mio. €“.
3. Den Vorbehalt bewahren. „Kann das Risiko senken“ wird nie zu „senkt das Risiko“; „bestätigt“ wird nie zu „könnte“ abgeschwächt. Die Modalität ist das Letzte, was gekürzt werden darf.
4. Zuordnung bewahren. „Der CEO behauptet, die Margen hätten sich verbessert“ ≠ „die Margen haben sich verbessert“. Nie zwei Sprecher zu einem Konsens verschmelzen, den niemand geäußert hat.
5. Widersprüche markieren, nie still auflösen. Zwei widersprüchliche Zahlen bleiben zwei Zahlen, in einem sichtbaren Flagged-Block. Die Zusammenfassung wählt keinen Gewinner und mittelt nicht.

Plus ein erklärter Kompressionsvertrag (~4.800 Wörter → ~200 Wörter · nach Wichtigkeit sortiert), Auslassungsregeln, die Entscheidungen, Fristen, Risiken und umkehrende Vorbehalte bei jeder Länge schützen, Zitatanker bei tragenden Aussagen und ein Aussage-für-Aussage-Selbstaudit vor der Auslieferung.

Der Benchmark: jede Aussage gegen ein eingefrorenes Blatt geprüft

Hier die ehrliche Reichweite, gleich vorweg. Der Korpus umfasst 11 Dokumente, eines pro Stresskategorie. Diese Zahlen stammen aus einer vorregistrierten Teilmenge von 6 Dokumenten – D02 Cardiotide-Studie, D04 Quartalsbericht, D05 Incident-Postmortem, D07 Launch-Transkript, D09 Schlafforschungs-Abstracts, D11 Memo mit platziertem Widerspruch –, ausgewählt vom Koordinator vor jedem Lauf, eines pro Kategorie. Die anderen fünf laufen noch nicht. Verstehe das als richtungsweisenden Befund, nicht als das Ergebnis über den ganzen Korpus.

Vorregistrierung ist hier entscheidend: Bevor überhaupt eine Zusammenfassung entsteht, halten wir für jedes Dokument die Liste der Schlüsselfakten, jede gehedgte Aussage, jede zugeordnete Aussage und jede Zahl mit ihrer Bezugsgröße fest. Eine „kritische Auslassung“ wird gegen dieses eingefrorene Blatt definiert – nicht nachträglich erfunden, nachdem man den Output gesehen hat. Dann zwei Arme pro Dokument: Baseline (schlichtes „fass das zusammen“) und Skill (gleicher Prompt, SKILL.md vorher geladen), gleiches Modell, gleiche Ziellänge, jeder Output atomisiert und aussageweise geprüft.

Metrik (Summen über 6 Dokumente)	Baseline	Skill
Hinzugefügte Aussagen	0	0
Verzerrte Zahlen	0	0
Hedge-Verluste (Gewissheits-Aufwertungen)	1	0
Zuordnungsverluste	0	0
Kritische Auslassungen	10	2
Markierte Widersprüche (von 3 platzierten)	0	3

Der Paradefall: ein Memo, das sich selbst widerspricht

D11 ist ein Projektstatus-Memo mit drei zwischen Executive Summary und Hauptteil platzierten Widersprüchen: ein Budget von 2,4 Mio. € vs. 2,9 Mio. €, zwei verschiedene Übergangstermine und 6 vs. 8 Ingenieure. Das ist genau der Fehlermodus, für den das Skill gebaut wurde.

Die Baseline löste alle drei still auf. Sie nannte ein Budget, ein Übergangsdatum, eine Personalzahl – jeweils als feststehende Tatsache, ohne jemals zu signalisieren, dass sich das Memo selbst widerspricht. Ein Leser dieser Zusammenfassung hat keine Möglichkeit zu wissen, dass die Quelle uneins ist. (Sie hat zufällig die intern konsistenten Zahlen gewählt – 2,9 Mio. € passt zur „58% ausgegeben“-Rechnung –, aber das ist Zufall, keine Offenlegung.)

Das Skill markierte alle drei, beide Werte genannt, keiner gemittelt, in einem sichtbaren Flagged-Block. Das ist das klarste Ergebnis im ganzen Benchmark, und der Grund ist wichtig: Widerspruchsmarkierung ist ein Verhalten, kein Wortbudget. Eine 160-Wörter-Zusammenfassung hätte alle drei Konflikte in je einer Zeile markieren können. Das Skill bewahrte außerdem acht selbstbegrenzende Vorbehalte, die die Baseline fallen ließ, während es die Kernaussage behielt – das „Nullresultat sollte nicht als Sicherheitsnachweis interpretiert werden“ eines Forschungsabstracts, der Alarm-Rausch-Kompromiss eines Postmortems – die Regel-6-Fälle „den umkehrenden Vorbehalt behalten“.

Wo es unentschieden steht, und der Störfaktor, den wir nicht verstecken

Unsere Methodik verlangt, die Verluste neben die Gewinne zu stellen, und dieser Lauf hat echte.

Bei drei Metriken erzielten beide Arme null. Hinzugefügte Aussagen, verzerrte Zahlen, Zuordnungsverluste – 0:0 unentschieden. Bei diesen Ziellängen ist das Basismodell schon diszipliniert genug, um nichts zu erfinden, keine Zahlen zu verhunzen und keine Sprecher zu entfernen. Das Skill konnte dort nicht gewinnen, weil es nichts zu gewinnen gab. Der eine Baseline-Hedge-Verlust („moderat stabil“ → „stabil“) ist grenzwertig und könnte vernünftigerweise als 0 gewertet werden, was auch diese Metrik ausgleichen würde. Und bei D07 – dem Dokument, das gezielt Modalität stresst – behielt die Baseline den zentralen „Ziel, keine Zusage“-Vorbehalt von sich aus. Der erwartete Vorteil des Skills zeigte sich ausgerechnet bei dem Dokument nicht, das genau dafür gebaut wurde.

Und die Auslassungs-Gewinne reiten teilweise auf mehr Output. Das ist der strukturelle, nicht kosmetische Störfaktor: Die Outputs des Skills waren rund 1,7-mal länger als die der Baseline (mittlere Kompression 2,6× vs. 4,5×), und es überschritt bei allen sechs Dokumenten das Wortziel. Der Großteil der Überschreitung ist der Flagged-plus-Omitted-Apparat, der an einen nahezu zielgerechten Zusammenfassungstext angehängt wird – aber bei D04 lief auch der Text selbst beim Skill lang, ausdrücklich mit Verweis auf Treue, und wir haben das als Längenverfehlung gewertet statt es nachträglich zu entschuldigen. Die ehrliche Lesart: Ein Teil der „8 weniger Auslassungen“ ist einfach mehr Wörter. Wo es auf gleicher Grundlage gewinnt, ist (a) die Widerspruchsoffenlegung, unabhängig von der Länge, und (b) D09, wo die Baseline längengerecht blieb und trotzdem drei Vorbehalte fallen ließ, die das Skill behielt.

Volle Läufe über alle 11 Dokumente sind nötig, bevor man verallgemeinern kann. Diese Teilmenge ist dem Skill günstig, aber kein sauberer Durchmarsch.

Installation

git clone https://github.com/Skillproofdev/summary-discipline ~/.claude/skills/summary-discipline

Claude Code neu starten. Es greift bei „summarize“, „tl;dr“, „key points of“, Meeting-Digests und der Kompression langer Dokumente – und hält sich raus bei kreativem Umschreiben, Übersetzung und Tonalitätsänderungen. Es reiht sich in unsere Discipline-Serie ein: token-discipline senkt, was eine Aufgabe kostet, research-discipline senkt, was Recherche falsch macht, und dieses hier senkt, was eine Zusammenfassung still verändert.

FAQ

Macht das Zusammenfassungen länger? Bei dieser Teilmenge ja – rund 1,7-mal länger als die Baseline, meist der Flagged-Block. Das ist der oben genannte Störfaktor, kein Feature. Der eine längenunabhängige Gewinn ist die Widerspruchsmarkierung: Das Skill kann einen Konflikt in einer einzigen Zeile offenlegen, ohne ein größeres Wortbudget zu brauchen.

Wie wird eine „kritische Auslassung“ definiert, ohne dass sie nachträglich erfunden wird? Vorregistrierung. Bevor eine Zusammenfassung existiert, frieren wir für jedes Dokument die Liste der Schlüsselfakten ein – Entscheidungen, Kernzahlen mit Bezugsgröße, umkehrende Vorbehalte. Die Prüfung erfolgt gegen dieses Blatt, sodass „du hast eine kritische Tatsache ausgelassen“ nicht zugunsten eines Arms erfunden werden kann.

Ersetzt das einen Menschen, der die Quelle liest? Nein. Es verhindert stille Verzerrung und deckt Widersprüche auf, die die Baseline unterschlagen hat, aber es ist erst an 6 von 11 Dokumenten benchmarked und liegt bei drei Metriken gleichauf mit der Baseline. Wenn eine Entscheidung teuer wird, falls sie falsch ist, machen die Zitatanker des Skills das Prüfen der tragenden Aussagen zur Sache von Sekunden – nutze sie.

Warum nur sechs Dokumente? Weil jede Aussage in jedem Output von Hand gegen ein eingefrorenes Ground-Truth-Blatt geprüft wurde. Uns ist ein kleiner Benchmark mit echter Ground Truth lieber als ein großer, von einem ungeprüften Richter bewertet. Die restlichen fünf Dokumente und die vollständigen Werte pro Dokument stehen im Repo-Verdict.