Des résumés Claude qui ne réécrivent pas les faits en douce

Demandez à Claude de résumer un document et vous obtenez un digest propre et sûr de lui. Ce que vous ne voyez pas — parce que vous n'avez pas lu la source — c'est tout ce que le résumé a changé en douce en cours de route : un « peut réduire le risque » devenu « réduit le risque », un 2,4 M€ devenu 2,9 M€, deux dates contradictoires réduites à une seule. Un résumé est une compression avec perte des affirmations de quelqu'un d'autre, et la seule perte légitime est l'omission. Tout le reste est une distorsion que le lecteur n'a aucun moyen de repérer.

Alors nous l'avons mesuré. Le résultat s'appelle summary-discipline, notre skill le plus récent : neuf règles de fidélité applicables, testées avant/après sur une feuille de vérité terrain figée. Il est gratuit et sous licence MIT : github.com/Skillproofdev/summary-discipline.

Le vide du créneau : 174 outils de résumé, zéro règle de fidélité

Avant d'écrire une règle, nous avons fouillé notre index de 16 682 skills découverts. 460 mentionnent le résumé ; 174 sont de véritables outils de résumé. Chacun optimise la même chose : structure et concision — sections, nombre de puces, actions à mener, ton. Zéro énoncent une seule règle vérifiable sur la relation entre le résumé et sa source : rien ajouté, chiffres verbatim, nuances intactes, attribution préservée.

C'est la partie étrange, parce que le monde académique mesure exactement ces échecs depuis dix ans. FactCC, FRANK, SummaC, AggreFact, FaithBench — toute une littérature de benchmarks de fidélité de résumé avec des catégories d'erreurs nommées. Aucun skill publié n'en importe rien. summary-discipline, c'est ce transfert manquant : les catégories d'erreurs des benchmarks d'hallucination transformées en règles applicables au moment de la génération, vérifiables ligne par ligne.

Neuf règles, chacune auditable contre la source

Le SKILL.md complet compte neuf règles ; les plus déterminantes :

1. Aucune affirmation sans phrase source. Si vous ne pouvez pas pointer le passage qui autorise une phrase, elle n'entre pas dans le résumé. Le contexte réellement nécessaire est marqué [context, not in source].
2. Les chiffres sont copiés, jamais recalculés. Valeur, unité et référent verbatim — aucun arrondi, aucune moyenne, aucun calcul silencieux. « 4,2 M$ de revenu au T3, en hausse de 12 % sur un an », jamais « environ 4 M$ ».
3. Préservez la nuance. « Peut réduire le risque » ne devient jamais « réduit le risque » ; « confirmé » ne s'adoucit jamais en « pourrait ». La modalité est le dernier mot que vous avez le droit de couper.
4. Préservez l'attribution. « Le PDG affirme que les marges se sont améliorées » ≠ « les marges se sont améliorées ». Ne jamais fusionner deux voix en un consensus que personne n'a exprimé.
5. Signalez les contradictions ; ne les résolvez jamais en silence. Deux chiffres qui se contredisent restent deux chiffres, dans un bloc Signalé bien visible. Le résumé ne tranche pas et ne fait pas de moyenne.

Plus un contrat de compression déclaré (~4 800 mots → ~200 mots · ordre d'importance), des règles d'omission qui protègent les décisions, échéances, risques et nuances inversantes à toute longueur, des ancres de citation sur les affirmations porteuses, et un auto-audit affirmation par affirmation avant livraison.

Le benchmark : chaque affirmation auditée contre une feuille figée

Voici le périmètre honnête, énoncé d'emblée. Le corpus compte 11 documents, un par catégorie de stress. Ces chiffres viennent d'un sous-ensemble de 6 documents pré-enregistré — D02 essai cardiotide, D04 revue trimestrielle, D05 post-mortem d'incident, D07 transcription de lancement, D09 résumés de recherche sur le sommeil, D11 mémo à contradiction implantée — choisi par le coordinateur avant toute exécution, un par catégorie. Les cinq autres n'ont pas encore tourné. Considérez ceci comme une lecture directionnelle, pas comme le résultat sur le corpus complet.

La pré-enregistrement compte ici : avant qu'un résumé ne soit généré, nous consignons pour chaque document sa liste de faits clés, chaque affirmation nuancée, chaque affirmation attribuée, et chaque chiffre avec son référent. Une « omission critique » est définie par rapport à cette feuille figée — pas inventée après avoir vu la sortie. Puis deux bras par document : base (« résume ceci » tout simple) et skill (même prompt, SKILL.md chargé d'abord), même modèle, même longueur cible, chaque sortie atomisée et auditée affirmation par affirmation.

Métrique (totaux sur 6 documents)	Base	Skill
Affirmations ajoutées	0	0
Chiffres déformés	0	0
Nuances perdues (surenchère de certitude)	1	0
Pertes d'attribution	0	0
Omissions critiques	10	2
Contradictions signalées (sur 3 implantées)	0	3

Le cas vedette : un mémo qui se contredit lui-même

D11 est un mémo de statut de projet avec trois contradictions implantées entre son résumé exécutif et son corps : un budget de 2,4 M$ contre 2,9 M$, deux dates de bascule différentes, et 6 contre 8 ingénieurs. C'est exactement le mode d'échec pour lequel ce skill a été construit.

La base a résolu les trois en silence. Elle a énoncé un seul budget, une seule date de bascule, un seul effectif — chacun comme un fait acquis, sans jamais signaler que le mémo se contredisait. Un lecteur de ce résumé n'a aucun moyen de savoir que la source se contredit. (Elle a retenu par hasard les chiffres internement cohérents — 2,9 M$ correspond au calcul « 58 % dépensé » — mais c'est de la chance, pas de la transparence.)

Le skill a signalé les trois, les deux valeurs présentées, aucune moyenne, dans un bloc Signalé bien visible. C'est le résultat le plus net de tout le benchmark, et la raison compte : signaler une contradiction est un comportement, pas un budget de mots. Un résumé de 160 mots aurait pu signaler les trois conflits en une ligne chacun. Le skill a aussi préservé huit nuances auto-limitantes que la base a laissées tomber tout en gardant le titre — le « un résultat nul ne doit pas être interprété comme une preuve d'innocuité » d'un résumé de recherche, l'arbitrage bruit d'alerte d'un post-mortem — les cas de la règle 6, « garder la nuance inversante ».

Là où c'est match nul, et le facteur confondant que nous ne cachons pas

Notre méthodologie exige que les pertes soient publiées à côté des gains, et cette exécution en a de réelles.

Sur trois métriques, les deux bras sont à zéro. Affirmations ajoutées, chiffres déformés, pertes d'attribution — égalité à 0/0. À ces longueurs cibles, le modèle de base est déjà discipliné : il n'invente pas de faits, ne massacre pas de chiffres, ne dépouille pas les voix. Le skill n'a pas fait mieux là où il n'y avait rien à battre. La seule nuance perdue de la base (« modérément stable » → « stable ») est limite et pourrait raisonnablement être notée zéro, ce qui égaliserait aussi cette métrique. Et sur D09 — le document construit pour stresser la modalité — la base a gardé d'elle-même la nuance phare « objectif, pas un engagement ». L'avantage phare du skill ne s'est pas matérialisé sur le document conçu pour le tester.

Et les gains d'omission reposent en partie sur une sortie plus longue. C'est le facteur confondant, et il est structurel, pas cosmétique : les sorties du skill étaient environ 1,7 fois plus longues que celles de la base (compression moyenne 2,6× contre 4,5×), et il a dépassé la cible de mots sur les six documents. La majeure partie du dépassement vient de l'appareil Signalé + Omis ajouté après un corps de résumé proche de la cible — mais sur D04, le skill a aussi laissé filer le corps lui-même en citant explicitement la fidélité, et nous avons noté ça comme un raté de longueur plutôt que de l'excuser après coup. La lecture honnête : une partie des « 8 omissions en moins » vient du skill qui dépense plus de mots. Là où il gagne à armes égales, c'est (a) la divulgation des contradictions, indépendante de la longueur, et (b) D09, où la base était dans la longueur cible mais a quand même laissé tomber trois nuances que le skill a gardées.

Les exécutions complètes sur les 11 documents sont nécessaires avant de généraliser. Ce sous-ensemble est favorable au skill mais ce n'est pas un balayage total.

Installation

git clone https://github.com/Skillproofdev/summary-discipline ~/.claude/skills/summary-discipline

Redémarrez Claude Code. Il se déclenche sur « summarize », « tl;dr », « key points of », les comptes rendus de réunion et la compression de documents longs — et reste en retrait pour la réécriture créative, la traduction et les changements de ton. Il rejoint notre série discipline : token-discipline réduit ce qu'une tâche coûte, research-discipline réduit ce qu'une recherche se trompe, et celui-ci réduit ce qu'un résumé change en douce.

FAQ

Est-ce que ça rallonge les résumés ? Sur ce sous-ensemble, oui — environ 1,7 fois plus long que la base, surtout à cause du bloc Signalé. C'est le facteur confondant que nous signalons plus haut, pas un atout. Le seul gain indépendant de la longueur est le signalement de contradictions : le skill peut faire apparaître un conflit en une seule ligne sans dépenser un budget de mots plus large.

Comment une « omission critique » est-elle définie pour ne pas être décidée après coup ? Par le pré-enregistrement. Avant qu'un résumé n'existe, nous figeons la liste des faits clés de chaque document — décisions, chiffres phares avec référents, nuances inversantes. L'audit se fait contre cette feuille, donc « vous avez laissé tomber un fait critique » ne peut pas être inventé pour avantager l'un ou l'autre bras.

Est-ce que ça remplace la lecture de la source par un humain ? Non. Ça coupe la distorsion silencieuse et fait remonter les contradictions que la base enterrait, mais c'est testé sur 6 des 11 documents et fait match nul avec la base sur trois métriques. Si une décision coûte cher à mal prendre, les ancres de citation du skill rendent la vérification des affirmations porteuses affaire de quelques secondes — utilisez-les.

Pourquoi seulement six documents ? Parce que chaque affirmation de chaque sortie a été auditée à la main contre une feuille de vérité terrain figée. Nous préférons un petit benchmark à la vérité terrain réelle plutôt qu'un grand noté par un juge non vérifié. Les cinq documents restants, et les scores complets par document, sont publiés dans le verdict du dépôt.