3 gescheiterte Versuche, bevor der Humanizer gewann

3 gescheiterte Versuche, bevor der Humanizer gewann

Die meisten Humanizer-Tools sind eine ungemessene Musterliste. Das größte Tool am Markt liefert 33 Muster, 28,6k Stars und null Zahlen – keine Detektor-Scores, kein Bedeutungs-Check, nur Englisch. Die bezahlte SaaS-Fraktion veröffentlicht Zahlen, aber die falschen: behauptete 99%-Umgehungsraten, die unabhängige Tests bei ~66% messen, erreicht durch Paraphrasierer, die deine Fakten unterwegs verhunzen.

Wir bauen beruflich getestete Claude-Skills, also wollten wir einen Humanizer bauen, den wir wirklich messen können. Und das Messen hätte ihn fast umgebracht. Wir haben drei SKILL.md-Versionen veröffentlicht, die einen blinden Menschlichkeits-Test gegen den rohen, unbearbeiteten KI-Text verloren haben. Die vierte hat gewonnen. Dieser Beitrag zeigt den ganzen Bogen – die drei Niederlagen inklusive –, denn die Niederlagen sind der Grund, warum du dem Sieg trauen kannst.

Die Messlatte, die wir vor der ersten Zeile festgelegt haben

Das Setup stand vorab fest. Zwölf KI-generierte Texte über verschiedene Genres, gebaut, um unterschiedliche Fehlermodi zu stressen: Blog-Einleitungen, Produkttexte, Kunden-E-Mails, faktendichte technische Erklärungen, ein formelles Memo (Register-Stress), eine zahlenlastige Ergebniszusammenfassung, ein nicht-englischer Text. Jeder wird zweimal umgeschrieben – einmal von einem Baseline-Claude-Agenten, dem schlicht gesagt wurde „schreib das so um, dass es nicht nach KI klingt, behalte die Bedeutung“, und einmal von einem identischen Agenten, der vorher unsere SKILL.md liest.

Drei vorregistrierte Metriken:

  1. Eine skriptgesteuerte, reproduzierbare Zählung mechanischer KI-Tells (von 103 im Korpus).
  2. Ein aussageweiser Bedeutungsaudit gegen Ground-Truth-Inventare, geschrieben vor jeder Umschreibung (130 Aussagen insgesamt).
  3. Eine verblindete A/B-Präferenz zur Menschlichkeit: Welche Umschreibung liest sich menschlicher?

Die Ship-Messlatte war unmissverständlich: Das Skill muss die blinde Präferenz gegen die naive Baseline gewinnen oder klar unentschieden spielen. Ein Humanizer, dessen unbearbeitete Version ein blinder Leser vorzieht, hat keinen Daseinsgrund.

Ein ehrlicher Vorbehalt vorab, denn er prägt alles Folgende. Die Detektor-APIs, die wir nutzen wollten (GPTZero, Sapling, ZeroGPT), waren beim Testlauf alle key- oder zahlungsgesperrt – per curl verifiziert und protokolliert. „KI-Anmutung“ ist hier also ein verblindeter, In-Context-LLM-Richter, kein Detektor-Score, und wir kennzeichnen das überall so. Die Tell-Zählung und der Aussageaudit sind die objektiven, reproduzierbaren Zahlen.

v1: übersteuert in Konzern-Kauderwelsch

Die erste Version schrieb aggressiv um. Tells gegen reicheres Vokabular tauschen, mit freier Hand umstrukturieren. Das Ergebnis las sich schlechter.

„Leverage“ gegen ein grandioseres Synonym zu tauschen entfernt keinen Tell – es bläst den Text nur neu auf. v1 hat die offensichtlichen Wörter abgeschliffen und durch das Register einer Pressemitteilung ersetzt. Schlimmer noch: Das aggressive Umschreiben ließ die Bedeutung abdriften – es strich zwei vorregistrierte Aussagen (einen zielgruppen-rahmenden Satz im Remote-Work-Blog, ein Wort aus einem Führungs-Tripel im russischen Text) und wurde konzern-steif, wo die Quelle warm war.

Blinde Präferenz: Base 8, v1 4. Der Richter entschied sich immer wieder für die Baseline, weil sie eine leichte menschliche Rahmung behielt, die v1 plattgewalzt hatte. Erste Version, erste Niederlage.

v2 und v3: untersteuert, Tells blieben stehen

Die v1-Diagnose lag auf der Hand: zu viel umgeschrieben. Also sind wir in die andere Richtung ausgeschlagen – chirurgische Minimal-Änderungen, die Lesbarkeit und Bedeutung schützen. Das reparierte die Fakten perfekt und verlor noch deutlicher.

v2 traf die Bedeutungsbewahrung exakt: 130 von 130 Aussagen intakt, null verändert, gestrichen oder hinzugefügt. Aber Minimal-Editing untersteuert. Es ließ „cornerstone“, „paradigm shift“, „I hope this email finds you well“, „personal health command center“ auf der Seite stehen. Dreizehn verbliebene Tells gegen vier bei der Baseline. Der blinde Richter markierte genau diese Formulierungen und bewertete v2 deutlich maschineller.

Blinde Präferenz: Base 12, v2 0. Jeder einzelne Text.

v3 versuchte, den Unterschied zu splitten – eine Tell-zu-schlichtes-Wort-Ersetzungstabelle plus ein Null-Toleranz-Re-Scan-Gate: jeden Tell entfernen, immer schlichter ersetzen, nie eleganter. Das drückte die verbliebenen Tells von 13 auf 12 und änderte nichts, was zählte.

Blinde Präferenz: Base 12, v3 0. Wieder jeder einzelne Text.

Die Einsicht nach drei Niederlagen: es ging nie um Vokabular

Drei Versionen, null blinde Präferenzsiege – kumuliert 4-0-28 inklusive v1, und 0-0-24 über die zwei chirurgischen Versuche. Verlierst du so konsequent, liegt das Problem nicht an einem falsch eingestellten Regler. Es ist der Rahmen.

Hier ist, was die Daten geschrien haben. Die Baseline gewinnt, weil sie umstrukturiert in eine menschliche Stimme: Sie variiert den Rhythmus, steigt mitten im Thema ein, lässt das werbliche Gerüst weg. Jede unserer Skill-Versionen blieb am Skelett der KI-Quelle festgeschweißt – der Themensatz-Einstieg, die einheitliche Absatzform, die Dreier-Aufzählung, die Werbe-Rahmung. Wir haben Vokabular auf einer Struktur poliert, die „Maschine“ verkündete, bevor auch nur ein Wort gelesen war.

Das ist die Kernspannung, dreifach demonstriert: unser Alleinstellungsmerkmal – die Bedeutung einfrieren – ist genau das, was das Skill so eng an das Original klammern ließ, dass es einen freien Umschreiber nie an Menschlichkeit übertreffen konnte. Faktentreue und Menschlichkeit zogen gegeneinander, und die strukturelle Treue verlor den Leser jedes Mal.

KI-Text verrät sich durch seine Form, nicht seine Wortliste. „Delve“ gegen „look at“ zu tauschen lässt das Skelett stehen, und der Leser spürt die Maschine trotzdem darunter.

v4: Aussagen einfrieren, Struktur neu bauen

Die Lösung war eine Methoden-Umkehrung, kein weiterer Feinschliff-Durchgang. Aufhören, die Struktur zu schützen. Nur den Aussagen-Satz schützen – jede Tatsache, Zahl, jeden Namen, jedes Datum, Zitat und jeden Vorbehalt, plus Richtung und Stärke jeder Aussage – und alles andere frei neu bauen. Umsortieren. Sätze verschmelzen. Neue Einstiege schreiben. Gerüst streichen. Das tun, was ein scharfer Mensch tut: den Text lesen, verstehen, was er behauptet, und es dann in eigener Struktur noch einmal sagen.

Das offensichtliche Risiko: freies Umstrukturieren ist der klassische Weg, Fakten abdriften zu lassen – also lief der Aussageaudit für v4 extra streng, und der verpflichtende Schlussdurchgang geht das Original Aussage für Aussage gegen die Umschreibung durch und stellt jede Abweichung wieder her, selbst auf Kosten einer glatteren Zeile.

Es hat funktioniert. v4 ist die erste Version, die die Baseline schlägt: blinde Präferenz 8-4. KI-Anmutung praktisch gleichauf (26 vs. 27), und der niedrigste Tell-Count aller Arme – 2. Die Begründungen des Richters für die Siege waren durchweg strukturell: kalte Einstiege, die mitten im Thema beginnen (die Ergebniszusammenfassung führt jetzt mit der Umsatzzahl wie eine echte Agenturmeldung), listige Gerüste zu Prosa verschmolzen, Register gestrafft, aber im Genre gehalten (das Memo bleibt formell, die E-Mail bleibt professionell).

Und die Fakten hielten. 129 von 130 Aussagen intakt – 99,2%, null verändert, null hinzugefügt, null Vorbehalte verloren. Jede Zahl, jeder Name, jedes Datum, jeder Preis und das eine wörtliche CEO-Zitat überlebten. Freies Umstrukturieren hat die Nutzlast nicht zerstört.

Die ehrliche 5-Wege-Tabelle

Jeder Arm, jede Zahl, negative Ergebnisse inklusive:

Metrik Base v1 v2 v3 v4 (ausgeliefert)
Verbliebene mechanische Tells (von 103) 4 4 13 12 2
KI-Anmutung, Median¹ (niedriger = menschlicher) 27 32,5 46,5 45 26
Intakte Aussagen (von 130) 127 (97,7%) 127 (97,7%) 130 (100%) 130 (100%) 129 (99,2%)
verändert / gestrichen / hinzugefügt 2 / 1 / 0 1 / 2 / 0 0 / 0 / 0 0 / 0 / 0 0 / 1 / 0
Blinde Menschlichkeitspräferenz (Skill S-U-N vs. Base) 4-0-8 0-0-12 0-0-12 8-0-4

¹ Verblindeter In-Context-LLM-Richter (0–100), gleiche Modellfamilie wie der Umschreiber – ehrlich gekennzeichnet, kein Detektor. Der Median der Baseline schwankte 27–30 zwischen Runden; das ist Richter-Varianz, offengelegt, nicht geglättet.

Der einzige v4-Fehltritt: Der OAuth-Erklärtext ließ eine Akronym-Auflösung fallen – er behielt „die PKCE-Erweiterung“ und ihren Zweck, aber nicht die volle Ausschreibung „Proof Key for Code Exchange“. Streng als eine gestrichene Aussage gezählt, aus Ehrlichkeitsgründen. Es ist eine erklärende Ausschreibung, keine Zahl, kein Name, kein Datum, kein Zitat, kein Vorbehalt, und keine Aussage ist abgedriftet. Genau das ist der Fehlermodus, den freies Umstrukturieren riskiert, er trat einmal in 130 Aussagen auf, und er ist jetzt im erneuten Lesedurchgang gepatcht („Akronym-Auflösungen bewahren“).

SKILL HOLEN

text-humanizer ist kostenlos und MIT-lizenziert. Das Repo ist das Skill – der vollständige Benchmark, alle fünf Arme, die Fehlerprotokolle und jeder Aussageaudit liegen darin.

text-humanizer auf GitHub holen

Was wir nicht behaupten

Der Sieg ist real, aber kein Kantersieg, und das Gegenteil zu behaupten würde den Sinn des Benchmarks zunichtemachen. Mehrere Texte waren nahe am Münzwurf (25 vs. 26, 26 vs. 27, 26 vs. 26). Das ist In-Context-Einzelrichter-Bewertung aus der eigenen Modellfamilie des Umschreibers – kein externer Detektor –, und der Korpus wurde vom selben Projekt verfasst. Behandle die 8-4-Präferenz und die KI-Anmutungs-Zahlen als richtungsweisend: „v4 knackt die Messlatte“, nicht „v4 dominiert“. Der Tell-Count und der Aussageaudit sind die soliden Metriken.

Wir versprechen keine Detektor-Ergebnisse. Detektoren sind sich bei 15–25% der Texte uneinig und melden bei echtem menschlichem Text False Positives. Dieses Skill baut Text in eine menschliche Stimme um; es verkauft keine Umgehungsgarantie für Detektoren, und wenn dein Kontext eine KI-Offenlegung verlangt – akademische Arbeit, Verlagsrichtlinie –, leg sie offen. Ein Humanizer ist ein Lektor, keine Verkleidung. Eine Runde mit menschlichen Bewertern oder einem echten Detektor ist die Bestätigung, die wir empfehlen, bevor jemand das 8-4-Ergebnis für final erklärt.

Warum das SkillProof vertrauenswürdig macht

Wir hätten vier Versionen bauen, die drei Niederlagen begraben und eine Seite ausliefern können, die sagt „unser Humanizer schlägt die Baseline 8-4“. Praktisch jeder Konkurrent in dieser Nische tut genau das – behauptet eine Zahl, zeigt keine der Arbeit dahinter.

Wir haben stattdessen die drei Fehlschläge veröffentlicht. Die v1-Übersteuerung, die zwei chirurgischen Niederlagen bei 0-12, die Diagnose, die Umkehrung. Du kannst alles davon lesen, die skriptgesteuerte Tell-Zählung selbst neu laufen lassen und jeden Aussageaudit im Repo prüfen. Das ist das ganze Versprechen: Wir testen Skills anderer Leute beruflich, und unsere eigenen Skills bekommen dieselbe Behandlung – gemessen, mit angehängten negativen Ergebnissen.

Es reiht sich in unsere Discipline-Serie ein: token-discipline senkt, was deine Prompts kosten, research-discipline senkt, was deine Recherche falsch macht, und dieses hier senkt, was dein Text verrät.

GRATIS STARTERPAKET

Willst du unsere bestbewerteten Skills plus die Install-Checkliste, die wir vor jedem Test durchgehen? Wir schicken dir das gratis Starterpaket per E-Mail.

Gratis Starterpaket holen

Installation

git clone https://github.com/Skillproofdev/text-humanizer ~/.claude/skills/text-humanizer

Claude Code neu starten. Es greift bei „humanize this“, „this sounds like AI / like ChatGPT“, „make it sound natural“ und KI-Erkennungssorgen – in jeder Sprache. Es hält sich raus bei komplett neu geschriebenen Inhalten, Übersetzungsjobs und Nicht-Text-Aufgaben.

FAQ

Warum die drei Fehlschläge überhaupt veröffentlichen? Weil sie der Beweis sind. Jeder kann „8-4 gegen die Baseline“ behaupten. Die drei Niederlagen zeigen, dass der Sieg kein Glück und kein zurechtgestutzter Richter war – er kam aus einer konkreten, testbaren Einsicht (Struktur schlägt Vokabular), die erst nach drei ehrlichen Niederlagen sichtbar wurde. Die Fehlschläge sind es, die die Zahl glaubwürdig machen.

Schlägt das KI-Detektoren? Das können wir nicht sagen, und wir tun nicht so. Die Detektor-APIs, die wir nutzen wollten, waren beim Testlauf alle key- oder zahlungsgesperrt, also ist unsere „KI-Anmutungs“-Zahl ein verblindeter In-Context-LLM-Richter, kein Detektor-Score. Das Skill entfernt Tells und baut Text in eine menschliche Stimme um; es verkauft keine Detektor-Umgehungsgarantie. Detektoren sind sich bei 15–25% der Texte uneinig und melden bei echtem menschlichem Text False Positives.

Verändert das Umstrukturieren, was mein Text sagt? Genau das ist die ganze Design-Beschränkung. Der Aussagen-Satz – jede Zahl, jeder Name, jedes Datum, Zitat und jeder Vorbehalt, plus Richtung und Stärke jeder Aussage – wird eingefroren, und ein verpflichtender Schlussdurchgang geht das Original Aussage für Aussage gegen die Umschreibung durch, um jede Abweichung zu korrigieren. Im Benchmark hielt freies Umstrukturieren 129 von 130 Aussagen intakt (0 verändert, 0 hinzugefügt), der einzige Fehltritt war eine nicht tragende Akronym-Auflösung, jetzt gepatcht.

Ist der 8-4-Vorsprung groß genug, um ihm zu trauen? Er überspringt unsere vorab gesetzte Messlatte – die blinde Präferenz gewinnen –, an der drei frühere Versionen scheiterten. Aber es ist ein klarer Sieg, kein Kantersieg, von einem einzelnen In-Context-Richter auf einem selbst verfassten Korpus. Behandle es als richtungsweisend und prüfe wichtige Entscheidungen selbst nach; der Tell-Count und der Aussageaudit sind die Metriken, auf die wir die stärkste Behauptung stützen würden.

★ 9.6/10 × 3

Das kostenlose Starterpaket

Die 3 Skills mit unseren besten Testergebnissen plus die Install-Checkliste — das Setup, das wir auf einen frischen Rechner packen würden. Kostenlos, per E-Mail.

Eine E-Mail mit dem Paket + ein kurzer wöchentlicher Digest mit neuen Testergebnissen. Jederzeit abbestellbar.