Claude-Recherche-Halluzinationen: 59% weniger dank Skill

Stell Claude eine Recherchefrage und du bekommst etwas Gefährliches: eine selbstsichere, gut geschriebene Antwort. Ob sie stimmt, ist eine andere Sache — und das siehst du ihr beim Lesen nicht an. Wir betreiben ein Verzeichnis, das Claude-Skills hauptberuflich testet, und wollten das einmal sauber messen: Wie viele Fakten in einer typischen recherchierten Antwort sind tatsächlich falsch — und wie viele überleben, wenn man das Modell zwingt, Verifikationsregeln zu befolgen?

Das Ergebnis ist research-discipline, unser dritter Skill, und der erste in seiner Nische mit einem gemessenen Vorher-Nachher-Benchmark: 13,0% der Baseline-Behauptungen waren falsch oder veraltet, mit dem Skill 5,4%. Eine Reduktion um 59%. Kostenlos und MIT-lizenziert: github.com/Skillproofdev/research-discipline.

Die Lücke: Pipelines verifizieren nicht, Verifizierer recherchieren nicht

Bevor wir eine Zeile geschrieben haben, haben wir 15 veröffentlichte Recherche- und Faktencheck-Skills durchforstet, dazu unseren eigenen Index von 16.682 erfassten Skills. Die Landschaft teilt sich klar in zwei Lager, die sich nie überschneiden.

Deep-Research-Pipelines — die populären, bis zu 1.600 Stars — orchestrieren parallele Suchen und erzeugen lange Reports. Liest man ihre Regelwerke, findet man Workflow-Ergonomie, keine Erkenntnistheorie: keine Quellenangabe pro Behauptung, keine Regeln zur Quellenqualität, keine Pflicht, irgendetwas zweimal zu prüfen. Faktencheck-Auditoren — meist Tools aus Journalismus und Wissenschaft, zwei Größenordnungen weniger populär — erzwingen zwar Urteile und Zitate, aber nur im Nachhinein, an einem fertigen Entwurf, den ihnen jemand vorlegt.

Das Mittelding liefert niemand: eine schlanke Disziplin, die die Behauptungen des Agenten steuert, während er recherchiert — egal ob die Antwort drei Absätze oder dreißig hat. Und auffällig: Niemand aus beiden Lagern veröffentlicht Messwerte. Der lautstärkste Konkurrent behauptet, er „schlage OpenAI, Gemini und Claude Desktop", ohne eine einzige Zahl dazu; ein anderer nennt „95%+ Genauigkeit" als Ziel, das nie getestet wurde. Die Nische läuft auf Bauchgefühl.

Acht Regeln, drei davon neu

Der Skill besteht aus ~1.500 Tokens durchsetzbarer Regeln (vollständige SKILL.md). Die vertrauten Teile: Jede faktische Behauptung trägt eine Inline-Quellenangabe, die zu einer datierten Quellenliste führt; unbelegte Behauptungen bekommen ein explizites [unverified]-Flag statt selbstsicherer Formulierung; Quellen sind gestuft, Content-Farmen fallen von vornherein raus. Die Teile, die sonst niemand durchsetzt:

1. Erinnerung ist eine Hypothese. Bei allem Volatilen — Versionen, Preisen, „aktuell" irgendetwas — ist der Trainingsdaten-Abruf eine Spur zum Prüfen, niemals ein Beleg. Erst Datum holen, dann suchen, dann behaupten.
2. Zwei unabhängige Quellen für tragende Fakten. Unabhängigkeit ist definiert: Zwei Artikel, die dieselbe Pressemitteilung umschreiben, zählen als eine Quelle. Die einzige frühere Umsetzung dieser Prüfung, die wir irgendwo gefunden haben, war ein Gist mit einem Stern.
3. Zahlen werden zitiert, nicht erfunden. Wortgetreuer Wert, Einheit und Datum; widersprechen sich Quellen, wird die Spannbreite mit beiden Zitaten berichtet — nie ein stiller Kompromisswert.

Dazu ein adversarialer Durchgang mit einer Forcing-Function, entlehnt aus dem besten Prior Art, das wir gefunden haben: einmal nach dem Gegenteil der eigenen Schlussfolgerung suchen, mindestens zwei Schwachstellen im eigenen Entwurf finden oder die tragendsten Behauptungen erneut prüfen.

Der Benchmark: jede Behauptung an Live-Quellen gemessen

Sechs Rechercheaufgaben mit objektiv überprüfbaren Antworten, festgelegt vor jedem Durchlauf: eine Versionsabfrage, ein Preisvergleich, eine Faktensammlung, eine GitHub-Repo-Abfrage und zwei Fallen. Jede Aufgabe lief zweimal — ein Claude-Sonnet-Agent ohne Vorgaben, einer, der zuvor den Skill gelesen hat, beide mit vollem Webzugriff. Danach ermittelten unabhängige Verifizierer-Agenten anhand von Live-Primärquellen die Grundwahrheit und beurteilten alle 110 faktischen Behauptungen aus den 12 Antworten, eine nach der anderen.

Frage	Baseline falsch/veraltet	Mit Skill
Claude-Modellkatalog (Veraltungsfalle)	3	0
Bun Produktionsreife (Real-Event-Falle)	1	1
Deno-Faktentabelle	1	0
GitHub-Repo-Fakten	1	0
Astro-Release-Historie	1	1
E-Mail-Preisvergleich	0	1
Gesamt	7 von 54 (13,0%)	3 von 56 (5,4%)

Bei den zwei Fallen hat sich der Skill wirklich bewährt.

Die Veraltungsfalle. Nach dem aktuellen Claude-Modellkatalog gefragt, antwortete der Baseline-Agent aus einer gecachten Referenz, ohne eine einzige Live-Prüfung — drei Angaben zum Kontextfenster kamen falsch heraus. Regel 1 des Skill-Agenten erzwang einen Abruf der Live-Dokumentationsseite; das Urteil des Verifizierers: „stimmt mit der Live-Dokumentation in jeder einzelnen Angabe überein." Gleiches Modell, gleiche Frage, gleiche verfügbaren Tools. Der einzige Unterschied war eine Regel, die besagt: Erinnerung zählt nicht als Beleg.

Die Real-Event-Falle. Auf die Frage, ob Bun 2026 produktionsreif ist, stieß der Baseline-Agent auf die Tatsache, dass Anthropic Bun im Dezember 2025 übernommen hat — und tat es als unbestätigtes SEO-Gerücht ab. Seine Quellen waren Drittanbieter-Blogs; er öffnete nie bun.com oder anthropic.com, wo beide Primärankündigungen liegen. Der Skill-Agent zitierte beide, und der Verifizierer bestätigte sie live. Lies das noch einmal: Das einzige Unsicherheits-Flag des Baseline-Agenten im gesamten Benchmark zielte auf ein wahres Ereignis. Skepsis ohne Verifikation ist nur eine andere Art, falsch zu liegen.

Wo der Skill verloren hat — trotzdem veröffentlicht

Unsere Methodik verlangt, die Niederlagen neben die Erfolge zu stellen, und davon gab es zwei.

Bei der Frage zu E-Mail-Preisen schlug die Baseline den Skill tatsächlich: Sie bepreiste alle drei Postmark-Stufen und fand die günstigste, während der Skill-Agent nur eine Stufe bepreiste, sie den „günstigsten Weg" nannte und dabei um 2,50 $/Monat danebenlag. Zitierdisziplin übernimmt nicht deine Rechenarbeit — unvollständige Erfassung ist ein Rechercheversagen, das die Regeln nicht abfangen. Und bei der Bun-Frage übernahm der Skill-Agent eine falsche Versionsnummer eines Tech-Portals für ein reales Release, statt sie mit den Release Notes des Herstellers abzugleichen — eine Tier-2-Quelle, der eine Stufe zu weit vertraut wurde.

Auch ehrlich: Die Disziplin kostet etwa +10% Tokens — die Live-Abrufe und der adversariale Durchgang sind nicht umsonst. Und über alle zwölf Antworten hinweg wurden die ~8 proaktiven [unverified]/[single-source]-Flags des Skills durchweg als angemessen beurteilt — ein Ergebnis für sich: Der Skill reduziert nicht nur falsche Behauptungen, er sagt dir auch, welche der verbliebenen du noch mal prüfen solltest.

Installation

git clone https://github.com/Skillproofdev/research-discipline ~/.claude/skills/research-discipline

Claude Code neu starten. Der Skill greift bei Rechercheaufgaben, „was ist der aktuelle Stand", Vergleichen und Faktencheck-Anfragen — und hält sich bei Coding, Meinungen und kreativer Arbeit raus. Er reiht sich neben token-discipline in unsere Disziplin-Serie ein: Der eine senkt, was Recherche kostet, dieser hier senkt, was dabei falsch läuft.

FAQ

Ersetzt das Claudes eingebaute Deep Research? Nein — es ergänzt sie. Die eingebauten Recherchefunktionen sind Report-Generatoren; das hier ist eine Disziplin-Schicht, die für jede rechercheförmige Antwort gilt, auch kurze, und die nachvollziehbar ist: Alle acht Regeln passen auf einen Bildschirm.

Verweigert Claude dann nicht einfach die Antwort, wenn es nichts verifizieren kann? Das verbietet der Skill ausdrücklich: Dünne Beleglage bedeutet Antworten mit Flags, nicht Achselzucken. „Das konnte ich nicht bestätigen", an eine konkrete Behauptung geheftet, ist nützlicher als falsche Sicherheit oder Verweigerung.

Warum nur sechs Fragen? Weil jede Behauptung von Hand gegen Live-Primärquellen verifiziert wurde — 110 Behauptungen aus 12 Antworten, jede mit überprüfbarem Urteil. Uns ist ein kleiner Benchmark mit echter Grundwahrheit lieber als ein großer, bewertet von einem ungeprüften Richter. Der Fragenkatalog und die Urteile pro Behauptung stehen im Repo-README.

Sind 5,4% immer noch zu hoch? Ja. Der Skill senkt falsche Behauptungen um mehr als die Hälfte; er macht Claude nicht unfehlbar, und die zwei verbliebenen Fehler in unserem eigenen Benchmark sind oben dokumentiert. Wenn eine Entscheidung im Fehlerfall teuer wird, verifiziere die tragenden Fakten selbst — die Zitate des Skills machen daraus Minuten statt Stunden.