Gleiche Frage, ein Skill: KI-Recherche im Vergleich

Eine Stunde nach der Veröffentlichung von research-discipline haben wir das Experiment durchgeführt, das man eigentlich sehen will: kein kuratierter Benchmark, sondern eine einzige Live-Frage, zweimal gestellt, mit öffentlich nachvollziehbarer Prüfung der Antworten. Dieser Artikel ist das komplette Protokoll — was wir gefragt haben, was jeder Durchlauf getan hat und jeder Verifizierungsschritt —, damit du es selbst nachstellen kannst.

Das Setup

Die Frage. „Was sind gerade die beliebtesten Claude-Code-Skills? Nenne die Top 5 Skill-Repositories auf GitHub nach Sternen, mit aktuellen Zahlen. Wie schneidet Anthropics offizielles Repo im Vergleich zu Community-Repos ab?" — eine Frage mit einer objektiv überprüfbaren Antwort, die sich wöchentlich ändert. Genau dort verrottet KI-Recherche unbemerkt.

Die zwei Durchläufe. Identische Claude-Sonnet-Agenten, identischer Prompt, identische Tools (Websuche, Web-Fetch, Shell). Ein Unterschied: Der zweite Agent las zuerst SKILL.md aus einer Kopie von research-discipline, installiert so, wie es jeder Nutzer tun würde —

git clone https://github.com/Skillproofdev/research-discipline ~/.claude/skills/research-discipline

Das ist der gesamte Eingriff: ~1.500 Tokens an Regeln, die das Modell vor der Arbeit liest.

Der Schiedsrichter. Nachdem beide Antworten vorlagen, haben wir die Sternezahl jedes in einer der Antworten genannten Repositories abgerufen — plus die Kandidaten, die keine der beiden nannte —, direkt aus der GitHub-API, der einzigen Autorität für ihre eigenen Zahlen. Diesmal kein LLM als Richter im Loop, nur gh api repos/<owner>/<repo>.

Was dabei herauskam

Die Baseline-Antwort sieht großartig aus. Fünf Repositories, plausible Beschreibungen, Sternezahlen bis auf die Ziffer genau, eine selbstbewusste Zusammenfassung am Ende. Hätten wir nicht nachgeprüft, hätten wir sie einfach veröffentlicht.

Und sie ist auf die Art falsch, die zählt. Die echten Top 5, gegen die Live-API verifiziert, enthalten drei Repositories, die die Baseline nie zutage gefördert hat — mit 228k, 190k und 164k Sternen. Das sind keine Nischenprojekte: Jedes davon ist größer als drei der fünf Repos, die die Baseline tatsächlich genannt hat. Ihre Schlussbehauptung, „Anthropics offizielles Repo liegt nur hinter Superpowers auf Platz zwei", ist falsch — das offizielle Repo liegt auf Platz fünf. Nichts, was die Baseline geschrieben hat, war erfunden; jede genannte Zahl stimmte. Sie hat nur eine andere Frage beantwortet: „Über welche Repos schreiben Blogbeiträge?" — denn ihre sechs Tool-Aufrufe waren Websuchen, und Suchergebnisse sind ein Popularitätswettbewerb für Reichweite, nicht für Sterne.

Die Methode im Detail

Warum verändert eine Textdatei das Verhalten so stark? Weil das Problem, das sie angeht, keine Unwissenheit ist — das Baseline-Modell weiß, dass GitHub eine API hat —, sondern die Standardgewohnheit, mit dem zu antworten, was zuerst auftaucht. Der Skill macht aus guter Praxis nicht mehr „etwas, das das Modell tun könnte", sondern „etwas, das das Modell tun muss, bevor es etwas behaupten darf":

1. Regel 1 (Live-Belege) erzwang den Zeitstempel und die API-Aufrufe, statt Suchausschnitten zu vertrauen.
2. Regel 3 (unabhängige Quellen) ist der Grund für die Topic-Sweeps — ein einzelner Suchpfad reicht nicht für eine tragende „Top 5"-Behauptung.
3. Regel 5 (unbestätigt heißt: unbestätigt sagen) führte zu den zwei Markierungen statt stillschweigender Sicherheit.
4. Regel 7 (die eigene Schlussfolgerung angreifen) ist der Grund, warum er nach Repos suchte, die sein eigenes Ranking widerlegen würden — und sie fand.

Die ehrlichen Kosten, wie schon unser kontrollierter Benchmark zeigte: Der disziplinierte Durchlauf nutzte 11 Tool-Aufrufe gegenüber 6, und 64.445 Tokens gegenüber 49.988 — +29 % bei dieser Aufgabe. Verifizierung ist nicht kostenlos. Sie ist nur deutlich günstiger, als in einem Dokument, nach dem jemand handelt, selbstbewusst falschzuliegen.

Was das nicht beweist

Eine Frage ist eine Anekdote, kein Benchmark — die kontrollierte Version mit sechs Fragen und Verifizierung auf Aussagenebene (13,0 % → 5,4 % falsche Aussagen) ist der Beleg, das hier ist die Demonstration. Der Skill ist auch kein Vollständigkeits-Orakel: Im kontrollierten Durchlauf bepreiste er einmal eine Anbieter-Stufe und übersah eine günstigere. Und die oben genannten Sternezahlen stimmten am 10. Juli 2026 und werden sich verschieben — genau die Art von Vorbehalt, zu dem der Skill einen passenderweise zwingt.

FAQ

Habt ihr euch die Frage rausgepickt? Es war die erste Frage, die wir nach der Veröffentlichung des Skills gestellt haben, gewählt, weil unsere eigenen Katalogdaten sie gegenprüfen konnten. Der kontrollierte Benchmark mit sechs vorab festgelegten Fragen ist die systematische Version — und sie bestätigt es.

Würde ein klügeres Modell den Skill überflüssig machen? Die Baseline hier war bereits ein aktuelles Modell mit vollem Webzugriff. Die Lücke lag nicht an der Fähigkeit — sie lag an den Standardeinstellungen. Regeln ändern Standardeinstellungen.

Warum stimmten bei beiden Durchläufen die Sternezahlen, aber nur bei einem das Ranking? Weil Genauigkeit und Vollständigkeit unabhängig voneinander versagen können. Jede von der Baseline genannte Zahl war echt; der Fehler steckte in dem, wonach sie nie gesucht hat. Das ist der gefährlichste Fehlermodus in der KI-Recherche: In der Antwort sieht nichts falsch aus.

Was ist mit den +29 % Tokens? Kombiniere es mit token-discipline, das bei mehrstufiger Arbeit die Verschwendung pro Sitzung um etwa 20 % senkt. Disziplin bei dem, was man liest, Disziplin bei dem, was man behauptet — beide sind darauf ausgelegt, zusammenzulaufen.