Das von Karpathy inspirierte CLAUDE.md: Ein Realitätscheck für adversarielle Planungsfähigkeiten

Ein GitHub-Repository mit einer einzigen CLAUDE.md-Datei hat zum Zeitpunkt dieses Artikels über 100.000 Sterne gesammelt. Es wird oft als „Karpathy-Skill“ bezeichnet, eine Anspielung auf die Arbeit von Andrej Karpathy in den Bereichen KI und Bildung. Diese Popularität wirft eine entscheidende Frage für alle Entwickler auf, die mehr aus großen Sprachmodellen herausholen wollen: Funktioniert dieses Muster wirklich?

Bevor wir die Ergebnisse unserer Tests analysieren, sind zwei Klarstellungen unerlässlich. Erstens wurde das betreffende Repository von Forrest Chang erstellt; es ist von Karpathy inspiriert, nicht von Karpathy verfasst. Zweitens handelt es sich bei der Datei um eine CLAUDE.md, nicht um eine SKILL.md. Es ist eine Reihe von Anweisungen für einen Menschen zum Kopieren und Einfügen in eine Chat-Sitzung, keine formale Fähigkeit (Skill), die installiert werden kann, um das Modellverhalten programmatisch zu ändern.

Bei SkillProof testen wir keine Copy-Paste-Prompts. Wir testen Skills. Wir installieren sie, führen sie mit realem Code aus und messen ihre Leistung im Vergleich zum Basismodell. Um diesen Hype zu untersuchen, haben wir eine Kohorte von Skills identifiziert und getestet, die dasselbe zugrunde liegende Muster wie Changs CLAUDE.md implementieren: adversarielles Planen. Dieser Artikel präsentiert unsere Ergebnisse.

Dekonstruktion des „Grill-Me“-Musters

Die Kernidee hinter der populären CLAUDE.md ist eine Form der strukturierten Selbstkritik. Der Prompt weist das Modell an, nicht nur eine Antwort zu produzieren, sondern eine Persona – ein Gremium von Expertenkritikern – anzunehmen, um die eigene Ausgabe zu hinterfragen und zu verfeinern, bevor eine endgültige Version präsentiert wird. Der Prozess sieht typischerweise wie folgt aus:

1. Initialer Plan: Das Modell generiert einen übergeordneten Plan, um die Anfrage des Benutzers zu lösen.
2. Selbstkritik: Das Modell wird aufgefordert, den eigenen Plan zu „grillen“, um potenzielle Schwachstellen, Grenzfälle und Implementierungsrisiken zu identifizieren. Es kann Schwächen auflisten oder sich selbst klärende Fragen stellen.
3. Verfeinerte Ausgabe: Basierend auf der Kritik erstellt das Modell eine robustere, endgültige Antwort.

Diese Technik ist eine Form des adversariellen Planens. Man zwingt das Modell, als sein eigenes Red-Team zu agieren und simuliert so einen Überprüfungsprozess, der normalerweise eine zweite Person oder einen separaten Verifizierungsschritt erfordern würde. Die Hypothese lautet, dass dieser interne Dialog ein überlegteres und korrekteres Ergebnis liefert, insbesondere bei komplexen Aufgaben wie dem Systemdesign oder der Algorithmenimplementierung.

Dies ist das Muster, das wir testen wollten. Wenn Entwickler nach einer „karpathy claude skill review“ fragen, ist dies der Mechanismus, nach dem sie fragen. Führt das Erzwingen von Selbstkritik bei einem Modell zu messbar besserem Code?

CLAUDE.md vs. SKILL.md: Eine entscheidende Unterscheidung

Der Unterschied zwischen einer CLAUDE.md und einer SKILL.md ist nicht nur semantisch; er ist fundamental für die Art und Weise, wie wir die Leistung bewerten.

Eine CLAUDE.md ist ein manueller Prompt. Ihre Wirksamkeit kann stark variieren, abhängig von der Fähigkeit des Benutzers, sie anzupassen, den Besonderheiten der Eingabe und dem Zustand der Chat-Sitzung. Es ist ein Rezept, kein Werkzeug. Ein Rezept lässt sich nicht standardisiert benchmarken.

Eine SKILL.md, wie sie im SkillProof-Verzeichnis definiert und verwendet wird, ist eine kanonische, versionierte Datei, die den System-Prompt des Modells programmatisch ändert. Wenn Sie einen Skill aus unserem Verzeichnis verwenden, wird er einmal installiert. Jede nachfolgende Anfrage an das Modell profitiert von den Anweisungen dieses Skills (oder wird durch sie behindert), ohne manuelles Kopieren und Einfügen. Dies ermöglicht wiederholbare, objektive Tests.

Unsere gesamte Testmethodik basiert auf diesem Prinzip. Wir nehmen eine SKILL.md, installieren sie und führen sie mit einer Reihe von realen Aufgaben aus. Wir vergleichen ihre Ausgabe – in Bezug auf Korrektheit, Effizienz und Einhaltung der Anforderungen – mit genau demselben Modell ohne installierten Skill. Die resultierende Bewertung ist ein direktes Maß für den Mehrwert (oder Minderwert), den dieser Skill bietet.

Für diese Untersuchung haben wir die Datei von Forrest Chang nicht direkt getestet. Stattdessen haben wir mehrere Skills aus der Community bezogen, die das Muster des adversariellen Planens in einem wiederverwendbaren SKILL.md-Format formalisieren. Dies ermöglichte es uns, die Frage zu beantworten: Hält das Muster selbst, wenn es konsistent angewendet wird, was es verspricht?

Unsere Testmethodik für adversarielle Skills

Um eine faire Analyse nach dem Motto grill-me claude skill tested durchzuführen, haben wir eine repräsentative Auswahl an Aufgaben getroffen, die für Entwickler häufige Problembereiche darstellen und bei denen ein „nachdenklicheres“ Modell theoretisch überlegen sein könnte:

• Komplexes Refactoring: Umschreiben einer monolithischen Funktion mit hoher zyklomatischer Komplexität in kleinere, testbare Einheiten.
• API-Client-Generierung: Schreiben einer Client-Bibliothek für eine mäßig komplexe OpenAPI-Spezifikation, einschließlich Fehlerbehandlung und Anfrage-/Antwortmodellen.
• Algorithmenimplementierung: Implementierung eines nicht-trivialen Algorithmus aus einer Prosa-Beschreibung, wie z. B. A*-Pfadfindung oder eine Priority Queue.
• Unit-Test-Generierung: Schreiben einer umfassenden Suite von Unit-Tests für eine Klasse mit mehreren Abhängigkeiten und Grenzfällen.

Für jede Aufgabe haben wir zwei Durchläufe durchgeführt: einen mit purem Claude (das Basismodell, ohne Skill) und einen mit einem installierten Skill für adversarielles Planen. Wir haben die Ergebnisse anhand einer Rubrik bewertet, die funktionale Korrektheit, Codequalität, Vollständigkeit und Effizienz umfasst. Die Endbewertung für einen Skill stellt dessen durchschnittliches Leistungsdelta über alle getesteten Aufgaben dar.

Dieser rigorose Prozess ist die Art und Weise, wie wir alle 1416 Skills bewertet haben, die derzeit in unserem System erfasst sind. Es ist ein unübersichtliches Feld: Nur 889 (63 %) dieser Skills überschreiten unsere Hürde, einen positiven Nettonutzen zu bieten. Weitere 467 erfordern eine nicht-triviale Einrichtung oder sind nur in sehr spezifischen Kontexten nützlich. Die von uns getesteten Skills für adversarielles Planen fielen in all diese Kategorien.

Das Urteil: Funktioniert der von Karpathy inspirierte Skill wirklich?

Die Antwort ist nuanciert. Die Wirksamkeit des adversariellen Planungsmusters hängt stark von der Komplexität der Aufgabe ab. Es ist keine universelle Verbesserung. Bei einigen Aufgaben ist es sogar aktiv schädlich.

Unsere Tests zeigten einen klaren Trend:

Aufgabentyp	Leistung pures Claude	Leistung adversarieller Skill	Urteil
Einfaches Boilerplate (z. B. eine React-Komponente)	Schnell, 95 % korrekt	Langsamer, überkritisch, 90 % korrekt	Negativer Einfluss
Komplexes Refactoring	Übersieht oft Grenzfälle	Erkennt mehr Grenzfälle, aber wortreich	Netto-Positiv
Algorithmenentwurf von Grund auf	Anfällig für logische Lücken	Bessere logische Struktur, langsamer	Netto-Positiv
Debuggen unklarer Fehler	Schlägt oft oberflächliche Korrekturen vor	Untersucht tiefere Ursachen	Netto-Positiv

Bei einfachen, gut definierten Aufgaben fügt das adversarielle Muster unnötigen Overhead hinzu. Das Modell verbraucht Tokens und Zeit, um einen Plan zu kritisieren, der bereits ausreichend war. In einigen Fällen führte der Selbstkritikprozess sogar zu Fehlern, da das Modell Mängel halluzinierte und diese dann „behob“, wodurch einwandfreier Code zerstört wurde. Dies ist eine entscheidende Erkenntnis für jeden, der sich fragt, ob sich die karpathy claude md worth it für das tägliche Programmieren lohnt.

Bei komplexen, offenen Aufgaben – der Art, die Junior-Entwickler oft vor Probleme stellt – bietet das Muster jedoch einen messbaren Vorteil. Wenn das Modell gebeten wird, ein System zu entwerfen oder ein verworrenes Stück Legacy-Code zu refaktorisieren, zwingt die Selbstkritikphase es, Interaktionen und Grenzfälle zu berücksichtigen, die pures Claude oft übersieht. Die endgültige Ausgabe ist robuster und erfordert weniger menschliche Korrekturen, auch wenn die Generierung länger dauert und deutlich wortreicher ist.

Ein von uns getesteter Skill für adversarielles Planen übertraf die Baseline bei offenen Systemdesign-Aufgaben deutlich, schnitt jedoch bei der Generierung von einfachem Boilerplate-Code schlechter ab. Dies unterstreicht die Notwendigkeit, den richtigen Skill für die richtige Aufgabe anzuwenden, anstatt nach einem einzigen „God-Prompt“ zu suchen, der alles beherrscht.

Die versteckten Kosten: Wortreichtum und negative Bewertungen

Der unmittelbarste Nachteil dieses Musters ist der Wortreichtum. Eine Antwort von einem Skill, der adversarielles Planen verwendet, kann 3- bis 5-mal länger sein als eine Antwort von purem Claude. Sie enthält den Plan, die vollständige Kritik und dann die endgültige Antwort. Während die Zwischenschritte Einblick in das „Denken“ des Modells geben können, erhöhen sie auch den Token-Verbrauch und die kognitive Belastung für den Entwickler, der alles lesen muss.

Besorgniserregender ist das Risiko einer negativen Leistung. Ein schlecht implementierter Skill ist schlimmer als gar kein Skill. Bei SkillProof ist unsere wichtigste Erkenntnis nicht die Liste der funktionierenden Skills, sondern die Liste derer, die nicht funktionieren. Bis heute haben 60 von uns getestete Skills SCHLECHTER als pures Claude abgeschnitten. Sie machen das Modell aktiv ungenauer, ineffizienter oder unzuverlässiger.

Mehrere der von uns getesteten Skills für adversarielles Planen fielen in diese Kategorie. Der Fehlermodus war konsistent: Die Kritikphase geriet in eine Endlosschleife, oder die „Experten-Personas“ widersprachen sich, was zu einer verwirrten und falschen Endausgabe führte. In einem Test geriet ein Skill zur SQL-Query-Optimierung in eine Kritikschleife, in der er die Vorzüge von JOIN vs. INNER JOIN (die in den meisten Dialekten funktional identisch sind) debattierte und am Ende überhaupt keine Query erzeugte.

Dies ist die Anti-Hype-Realität des KI-Skill-Ökosystems. Popularität und GitHub-Sterne korrelieren nicht mit der Leistung. Ein cleveres Prompt-Muster kann genauso wahrscheinlich schaden wie nützen. Der einzige Weg, es herauszufinden, ist, es zu testen.

Lohnt sich das Muster also?

Kehren wir zur ursprünglichen Frage zurück. Lohnt sich das Muster aus der von Karpathy inspirierten CLAUDE.md?

Als Lernwerkzeug absolut. Das Durchlesen von Changs CLAUDE.md und ähnlichen Prompts ist eine ausgezeichnete Möglichkeit, das Konzept von „Chain-of-Thought“ und Selbstkorrektur zu verstehen. Manuelles Experimentieren damit kann helfen, eine bessere Intuition für das Prompting zu entwickeln.

Als Produktionswerkzeug in Form einer installierten SKILL.md lautet die Antwort ein klares „Es kommt darauf an“. Unsere Daten zeigen, dass ein gut implementierter adversarieller Skill für spezifische, hochkomplexe Aufgaben ein mächtiges Werkzeug für erfahrene Ingenieure sein kann. Er kann als unermüdlicher, logischer Resonanzboden für komplexe Probleme dienen. Für die tägliche Programmierarbeit ist er wahrscheinlich langsam, teuer und potenziell kontraproduktiv.

Genau dieses Problem wurde SkillProof entwickelt, um es zu lösen. Anstatt sich auf Hype oder die Anzahl der Sterne zu verlassen, können Sie sich auf unsere Daten verlassen. Wir trennen die Skills, die einen echten, messbaren Mehrwert bieten, von denen, die nur clevere, aber ineffektive Prompts sind.

Weiterführende Lektüre: Der Anteil der Skills, die pures Claude tatsächlich übertreffen · Wie wir jeden Skill testen, bevor wir ihn auflisten.

Wir haben Dutzende von Skills getestet, die adversarielles Planen und andere fortgeschrittene Techniken verwenden. Um zu sehen, welche unsere realen Tests bestanden und eine SkillProof-Bewertung erhalten haben, können Sie die Kategorie Produktivität & Workflow in unserem Verzeichnis durchsuchen. Wir bündeln auch die leistungsstärksten Skills aller Kategorien in einem Starter-Paket für 10 $, das Ihnen eine Reihe verifizierter Werkzeuge an die Hand gibt, die tatsächlich funktionieren.