Claude Code Skills für Testing & QA: Ein Realitätscheck aus 118 Praxistests

Jeder Claude Code Skill verspricht eine höhere Produktivität. Im Bereich Testing und Qualitätssicherung bedeutet dieses Versprechen oft das Generieren von Testsuiten, die Prüfung der Code-Qualität oder die Automatisierung mühsamer Überprüfungen. Das Problem ist, dass die meisten Skill-Verzeichnisse nur Listen von Namen und Behauptungen sind. Sie verraten nicht, ob ein Skill tatsächlich funktioniert.

Wir schon. Bei SkillProof installieren und führen wir jeden Skill unabhängig für eine reale Aufgabe aus, bevor er gelistet wird. Anschließend veröffentlichen wir ein Urteil und eine detaillierte Bewertung. Unser Prozess ist darauf ausgelegt, herauszufinden, was funktioniert, was nachgebessert werden muss und was fundamental fehlerhaft ist. Von den 2172 Skills, die wir über alle Kategorien hinweg getestet haben, bestehen nur 1338 (62 %) den Test auf Anhieb. Weitere 725 funktionieren, erfordern aber eine manuelle Einrichtung. Und 109 Skills sind komplett durchgefallen: Entweder konnten sie nicht wie dokumentiert ausgeführt werden, oder sie liefen und lieferten ein schlechteres Ergebnis als Claude ohne installierten Skill. Wir veröffentlichen diese Fehlschläge, weil sie genauso wichtig sind wie die Erfolge.

Dieser Artikel wendet dieselbe rigorose, Anti-Hype-Methodik auf die Kategorie Testing & QA an. Wir betrachten die besten Claude Code Skills für das Testen und zeigen genau, wo und wie sie das Basismodell übertreffen. Wir untersuchen auch Skills, die vielversprechend, aber fehlerhaft sind, sowie einige, die unsere Tests komplett nicht bestanden haben. Dies ist kein theoretisches Ranking, sondern ein Bericht aus der Praxis.

Die Kategorie Testing & QA in Zahlen

Die Kategorie Testing & QA auf SkillProof listet derzeit 143 Skills. Davon befinden sich 25 noch in unserer Test-Warteschlange. Für 118 davon haben wir die Tests abgeschlossen. Hier ist die Aufschlüsselung der Urteile:

Urteil	Anzahl	Prozentsatz	Beschreibung
Bestanden	65	55%	Lässt sich wie beschrieben installieren und ausführen und übertrifft die Baseline.
Funktioniert mit Setup	46	39%	Bietet einen Mehrwert, erfordert aber manuelle Arbeit oder hat bekannte Einschränkungen.
Fehlgeschlagen	7	6%	Konnte nicht ausgeführt werden oder das Ergebnis war schlechter als die Baseline.

Es ist entscheidend zu verstehen, wie wir zu diesen Urteilen und den zugehörigen Bewertungen kommen. Jeder Skill wird nach vier Kriterien benotet: saubere Installation (/5), zuverlässige Auslösung (/5), Qualität des Ergebnisses im Vergleich zur Baseline (/10) und die Qualität der Dokumentation (/5). Diese Rohpunktzahl wird dann auf eine Endbewertung von /10 normalisiert.

Das Urteil ist eine separate Entscheidung, kein Schwellenwert der Punktzahl. Ein Skill besteht den Test, wenn er bei einer relevanten Aufgabe ohne weitere Anpassungen bessere Ergebnisse als das reine Claude-Modell liefert. Er erhält das Urteil „Funktioniert mit Setup“, wenn er erst nach Konfiguration, mit einem begleitenden Skill oder einer verbundenen Integration einen Mehrwert bietet. Er fällt durch, wenn er inaktiv, fehlerhaft oder aktiv schädlich ist. Deshalb weichen die beiden Achsen voneinander ab: 371 Skills mit dem Urteil „Funktioniert mit Setup“ erreichen dennoch eine Bewertung von 8,0 oder höher, und der am niedrigsten bewertete bestandene Skill in unserem Katalog liegt bei 7,2. Bei fehlgeschlagenen Skills wird die Bewertung komplett zurückgehalten; eine saubere Installation rechtfertigt keinen Skill, der einen Serverausfall als Erfolg meldet. Die vollständigen Details zu unserem Prozess können Sie in unserer Methodik nachlesen.

Die Top-Performer: Skills, die die Baseline schlagen

Diese Skills erhielten das Urteil „Bestanden“, da sie spürbare Verbesserungen gegenüber dem Basismodell lieferten. Sie generieren nicht nur Code, sondern den richtigen Code und zeigen dabei ein Verständnis für Projektkontext, Frameworks und Best Practices. Was sie von der Masse abhebt, ist ihre Fähigkeit, die bestehende Codebasis zu lesen und idiomatische, wartbare Tests zu erstellen.

Skills für Web- & UI-Testautomatisierung

Bei Aufgaben zur Browser-Automatisierung ersetzen die besten Skills fragile, hartcodierte Selektoren und Wartezeiten durch moderne, robuste Alternativen.

Playwright Automation Expert (9.6/10) Auf die Anforderung, einen Login-Test zu schreiben, produzierte das Basismodell ein Skript mit brüchigen #id- und .class-Selektoren sowie festen waitForTimeout-Aufrufen. Die vom Skill gesteuerte Version war eine signifikante Verbesserung. Sie verwendete rollenbasierte Lokatoren und eine toHaveURL-Assertion mit automatischer Wartefunktion, die wesentlich robuster gegenüber Änderungen am Markup sind. Beide Ersetzungen sind explizite MUST-NOT/MUST-DO-Punkte im eigenen Code des Skills, er folgte also seinen eigenen Regeln und hatte nicht nur Glück. Darüber hinaus erstellte das mitgelieferte Scaffold-Skript korrekt die versprochene Verzeichnisstruktur tests/, pages/ und fixtures/ und richtete so von Anfang an ein neues Projekt mit einem sauberen Page-Object-Model-Layout ein.

Cypress Author (9.6/10) Wir haben dieselbe Login-Test-Anforderung mit Cypress Author ausgeführt. Das Ergebnis der Baseline war erneut fehlerhaft und enthielt eine hartcodierte URL für den cy.visit()-Befehl und ein cy.wait(2000) zur Handhabung asynchroner Operationen. Mit installiertem Skill änderte sich das Ergebnis drastisch. Er verwendete einen relativen Visit gegen eine konfigurierte baseUrl und ersetzte die feste Wartezeit durch eine Timeout-basierte Assertion. Entscheidend ist, dass er auch data-cy-Selektoren bevorzugte und damit ein Bewusstsein für Cypress-Best-Practices zur Erstellung stabiler Tests zeigte. Die angewendeten Regeln stammen aus der vom Autor mitgelieferten House-Style-Datei, nicht aus unserem Prompt.

Skills für Unit- & Integrationstests

Einen guten Claude Skill für Unit-Tests zu erstellen, erfordert mehr als nur das Generieren von assert-Anweisungen. Es erfordert ein Verständnis für Frameworks, Test-Doubles und häufige Fallstricke.

Swift Testing (9.6/10) Wir baten um eine Testsuite, die einen E-Mail-Validator sowie ein Repository-Double abdeckt. Die Baseline produzierte funktionalen, aber naiven XCTest-Code, einschließlich eines Doubles, das fälschlicherweise MockUserRepository genannt wurde. Der Swift Testing Skill generierte eine anspruchsvollere Suite mit @Suite und @Test mit jeweils drei bis vier parametrisierten Eingaben und platzierte das Double neben dem Protokoll unter #if DEBUG, genau wie es der Skill vorschreibt. Noch beeindruckender war, dass er die Rolle des Test-Doubles korrekt als Spying Stub gemäß Martin Fowlers Taxonomie identifizierte und die Klasse entsprechend umbenannte, was ein tieferes Verständnis der Testtheorie beweist.

Flutter Tester (9.6/10) In einem Flutter-Projekt, das Riverpod für das State-Management verwendet, enthielt der von der Baseline generierte Widget-Test zwei häufige, aber schwerwiegende Fehler: Er mockte den Riverpod-Provider direkt und versäumte es, GetIt.reset() in der tearDown-Methode aufzurufen. Dies sind buchstäblich die ersten beiden Zeilen in der „Common Mistakes“-Tabelle des Flutter Tester Skills. Die vom Skill gesteuerte Neufassung behob beide Probleme ohne spezifische Anweisung und demonstrierte so ein integriertes Wissen über Framework-spezifische Fallstricke.

Spezialisierte QA- & Auditing-Skills

Diese Gruppe von Claude Code Skills für die Qualitätssicherung zeichnet sich durch gezielte, nicht offensichtliche Analysen aus, die ein Mensch oder ein weniger spezialisiertes Werkzeug übersehen könnte.

Add LLM Evals (9.6/10) Mit der Aufgabe, eine Evaluierungspipeline zu einem RAG-Chatbot hinzuzufügen, bot das Basismodell vier vage Stichpunkte zu Genauigkeit und Relevanz. Der Add LLM Evals Skill lieferte hingegen eine vollständige, ausführbare Lösung. Er nannte die RAG-spezifischen Ragas-Metriken, erstellte eine lauffähige promptfoo-Konfiguration zur Durchführung der Evaluierung und fügte einen CI-Gating-Exit-Code hinzu, der den Build fehlschlagen lässt, wenn die Metriken unter einen Schwellenwert fallen. Er fügte sogar einen entscheidenden Schritt zur Kalibrierung des Judges hinzu: die Empfehlung, ca. 30 Beispiele von Hand zu labeln, um die Übereinstimmung zu prüfen, bevor die Evaluierung hochskaliert wird.

Web Quality Audit (9.6/10) Wir haben diesen Skill auf eine Seite mit mehreren absichtlich platzierten Problemen angesetzt. Eine pauschale Überprüfung durch das Basismodell übersah die meisten davon. Der Skill hingegen entdeckte subtile Probleme wie eine fehlende charset-Deklaration und Mixed-Content-Warnungen. Für jeden Befund lieferte er ein file:line-Tag, was die Behebung unkompliziert machte.

Screen Reader Testing (9.6/10) Barrierefreiheitstests sind bekanntermaßen schwer zu automatisieren. Wir haben diesen Skill an einem modalen Dialog getestet, der einen reinen Icon-Button zum Schließen verwendete und dem eine dialog-Rolle fehlte. Der Skill meldete nicht nur das Problem, sondern erzeugte auch die exakten aria-label="Close"- und role="dialog"-Attribute, die zur Behebung erforderlich waren. Er generierte außerdem konkrete Testskripte für VoiceOver unter macOS und NVDA unter Windows, um die Korrektur zu überprüfen.

Gut, aber nicht perfekt: Die Kategorie „Funktioniert mit Setup“

Fast 40 % der von uns in dieser Kategorie getesteten Skills fallen in diese Gruppe. Sie sind effektiv, aber mit Einschränkungen verbunden. Sie erfordern möglicherweise eine manuelle Konfiguration, haben einen bekannten Fehler oder enthalten eine Funktion, die nicht wie beworben funktioniert. Wir listen sie trotzdem auf, weil ihre Kernfunktionalität wertvoll ist, aber wir dokumentieren den Einrichtungsaufwand.

Plugin Release Checker (9.2/10) Dieser Skill ist dafür konzipiert, ein Plugin-Repository vor einem Release zu überprüfen. In unserem Test hat er alle fünf Fehler, die wir in einem Wegwerf-Repo platziert hatten, erfolgreich gefunden. Eine seiner sechs beworbenen Prüfungen – ein Validator für eine bestimmte Manifest-Datei – wird jedoch stillschweigend zu einer einfachen Warnung herabgestuft. Die vollständige Validierungslogik befindet sich in einem separaten, gleichrangigen Skill-Ordner und ist nicht gebündelt – eine Tatsache, die wir erst durch das Lesen des Quellcodes entdeckten. Der Skill ist immer noch sehr effektiv, aber nicht ganz das Komplettpaket, das er zu sein vorgibt.

Agent Verifier (Verification) (9.2/10) Wir haben diesen Skill verwendet, um eine einfache agent.py-Datei zu überprüfen, die zwei platzierte Probleme enthielt: einen hartcodierten, produktiven API-Schlüssel und einen System-Prompt, der ein Werkzeug versprach, das der Agent gar nicht besaß. Der Skill identifizierte beide kritischen Probleme korrekt. Er markierte jedoch auch eine while True:-Schleife als potenzielle Endlosschleife, nur weil ein literales break-Schlüsselwort fehlte. Die Schleife enthielt eine return-Anweisung, die einen sauberen Ausstieg ermöglichte, was die Warnung zu einem Fehlalarm machte. Es ist ein nützliches Werkzeug, das einen Menschen erfordert, um seine pedantischeren Befunde zu interpretieren.

Die Fehlschläge: Zu meidende Skills

Sieben Skills in der Kategorie Testing erhielten das Urteil „Fehlgeschlagen“. Eine solche Bewertung bedeutet eines von zwei Dingen: Der Skill konnte nicht wie dokumentiert ausgeführt werden, oder er lief und verschlechterte die Situation. Gemäß unserer Richtlinie veröffentlichen wir für diese Skills keine Bewertung. Hier sind drei Beispiele, die dies veranschaulichen.

API Auditor (Fehlgeschlagen) Das Versagen dieses Skills war spektakulär. Sein Zweck ist es, API-Endpunkte auf Uptime und Korrektheit zu überprüfen. Wir haben sein mitgeliefertes zwölfzeiliges Audit-Skript auf einen Dienst gerichtet, der tatsächlich ausgefallen war (Rückgabe: 503 Service Unavailable) und einen Pfad, der nicht existierte (Rückgabe: 404 Not Found). In beiden Fällen gab das Skript Result: Success aus. Ein Uptime-Auditor, der Serverfehler als Erfolg meldet, ist schlimmer als gar kein Auditor. Um das Ganze noch schlimmer zu machen, versprechen seine eigenen Anweisungen eine Latenzanalyse, die das Skript nicht einmal zu messen versucht.

Reins (Fehlgeschlagen) Dieser Fehlschlag ist von der frustrierenderen Sorte, weil die zugrunde liegende Engine eigentlich gut ist. Das Problem ist das Packaging. Sowohl die SKILL.md als auch das mitgelieferte Installationsskript weisen an, ein globales npm-Paket unter einem Namen zu installieren, der in der Registry nicht existiert, sodass die dokumentierte Installation mit einem E404 abbricht. Der mitgelieferte Hook-Wrapper sucht dann nach dem Paket unter demselben nicht existierenden Pfad. Der echte Paketname unterscheidet sich um einige Zeichen, und man findet ihn nur, indem man die package.json des Repositories öffnet. Ein Skill, der nicht anhand seiner eigenen Anweisungen installiert werden kann, besteht unseren Test nicht, egal wie gut der dahinterstehende Code ist.

Common AppSec Patterns (Fehlgeschlagen) Dieser Skill ist ein reiner Orchestrator. Seine einzige Funktion ist es, fünf verschiedene Sub-Agenten aufzurufen, die Sicherheitstests durchführen sollen. Das Problem ist, dass diese Sub-Agenten nicht mit dem Skill ausgeliefert werden. Wenn er allein installiert wird, ist er völlig inaktiv. Er ist eine leere Hülle, die nichts tut – ein klares Versäumnis bei Packaging und Dokumentation.

Was unterscheidet gute von schlechten QA-Skills?

Das Muster ist klar. Die besten Claude Code Skills für die Testautomatisierung sind nicht nur clevere Prompt-Ketten. Ihr Wert entsteht durch Kontextbewusstsein. Sie lesen die Abhängigkeiten des Projekts, erkennen die bereits verwendeten Frameworks, übernehmen bestehende Konventionen wie data-cy-Attribute und eine konfigurierte baseUrl und wenden etablierte Testtheorien wie die Taxonomie der Test-Doubles an. Sie übertreffen die Baseline nicht, weil sie intelligenter sind, sondern weil sie besser informiert sind.

Die Fehlschläge hingegen sind meistens Fehler im Packaging und in der Ehrlichkeit, nicht in der Intelligenz. Ein Skript, das einen ausgefallenen Server als Erfolg meldet, ein Installationsbefehl, der auf ein nie veröffentlichtes Paket verweist, ein Orchestrator, der ohne die zu orchestrierenden Agenten ausgeliefert wird: Nichts davon sind subtile Denkfehler. Es sind Dinge, die niemand durch Ausführen überprüft hat. Deshalb glauben wir, dass die Ausführung in der realen Welt der einzige Weg ist, ein aussagekräftiges Urteil zu fällen, und das ist eine Lektion, die für alle Kategorien gilt.

Weiterführende Lektüre: Warum die Hälfte aller Claude Skills nicht funktioniert schlüsselt die oben genannten Fehlerarten für den gesamten Katalog auf, und Wie wir Claude Skills testen dokumentiert den exakten Baseline-Vergleich, aus dem jedes Urteil auf dieser Seite hervorging.

Die vollständige, aktuelle Liste der 143 Skills in dieser Kategorie, einschließlich derer, die sich noch in unserer Warteschlange befinden, finden Sie im Verzeichnis für Testing & QA. Wenn Sie sich keinen eigenen Stack zusammenstellen möchten, verkaufen wir auch acht thematische Pakete mit je zehn Skills für 10 $ – das Security & Code Review Pack ist dasjenige, das sich auf die Überprüfung und das Testen Ihrer Auslieferungen konzentriert.