Hoeveel Claude skills zijn daadwerkelijk beter dan Claude zelf? Wij hebben het gemeten.

De belofte van Claude skills is overtuigend: een bibliotheek met tools die geïnstalleerd kunnen worden om het model nieuwe mogelijkheden te geven, van interactie met API's tot het genereren van complexe code. De officiële catalogus en repositories van derden bevatten er duizenden. Maar dit roept een kritische vraag op voor elke ontwikkelaar wiens tijd kostbaar is: verbeteren Claude skills de output op een meetbare manier?

Het is makkelijk om skills te vinden die beweren revolutionair te zijn. Het is veel moeilijker om objectief bewijs te vinden. De meeste skill-directories zijn precies dat: directories. Ze vermelden skills op basis van de beschrijving van de auteur, maar valideren de claims niet. Een skill kan kapot zijn, verouderd, of in veel gevallen niet beter dan wat het basismodel zelf kan. Dit creëert een aanzienlijk signaal-ruisprobleem.

Bij SkillProof publiceren we geen skills; we testen ze. Omdat we elke skill uit de catalogus hebben getest tegen een baseline, kunnen we met bewijs aantonen welk percentage beter presteert dan Claude zonder skills. Dit artikel presenteert dat bewijs. We meten de prestaties van elke skill tegen hetzelfde model zonder geïnstalleerde skill om te bepalen of deze een reëel, kwantificeerbaar voordeel biedt.

Het signaal-ruisprobleem bij het ontdekken van skills

Als u geprobeerd heeft skills in uw workflow te integreren, bent u waarschijnlijk het ontdekkingsprobleem tegengekomen. U heeft een taak in gedachten, misschien het genereren van Terraform-configuraties of interactie met een specifieke SaaS API. U doorzoekt een catalogus, vindt een skill met een veelbelovende naam en leest het SKILL.md-bestand, dat de functie beschrijft en gebruiksvoorbeelden geeft.

U installeert de skill en probeert de voorbeeldprompt. Soms werkt het. Vaker verloopt het proces met frictie. De skill kan een error geven, niet-gedocumenteerde omgevingsvariabelen vereisen, of output produceren die in niets lijkt op het voorbeeld. U besteedt misschien een uur aan het debuggen van andermans tool, om er vervolgens achter te komen dat deze slecht geschreven of maanden geleden verlaten is.

Deze trial-and-error-cyclus is inefficiënt. Het kernprobleem is dat de meeste skill-catalogi functioneren als package managers zonder een CI/CD-pipeline. Ze indexeren wat er bestaat, maar bieden geen kwaliteitsgarantie. Er is geen onafhankelijke verificatie om te bevestigen dat een skill werkt zoals geadverteerd, laat staan dat deze een verbetering biedt ten opzichte van een goed opgestelde prompt voor het basismodel. De testlast ligt volledig bij de eindgebruiker.

Dit is het probleem dat wij wilden oplossen. Om te bepalen of Claude code skills de moeite waard zijn om te installeren, heeft u een consistente, herhaalbare testmethodologie en een duidelijke baseline voor vergelijking nodig.

Hoe we 'beter' meten: de baseline zonder skills

Om de vraag 'Is deze skill beter dan niets?' te beantwoorden, heeft u een rigoureuze definitie van 'niets' nodig. Voor ons is 'niets' het basismodel van Claude zelf—wat wij de 'no-skill baseline' noemen. Onze volledige methodologie is gebaseerd op het vergelijken van de prestaties van een skill met deze controlegroep.

Het proces is eenvoudig en ontworpen om een reële use case te weerspiegelen. Voor elke skill voeren we de volgende stappen uit:

1. Definiëren van testgevallen: We analyseren de beoogde functie van de skill en creëren een reeks representatieve taken. Voor een Kubernetes-manifestgenerator kan dit prompts omvatten voor het maken van Deployments, Services en Ingress-objecten met wisselende complexiteit.

2. Uitvoeren van de baseline: We voeren deze testprompts uit op het standaard Claude-model zonder geïnstalleerde skill. We slaan de output op als onze controlegeval. Dit toont wat een competente gebruiker alleen met prompting kan bereiken.

3. Uitvoeren van de skill: We installeren de skill en voeren exact dezelfde set testprompts uit. Dit is ons experimentele geval.

4. Beoordelen van de outputs: Een menselijke beoordelaar vergelijkt de baseline-output en de output van de skill naast elkaar. We gebruiken een gedetailleerde rubric om ze te scoren op correctheid, volledigheid, het volgen van instructies en efficiëntie. Het eindresultaat is een enkele score op 10 die de lift meet die de skill biedt ten opzichte van de baseline.

Een hoge score (8-10/10) duidt op een significante verbetering. Een gemiddelde score (6-7/10) duidt op een functionele skill die een marginaal voordeel biedt. Een lage score (1-5/10) duidt op een skill die buggy is, moeilijk te gebruiken, of slechter presteert dan de baseline. U kunt de volledige details van ons scoresysteem lezen op onze pagina /methodology.

Deze claude skills vs no skill baseline-vergelijking is de enige manier om objectieve data te genereren over de werkelijke waarde van een skill. Marketingclaims en beschrijvingen van auteurs zijn irrelevant; het enige dat telt, is de gemeten prestatie op een reële taak.

Het oordeel: welk percentage van de Claude skills werkt?

Dus, wat zeggen de data? Na het toepassen van onze methodologie op het publieke skill-ecosysteem, ontstaat een duidelijk beeld. Op het moment van schrijven hebben we 1416 unieke skills geïnstalleerd en uitgevoerd.

De resultaten tonen aan dat een meerderheid van de skills enige waarde biedt, maar een zeer significant deel—meer dan een derde—is ofwel kapot, vereist een complexe setup, of is actief nadelig voor de prestaties van het model.

Hier is de hoofdindeling van onze bevindingen:

Oordeel	Aantal	Percentage van totaal	Beschrijving
Geslaagd & Gepubliceerd	889	63%	De skill installeert zonder problemen, werkt zoals beschreven en scoort hoger dan de baseline zonder skills.
Handmatige setup vereist	467	33%	De skill is functioneel maar vereist niet-gedocumenteerde setup (bijv. omgevingsvariabelen, API-sleutels) of heeft grote kanttekeningen.
Scoort onder de baseline	60	4%	De skill is actief schadelijk en produceert output die minder accuraat, minder compleet of foutgevoeliger is dan de standaard Claude.

Deze cijfers zijn ontnuchterend. Hoewel het goed is dat bijna twee derde van de skills onze verificatie doorstaat, betekent dit dat als u willekeurig een skill uit een publieke catalogus kiest, u een kans van 1 op 3 heeft dat het tijdverspilling is.

Nog alarmerender is de 4% die onder de baseline scoort. Dit zijn skills die niet alleen niet helpen, maar de output van het model actief verslechteren. Het installeren van zo'n skill is een downgrade voor uw systeem. Deze data geven een duidelijk antwoord op de vraag welk percentage van de Claude skills werkt: het is verre van 100%.

Anatomie van een falende skill

Begrijpen waarom skills falen is even belangrijk als weten welke slagen. De mislukkingen die we registreren, vallen over het algemeen in twee categorieën: skills die actief schadelijk zijn en skills die simpelweg onvolledig zijn.

Categorie 1: Scoort onder de baseline

De 60 skills in deze categorie vertegenwoordigen het worst-case-scenario. Ze beloven een functionaliteit toe te voegen, maar introduceren in plaats daarvan fouten, beperkingen of regressies. We hebben bijvoorbeeld een SQL-querygenerator getest die bedoeld was om complexe queries te schrijven vanuit natuurlijke taal. Op onze testprompts produceerde deze consistent syntactisch ongeldige SQL. De standaard Claude-baseline produceerde, met dezelfde prompts, elke keer correcte SQL. De interne logica van de skill was gebrekkig en stuurde het model actief naar een slechter resultaat.

Een andere veelvoorkomende faalmodus is overmatige beperking. Een skill die ontworpen is om een specifiek JSON-schema af te dwingen, kan zo rigide zijn dat het model weigert legitieme prompts te beantwoorden die net buiten de enge definitie vallen, terwijl het basismodel het verzoek probleemloos zou hebben afgehandeld. Deze skills zijn erger dan nutteloos; ze zijn een blok aan het been.

Categorie 2: Handmatige setup vereist

Dit is een veel grotere categorie, die 467 van de door ons geteste skills omvat. Deze skills zijn niet noodzakelijkerwijs slecht ontworpen, maar ze zijn slecht gedocumenteerd. Ze vertegenwoordigen een enorme verborgen tijdsinvestering voor ontwikkelaars.

Een typisch voorbeeld is een skill die fungeert als client voor een API van een derde partij. De code kan perfect functioneel zijn, maar het SKILL.md-bestand vermeldt niet dat de gebruiker zich eerst moet aanmelden voor een account, een API-sleutel moet genereren en deze moet instellen als een omgevingsvariabele met de naam THIRD_PARTY_API_KEY. Zonder deze informatie faalt de skill met een generieke AuthenticationError.

Ons team doet het werk om deze verborgen vereisten te ontdekken en documenteert ze in onze bevindingen. Maar voor een gemiddelde gebruiker is dit een doodlopende weg. De skill lijkt kapot en wordt na een frustrerend halfuur debuggen verwijderd. Dit is geen falen van het model, maar een falen van de developer experience. Goede skills moeten 'out of the box' bruikbaar zijn, met alle afhankelijkheden en configuratiestappen duidelijk gedocumenteerd.

Kenmerken van een hoog-scorende skill

Als een derde van de skills problematisch is, hoe zien de andere twee derde—de succesvolle—er dan uit? Zijn Claude code skills de moeite waard om te installeren? Ja, als ze tot de hoog-scorende groep behoren.

Hoog-scorende skills delen verschillende gemeenschappelijke kenmerken:

1. Ze bieden echte tooling: De beste skills herformuleren niet alleen een prompt. Ze geven het model toegang tot nieuwe mogelijkheden. Een skill die een URL kan controleren op een 200 OK-status, een 'file patcher'-tool die een diff kan toepassen op een lokaal bestand, of een skill die interactie heeft met de live API van een cloudprovider zijn allemaal voorbeelden van echte tooling. Ze stellen het model in staat om acties in de wereld te ondernemen, niet er alleen over te praten. Dit levert een duidelijke, onmiskenbare 'lift' op ten opzichte van de baseline.

2. Ze zijn atomair en betrouwbaar: Top-skills richten zich op het goed doen van één ding. Een skill om een timestamp te converteren naar een ISO 8601-string is waarschijnlijk robuuster en nuttiger dan een monolithische "DevOps assistant"-skill die twintig verschillende dingen probeert te doen.

3. Ze hebben uitstekende documentatie: Het SKILL.md-bestand wordt behandeld als een cruciaal onderdeel van de tool. Het bevat duidelijke instructies, werkende voorbeelden voor veelvoorkomende use cases, en expliciete documentatie van elke vereiste setup, zoals omgevingsvariabelen of authenticatie.

Wanneer een skill aan deze criteria voldoet, is de verbetering niet subtiel. Het transformeert het model van een tekstgenerator in een interactieve agent die taken kan uitvoeren, wat aanzienlijke tijd en moeite bespaart. Dit zijn de skills die de oorspronkelijke belofte waarmaken.

Skills vinden die uw workflow daadwerkelijk verbeteren

De centrale conclusie van ons onderzoek is dat het ruwe aantal beschikbare skills een 'vanity metric' is. De waarde van het ecosysteem ligt niet in de omvang, maar in de dichtheid van hoogwaardige, geverifieerde tools. Blindelings skills installeren op basis van hun beschrijving is een inefficiënte en frustrerende strategie.

De vraag die ontwikkelaars zich moeten stellen is niet 'verbeteren Claude skills de output daadwerkelijk?', maar eerder 'welke skills verbeteren de output, en met hoeveel?'

Het beantwoorden van die vraag is waarom we SkillProof hebben gebouwd. Wij voeren de tests uit en publiceren de resultaten—inclusief de mislukkingen—zodat u met vertrouwen skills kunt adopteren. Onze catalogus is geen uitgebreide lijst van elke bestaande skill. Het is een gecureerde directory van skills waarvan is bewezen dat ze werken en een meetbaar voordeel bieden ten opzichte van de baseline zonder skills.

Gerelateerde artikelen: waarom zoveel skills tekortschieten · of GitHub-sterren een goede skill voorspellen.

Het doel van deze data is niet om het gebruik van skills te ontmoedigen, maar om het gebruik van de juiste skills aan te moedigen. We hebben het werk gedaan om 1416 skills te testen, zodat u dat niet hoeft te doen. U kunt de 889 skills die onze baselinetests hebben doorstaan, bekijken in onze volledige catalogus. Als u het bladeren wilt overslaan, bieden we ook een gecureerd pakket van de top 50 meest impactvolle skills voor $10.