Vi byggde en MCP-server så Claude kan granska en skill före installation

Att installera en Claude-skill är ett risktagande. Du hittar en SKILL.md på GitHub, README-filen låter övertygande, antalet stjärnor ser betryggande ut, och du kopierar den till ~/.claude/skills/. Om den faktiskt gör något användbart upptäcker du senare – vanligtvis mitt i det arbete du försökte få gjort.

Vi ägnar våra dagar åt att manuellt överbrygga det gapet: installera en skill, köra en verklig uppgift två gånger, en gång med och en gång utan, och publicera skillnaden. 743 skills hittills. Den besvärliga delen har alltid varit den sista biten. Utlåtandena fanns på en webbplats, och webbplatser är för människor. Verktyget som installerar dina skills är en agent.

Så vi placerade utlåtandena där agenten redan finns.

En rad

claude mcp add skillproof -- npx -y skillproof-mcp

Det är hela installationen. Ingen API-nyckel, inget konto, ingen konfigurationsfil att redigera manuellt. Det fungerar i alla MCP-klienter – Claude Code, Claude Desktop, Cursor, Windsurf, Zed.

Nu kan din agent ställa en fråga innan den klonar något.

Vad den faktiskt svarar på

Servern exponerar två verktyg, och de motsvarar de två frågor som användare faktiskt har.

find_skill – "finns det en testad skill för detta?" Du beskriver uppgiften; du får tillbaka matchningar rangordnade efter poäng, var och en med utlåtande, poäng av 10, vad vårt test fann, och installationskommandot.

check_skill – "någon rekommenderade den här, är den bra?" Du anger en skill, en slug eller ett GitHub-repo; du får vårt utlåtande om den, eller ett ärligt "vi har inte testat denna – behandla den som overifierad."

Varje svar innehåller ett av tre utlåtanden:

• pass – installerades korrekt, aktiverades när den skulle och presterade bättre än Claude utan skill på en verklig uppgift.
• setup – den levererar, men kräver konfiguration. Noteringen beskriver exakt vad du måste göra först.
• didn't pass – den fick lägre poäng än baslinjen utan skill. Antingen kunde den inte köras alls, eller så kördes den och gav ett sämre resultat än utan den.

Det är det tredje utlåtandet som gör detta värt att installera.

Svaret vi är stoltast över

Fråga servern efter en skill som konverterar Markdown till Confluence wiki-markup, och detta är vad som returneras:

Confluence – DIDN'T PASS Vad vårt test fann: körde den medföljande convert_markdown_to_wiki.py på ett verkligt exempeldokument. Den omvandlar tyst **bold**-text till wiki-kursiv – en genuin regex-bugg, inte ett stilval – och lämnar standardtabeller i GitHub-stil helt okonverterade, trots att SKILL.md uttryckligen listar "tables" bland de element den hanterar.

Ett register som bara listar vinnare skulle ha visat den skillen med en trevlig beskrivning och låtit dig hitta buggen där fetstil blir kursiv själv, i ett dokument du redan skickat till ditt team. Vårt säger åt din agent att inte bry sig.

Det finns 31 sådana skills i katalogen just nu – testade, publicerade och markerade i rött. Ytterligare 59 är likvärdiga med Claude utan skill: de körs, de producerar något, och resultatet är inte bättre än vad du skulle ha fått ändå. Ingen annan publicerar någon av dessa siffror, eftersom ingen av dem smickrar ekosystemet.

Varifrån datan kommer

Servern lagrar ingen egen data. Den läser skillproof.dev/api/skills.json – samma live-katalog som webbplatsen renderar – och cachar den i femton minuter. När en skill testas om efter en Claude-release, ändras svaret din agent får med den. Inget att uppdatera, inget att installera om.

Poängsättningsmallen är offentlig: installation /5, aktivering /5, resultat-vs-baslinje /10, dokumentation och ärlighet /5, normaliserat till en poäng av tio. Den är fullständigt beskriven på vår sida om metodik, inklusive varför resultatet är värt lika mycket som allt annat tillsammans.

Om du bygger egna verktyg är katalogen öppen under CC BY – använd JSON-filen, eller allt som ren text, och citera skillproof.dev.

De ärliga begränsningarna

Två saker detta inte gör.

Det täcker inte allt. Vi har testat 743 av de 16 682 skills vi har indexerat – det översta skiktet baserat på stjärnor och vår automatiserade granskning. Om din uppgift är nischad kan svaret mycket väl vara "inget testat matchar detta än", och servern säger exakt det istället för att hitta på en rekommendation. Vi returnerar hellre ingenting än att gå i god för något vi aldrig har kört.

Och ett utlåtande har ett datum. Skills förändras; en skill som godkändes i juni kan sluta fungera när dess beroenden ändras. Varje kort innehåller datumet då vi körde testet, och servern skickar med det datumet. Gamla utlåtanden är ett faktum, inte en bugg vi kan koda runt – men du kommer alltid att veta hur gammalt det du läser är.

Installera och glöm bort

Det bästa scenariot är att du aldrig behöver tänka på det igen. Din agent gör en tyst kontroll före installation, hoppar över de tre skills som skulle ha slösat bort din kväll, och väljer den som faktiskt har testats för uppgiften du utför.

claude mcp add skillproof -- npx -y skillproof-mcp

Källkoden finns på GitHub, med MIT-licens. Den är listad i det officiella MCP-registret som io.github.Skillproofdev/skillproof. Om den ger ett felaktigt svar är det en bugg i vår testning, inte i implementationen – meddela oss så testar vi om den skillen.