Felsökning med Claude Code-färdigheter

Felsökning med Claude Code-färdigheter

Felsökning med Claude Code-färdigheter: Ett kontrollerat test

Utvecklare som utvärderar Claude Code-färdigheter frågar ofta vilka som är bäst för en specifik uppgift som felsökning. Det är en rimlig fråga, men svår att besvara utan kontrollerade tester. På SkillProof är vårt arbete att installera, köra och benchmarka färdigheter på verkliga uppgifter för att ge dessa svar. Vi publicerar alla resultat, inklusive misslyckanden.

Vår katalog innehåller för närvarande 2172 testade färdigheter. Av dessa klarade 1338 (62%) våra tester och presterar som utlovat. Ytterligare 725 har bedömningen setup: de fungerar, men endast efter manuella steg som färdigheten inte utför åt dig. Ytterligare 109 fick bedömningen fails, vilket innebär att de antingen inte kunde köras alls som de levererades eller presterade sämre än Claude utan färdigheter på den uppgift de marknadsför. Vi publicerar dessa bedömningar och testnoteringarna bakom dem, eftersom misslyckandena är den del som en katalog med självrapporterade beskrivningar aldrig kan ge dig.

Denna artikel undersöker prestandan hos Claude Code-färdigheter för felsökning genom linsen av ett enda, detaljerat benchmark vi körde. Det är viktigt att påpeka från början: detta var inte en bred undersökning av varje felsökningsfärdighet. Det var ett kontrollerat test med två grupper utformat för att jämföra en specifik metod mot en baslinje. All data publiceras i vår Skill Bench del 3.

Testuppsättning: Ett trasigt Snake-spel

För att skapa ett realistiskt felsökningsscenario tog vi ett fungerande canvas-baserat Snake-spel skrivet i JavaScript och introducerade medvetet tre distinkta buggar. Vi presenterade sedan den trasiga koden för två versioner av Claude, med endast en övergripande buggrapport skriven ur en spelares perspektiv.

Testobjekt: Ett standard Snake-spel som använder HTML canvas API. Koden var fristående och skriven i ren JavaScript.

De planterade buggarna:

  1. Inverterade kontroller: ArrowUp- och ArrowDown-tangenterna använde kartesiska riktningsvektorer (där y ökar uppåt), men canvas-koordinatsystemet har y ökande nedåt. Detta resulterade i att upp- och nedkontrollerna bytte plats.
  2. Mat utanför skärmen: Funktionen för att skapa mat använde canvasens bredd i pixel-space (cv.width, som var 400) som gräns för att välja en grid-koordinat, istället för bredden i grid-space (GRID, som var 20). Detta gjorde att cirka 95% av maten skapades utanför det synliga spelområdet.
  3. Skenande poäng: Kodraden för att öka poängen var placerad i huvudspelloopen istället för i den villkorliga gren som exekveras när ormen äter mat. Poängen ökade därför i varje frame, oavsett spelarens agerande.

Buggrapporten: Båda testgrupperna fick exakt samma prompt, som efterliknade ett icke-tekniskt användarklagomål: "kontrollerna känns fel, maten dyker aldrig upp, poängen ökar av sig själv."

Testgrupperna:

  • Grupp A (Baslinje): Claude utan installerad färdighet.
  • Grupp B (Färdighet): Samma Claude-modell med färdigheten Systematic Debugging installerad.

Resultat: Att hitta de planterade buggarna

Både baslinjemodellen och den färdighetsutrustade modellen identifierade och korrigerade alla tre buggar vi hade planterat. Vi verifierade detta genom att läsa igenom båda diffarna mot originalkoden, rad för rad, istället för att lita på någon av rapporterna.

Den primära skillnaden låg i precisionen i grundorsaksanalysen. Gruppen med Claude Code-felsökningsfärdigheten, som använde en hypotesdriven metod, formulerade de underliggande orsakerna mer exakt.

  • För de inverterade kontrollerna namngav den explicit konflikten mellan kartesiska koordinater och canvasens y-nedåt-konvention.
  • För den saknade maten identifierade den enhetskonflikten mellan gränser i pixel-space och koordinater i grid-space.
  • För poängen påpekade den att ökningen skedde i huvudloopen istället för i grenen för matkonsumtion.

Baslinjemodellen hittade och korrigerade också dessa problem, men dess förklaringar höll sig närmare det observerade symptomet och beskrev oftare vad som skulle ändras snarare än den konvention som hade brutits.

Vändningen: Den oplanterade buggen

Det var här testet gav ett genuint överraskande resultat, och ett avgörande sådant för att förstå de kompromisser som är involverade.

Baslinjegruppen, under sin analys, hittade en fjärde bugg som vi inte hade planterat. I originalkoden jämförde självkollisionskontrollen ormens huvudposition mot dess svanssegment innan det sista svanssegmentet togs bort för den aktuella framens rörelse. Detta skapade en subtil bugg: om spelaren rörde sig in i exakt den ruta som svansen lämnade under samma frame, registrerade spelet en falsk kollision och avslutades i förtid.

Baslinjemodellen, som läste koden mer fritt, identifierade och korrigerade detta icke-rapporterade problem.

Gruppen med färdigheten gjorde det inte.

Detta var inte ett misslyckande för färdigheten, utan en direkt konsekvens av dess design. Färdigheten Systematic Debugging är utformad för att formalisera felsökningsprocessen: formulera en hypotes baserad på ett symptom, utforma ett test och verifiera resultatet. Eftersom det inte fanns något symptom i buggrapporten som motsvarade falska kollisioner, formulerade den aldrig en hypotes för att undersöka den delen av koden. Dess undersökning förblev strikt begränsad till användarens klagomål.

Jämförelse av de två metoderna

Detta enskilda test avslöjar en fundamental filosofisk skillnad i felsökningsmetoder. Vi kan sammanfatta resultaten i en tabell:

Egenskap Baslinje (Claude utan färdighet) Färdighetsgrupp (Systematic Debugging)
Hittade planterade buggar? Ja (3 av 3) Ja (3 av 3)
Hittade oplanterad bugg? Ja Nej
Precision i grundorsak Bra Utmärkt
Token-kostnad 50,338 58,357 (+16%)

Den färdighetsbaserade metoden var mer metodisk och precis, men också mer snävt fokuserad. Baslinjens metod var mer som en allmän kodgranskning, vilket kostade färre tokens och råkade fånga ett problem utanför buggrapportens omedelbara omfång.

Domen: Vilken är den bästa Claude-färdigheten för felsökning?

Baserat på denna data är svaret: det beror helt på problemet du står inför.

Ingen av testgrupperna är strikt överlägsen. De representerar två giltiga och värdefulla felsökningssätt.

  • Den systematiska, hypotesdrivna metoden är vad du vill ha när du har en tillförlitlig buggrapport och behöver en fokuserad, effektiv korrigering. När tiden är knapp och symptomen är tydliga, förhindrar en systematisk felsökningsprocess med Claude Code slöseri med ansträngning och slumpmässiga gissningar. Den går rakt på det rapporterade problemet.

  • Den fritt utforskande metoden är vad du vill ha när du misstänker att buggrapporten är ofullständig eller när du hanterar äldre kod du inte litar på. Denna metod är mer benägen att upptäcka "okända okändheter"—de buggar som ännu inte har rapporterats, som den falska kollisionen i vårt test.

Det finns ingen enskild bästa Claude-färdighet för felsökning eftersom uppgiften att felsöka inte är monolitisk. Rätt verktyg beror på jobbet.

Andra färdigheter för felsökning och kodkvalitet

Medan vårt benchmark med Snake-spelet fokuserade på en färdighet, innehåller SkillProof-katalogen många testade färdigheter som är relevanta för den bredare disciplinen att producera korrekt, buggfri kod. Det är viktigt att notera att många färdigheter som skulle kunna vara användbara för felsökning fortfarande finns i vår kö för otestade färdigheter. Av de vi har testat representerar flera olika filosofier för att förbättra kodkvalitet.

Proaktiv granskning

Istället för att jaga ett specifikt symptom är vissa färdigheter utformade för att söka igenom en hel kodbas efter vanliga problem. Code Health Check är ett utmärkt exempel. I vårt test riktade vi den mot den medvetet buggiga Express-appen som ingår i färdighetens eget repository, vilket är värt att säga rakt ut: målet var författarens, inte vårt. Den agerade som en skrivskyddad skanner och producerade en allvarlighetsgrad-graderad rapport som korrekt identifierade alla 8 planterade problem, inklusive SQL-injektion, ett farligt eval()-anrop, hårdkodade hemligheter och ignorerade fel, allt med korrekta fil- och radhänvisningar. Detta är motsatsen till den symptomdrivna metoden; det är en omfattande granskning.

Förebygga buggar under utveckling

En del av den mest effektiva felsökningen sker innan en bugg ens har skrivits. Färdigheter som upprätthåller utvecklingsdiscipliner är avgörande här.

  • Test-Driven Development: Denna färdighet upprätthåller red-green-refactor-cykeln. I våra tester uppmanade den tillförlitligt till ett misslyckat test innan den skrev implementationskod och vägrade att hoppa över steget. Denna disciplin att skriva ett misslyckat test är det mest tillförlitliga sättet att reproducera en bugg innan du fixar den, en grundpelare i effektiv felsökning. Du kan läsa mer om färdigheter inom detta område i vår översikt över de bästa Claude-färdigheterna för testning.

  • Before You Refactor: Refactoring är en vanlig källa till regressioner. Denna färdighet tillhandahåller en checklista som i våra tester fångade en verklig bugg som en naiv refaktorering introducerade. Det avgörande steget var dess envishet att lägga till ett karaktäriseringstest för tidigare otestat beteende, vilket fångade ett subtilt problem som alla befintliga enhetstester missade.

Felsökning av live-applikationer och verktyg

Ibland manifesteras en bugg endast i ett körande system eller i själva utvecklingsverktygen.

  • Webapp Testing: När en bugg inte kan reproduceras i ett enhetstest kan du behöva styra själva applikationen. Vi använde denna färdighet för att styra en lokal webbapp med Playwright och navigerade framgångsrikt genom registrerings- och utcheckningsflöden. Den fångade en verklig regression som var osynlig på enhetsnivå men som förstörde användarupplevelsen.

  • Tool Calling Tutor: Ibland är det AI:ns eget beteende du felsöker. Denna färdighet är ett diagnostiskt verktyg för när en modell inte anropar ett verktyg korrekt. Vi gav den bedömningen setup eftersom dess egen installationsdokumentation var bristfällig—den refererade till filer som dess README-föreskrivna installationssteg inte kopierade. Detta är ett perfekt exempel på varför vi testar installation och publicerar icke-godkända bedömningar; ett verktyg för att fixa dina verktyg måste fungera direkt. För mer om detta ämne, se vår guide om vad man ska göra när en Claude-färdighet inte triggas.

Att välja en Claude Code-färdighet för felsökning handlar mindre om att hitta ett enda "bästa" verktyg och mer om att bygga en verktygslåda. Valet mellan en fokuserad undersökning, en bred granskning eller en förebyggande disciplin beror på din specifika kontext.

Relaterad läsning: För samma typ av jämförelse applicerad på granskning istället för reparation, se Claude Code-färdigheter för kodgranskning, testade sida vid sida. Hela körningen bakom denna artikel, inklusive båda diffarna och token-redovisningen, finns i The Skill Bench: systematic-debugging vs. baseline.

Alla färdigheter som nämns här, och hundratals fler, är testade och betygsatta i vår katalog. De flesta av dem finns i kodningskategorin; de webbläsarstyrda som Webapp Testing är arkiverade under testning. Om du hellre inte vill sätta ihop uppsättningen själv, samlar Developer Toolkit-paketet våra högst rankade kodningsfärdigheter för en engångskostnad på $10 på sidan för paket.

★ 9.6/10 × 3

Gratis startpaket

De 3 skills som fått våra högsta testbetyg plus installationschecklistan — setupen vi själva skulle lägga på en ny maskin. Gratis, via e-post.

Ett mejl med paketet + en kort veckosammanfattning av nya testresultat. Avsluta prenumerationen när du vill.