
Claude-ferdigheter for feilsøking: Hvilke finner feilen
Feilsøking med Claude Code-ferdigheter: En kontrollert test
Utviklere som evaluerer Claude Code-ferdigheter spør ofte hvilke som er best for en spesifikk oppgave som feilsøking. Det er et rimelig spørsmål, men vanskelig å besvare uten kontrollerte tester. Hos SkillProof er jobben vår å installere, kjøre og ytelsesteste ferdigheter på reelle oppgaver for å gi disse svarene. Vi publiserer alle resultatene, inkludert de som feiler.
Katalogen vår inneholder for tiden 2172 testede ferdigheter. Av disse har 1338 (62 %) bestått testene våre og yter som annonsert. Ytterligere 725 har fått vurderingen «oppsett»: de fungerer, men kun etter manuelle steg som ferdigheten ikke utfører for deg. Ytterligere 109 fikk vurderingen «feilet», som betyr at de enten ikke kunne kjøres i det hele tatt slik de ble levert, eller scoret lavere enn ren Claude på oppgaven de annonserer. Vi publiserer disse vurderingene og testnotatene bak dem, fordi tilfellene som feiler er den delen et register med selvrapporterte beskrivelser aldri kan gi deg.
Denne artikkelen undersøker ytelsen til Claude Code-ferdigheter for feilsøking gjennom en enkelt, detaljert ytelsestest vi kjørte. Det er viktig å presisere med en gang: dette var ikke en bred kartlegging av alle feilsøkingsferdigheter. Det var en to-armet kontrollert test designet for å sammenligne én spesifikk tilnærming mot en grunnlinje. Alle data er publisert i vår Skill Bench part 3.
Testoppsettet: Et ødelagt Snake-spill
For å skape et realistisk feilsøkingsscenario, tok vi et fungerende, canvas-basert Snake-spill skrevet i JavaScript og introduserte med vilje tre distinkte feil. Vi presenterte deretter den ødelagte koden for to versjoner av Claude, og ga kun en overordnet feilrapport fra en spillers perspektiv.
Testobjektet: Et standard Snake-spill som bruker HTML canvas API. Koden var selvstendig og skrevet i ren JavaScript.
De plantede feilene:
- Inverterte kontroller:
ArrowUp- ogArrowDown-tastene brukte kartesiske retningsvektorer (hvor y øker oppover), men canvas-koordinatsystemet har y som øker nedover. Dette resulterte i at opp- og ned-kontrollene ble byttet om. - Mat utenfor skjermen: Funksjonen for å generere mat brukte canvasets bredde i pikselrom (
cv.width, som var 400) som en grense for å velge en rutenettkoordinat, i stedet for bredden i rutenettrom (GRID, som var 20). Dette førte til at omtrent 95 % av maten ble generert utenfor det synlige spillområdet. - Løpsk poengsum: Kodelinjen for å øke poengsummen var plassert i hovedspill-løkken i stedet for i den betingede grenen som kjøres når slangen spiser mat. Poengsummen økte derfor for hver bilderamme, uavhengig av spillerens handlinger.
Feilrapporten: Begge testarmene mottok nøyaktig samme prompt, som etterlignet en ikke-teknisk brukerklage: «kontrollene føles feil, maten dukker aldri opp, poengsummen øker av seg selv.»
Testarmene:
- Arm A (Grunnlinje): Ren Claude uten noen ferdighet installert.
- Arm B (Ferdighet): Samme Claude-modell med ferdigheten Systematic Debugging installert.
Resultater: Funn av de plantede feilene
Både grunnlinjemodellen og den ferdighetsutstyrte modellen identifiserte og fikset alle tre feilene vi hadde plantet. Vi verifiserte dette ved å lese gjennom begge diff-ene mot den opprinnelige koden, linje for linje, i stedet for å stole på noen av rapportene.
Den primære forskjellen lå i presisjonen i rotårsaksanalysen. Armen med Claude Code-feilsøkingsferdigheten, som brukte en hypotesedrevet metode, artikulerte de underliggende årsakene mer nøyaktig.
- For de inverterte kontrollene, navnga den eksplisitt konflikten mellom kartesiske koordinater og canvas-konvensjonen med y-aksen nedover.
- For den manglende maten, identifiserte den enhetsuoverensstemmelsen mellom grenser i pikselrom og koordinater i rutenettrom.
- For poengsummen, påpekte den at økningen var i hovedløkken i stedet for i grenen for matinntak.
Grunnlinjemodellen fant og fikset også disse problemene, men forklaringene holdt seg nærmere det observerte symptomet, og beskrev oftere hva som skulle endres enn hvilken konvensjon som var brutt.
Vrien: Den uplantede feilen
Her produserte testen et genuint overraskende resultat, og et avgjørende et for å forstå avveiningene som er involvert.
Grunnlinjearmen fant, i løpet av sin analyse, en fjerde feil som vi ikke hadde plantet. I den opprinnelige koden sammenlignet selvkollisjonssjekken slangens hodeposisjon mot halesegmentene før det siste halesegmentet ble fjernet for den bilderammens bevegelse. Dette skapte en subtil feil: hvis spilleren beveget seg inn i nøyaktig den ruten halen forlot i samme bilderamme, ville spillet registrere en falsk kollisjon og avslutte for tidlig.
Grunnlinjemodellen, som leste koden friere, identifiserte og fikset dette urapporterte problemet.
Ferdighetsarmen gjorde det ikke.
Dette var ikke en svikt fra ferdighetens side, men en direkte konsekvens av dens design. Ferdigheten Systematic Debugging er designet for å formalisere feilsøkingsprosessen: danne en hypotese basert på et symptom, utforme en test og verifisere resultatet. Siden det ikke var noe symptom i feilrapporten som korresponderte med falske kollisjoner, dannet den aldri en hypotese for å undersøke den delen av koden. Undersøkelsen forble strengt avgrenset til brukerens klage.
Sammenligning av de to tilnærmingene
Denne ene testen avslører en fundamental filosofisk forskjell i feilsøkingstilnærminger. Vi kan oppsummere funnene i en tabell:
| Egenskap | Grunnlinje (Ren Claude) | Ferdighetsarm (Systematic Debugging) |
|---|---|---|
| Fant plantede feil? | Ja (3 av 3) | Ja (3 av 3) |
| Fant uplantet feil? | Ja | Nei |
| Presisjon i rotårsak | God | Utmerket |
| Token-kostnad | 50,338 | 58,357 (+16 %) |
Den ferdighetsbaserte tilnærmingen var mer metodisk og presis, men også snevrere fokusert. Grunnlinjens tilnærming var mer som en generell kodegjennomgang, som kostet færre tokens og tilfeldigvis fanget opp et problem utenfor feilrapportens umiddelbare omfang.
Konklusjonen: Hva er den beste Claude-ferdigheten for feilsøking?
Basert på disse dataene er svaret: det avhenger helt av problemet du står overfor.
Ingen av testarmene er strengt tatt overlegne. De representerer to gyldige og verdifulle måter å feilsøke på.
Den systematiske, hypotesedrevne tilnærmingen er det du vil ha når du har en pålitelig feilrapport og trenger en fokusert, effektiv fiks. Når klokken tikker og symptomene er klare, forhindrer en systematisk Claude Code-feilsøkingsprosess bortkastet innsats og tilfeldig gjesting. Den går rett på det rapporterte problemet.
Den frittgående, utforskende tilnærmingen er det du vil ha når du mistenker at feilrapporten er ufullstendig eller når du jobber med eldre kode du ikke stoler på. Denne tilnærmingen har større sannsynlighet for å oppdage «ukjente ukjente» – feilene som ennå ikke er rapportert, som den falske kollisjonen i vår test.
Det finnes ingen enkelt beste Claude-ferdighet for feilsøking fordi oppgaven med å feilsøke ikke er monolittisk. Riktig verktøy avhenger av jobben.
Andre ferdigheter for feilsøking og kodekvalitet
Selv om vår ytelsestest med Snake-spillet fokuserte på én ferdighet, inneholder SkillProof-katalogen mange testede ferdigheter som er relevante for den bredere disiplinen med å produsere korrekt, feilfri kode. Det er viktig å merke seg at mange ferdigheter som kan være nyttige for feilsøking, fortsatt er i vår utestede kø. Av de vi har testet, representerer flere ulike filosofier for å forbedre kodekvalitet.
Proaktiv revisjon
I stedet for å jakte på et spesifikt symptom, er noen ferdigheter designet for å gjennomsøke en hel kodebase for vanlige problemer. Code Health Check er et godt eksempel. I vår test rettet vi den mot den bevisst feilfylte Express-appen som fulgte med i ferdighetens eget repository, noe som er verdt å si rett ut: målet var forfatterens, ikke vårt. Den fungerte som en skrivebeskyttet skanner og produserte en alvorlighetsgradert rapport som korrekt identifiserte alle 8 plantede problemer, inkludert SQL-injeksjon, et farlig eval()-kall, hardkodede hemmeligheter og ignorerte feil, alt med korrekte fil- og linjehenvisninger. Dette er det motsatte av den symptomdrevne tilnærmingen; det er en omfattende revisjon.
Forebygge feil under utvikling
Noe av den mest effektive feilsøkingen skjer før en feil i det hele tatt blir skrevet. Ferdigheter som håndhever utviklingsdisipliner er kritiske her.
Test-Driven Development: Denne ferdigheten håndhever rød-grønn-refaktor-syklusen. I vår testing ba den pålitelig om en feilende test før den skrev implementasjonskode og nektet å hoppe over steget. Denne disiplinen med å skrive en feilende test er den mest pålitelige måten å reprodusere en feil på før du fikser den, et kjerneprinsipp i effektiv feilsøking. Du kan lese mer om ferdigheter på dette området i vår oversikt over de beste Claude-ferdighetene for testing.
Before You Refactor: Refaktorering er en vanlig kilde til regresjoner. Denne ferdigheten gir en sjekkliste som, i vår testing, fanget en reell feil en naiv refaktorering introduserte. Det sentrale steget var dens insistering på å legge til en karakteriseringstest for tidligere utestet atferd, noe som fanget et subtilt problem som alle eksisterende enhetstester overså.
Feilsøking av kjørende applikasjoner og verktøy
Noen ganger manifesterer en feil seg bare i et kjørende system eller i selve utviklingsverktøyene.
Webapp Testing: Når en feil ikke kan reproduseres i en enhetstest, kan det være nødvendig å styre selve applikasjonen. Vi brukte denne ferdigheten til å styre en lokal webapp med Playwright, og navigerte vellykket gjennom registrerings- og betalingsflyter. Den fanget en reell regresjon som var usynlig på enhetsnivå, men som ødela brukeropplevelsen.
Tool Calling Tutor: Noen ganger er det AI-ens egen atferd du feilsøker. Denne ferdigheten er et diagnostisk verktøy for når en modell ikke kaller et verktøy korrekt. Vi ga den vurderingen «oppsett» fordi dens egen installasjonsdokumentasjon var mangelfull – den refererte til filer som installasjonsstegene foreskrevet i
README-filen ikke kopierte. Dette er et perfekt eksempel på hvorfor vi tester installasjon og publiserer vurderinger som ikke er «bestått»; et verktøy for å fikse verktøyene dine må fungere rett ut av boksen. For mer om dette emnet, se vår guide om hva du skal gjøre når en Claude-ferdighet ikke utløses.
Å velge en Claude Code-ferdighet for feilsøking handler mindre om å finne ett enkelt «beste» verktøy og mer om å bygge en verktøykasse. Valget mellom en fokusert undersøkelse, en bred revisjon eller en forebyggende disiplin avhenger av din spesifikke kontekst.
Relatert lesning: For den samme «head-to-head»-behandlingen anvendt på gjennomgang i stedet for reparasjon, se Claude Code-ferdigheter for kodegjennomgang, testet «head-to-head». Hele kjøringen bak denne artikkelen, inkludert begge diff-ene og token-regnskapet, finnes i The Skill Bench: systematic-debugging vs. baseline.
Alle ferdighetene nevnt her, og hundrevis flere, er testet og vurdert i vår katalog. De fleste av dem ligger i koding-kategorien; de nettleserdrevne som Webapp Testing er arkivert under testing. Hvis du heller vil slippe å sette sammen settet selv, samler Developer Toolkit-pakken våre toppscorende kodeferdigheter for en engangssum på $10 på pakkesiden.
★ 9.6/10 × 3
Den gratis startpakken
De 3 skillsene med våre høyeste testscorer pluss installasjonssjekklisten — oppsettet vi selv ville lagt på en fersk maskin. Gratis, på e-post.