Il CLAUDE.md ispirato a Karpathy: una verifica sulle capacità di pianificazione avversariale

Un repository GitHub con un singolo file CLAUDE.md ha accumulato oltre 100.000 stelle al momento della stesura di questo articolo. Viene spesso definito la "skill di Karpathy", un riferimento al lavoro di Andrej Karpathy nell'IA e nella formazione. Questa popolarità solleva una domanda cruciale per qualsiasi sviluppatore che cerchi di ottenere di più dai modelli linguistici di grandi dimensioni: questo pattern funziona davvero?

Prima di analizzare i risultati dei nostri test, sono essenziali due punti di chiarimento. Primo, il repository in questione è stato creato da Forrest Chang; è ispirato a Karpathy, non creato da Karpathy. Secondo, il file è un CLAUDE.md, non uno SKILL.md. È un insieme di istruzioni che un essere umano può copiare e incollare in una sessione di chat, non una skill formale che può essere installata per modificare programmaticamente il comportamento del modello.

In SkillProof, non testiamo prompt da copia-incolla. Testiamo le skill. Le installiamo, le eseguiamo su codice reale e misuriamo le loro prestazioni rispetto al modello base. Per indagare su questo fenomeno, abbiamo identificato e testato un gruppo di skill che implementano lo stesso pattern di base del CLAUDE.md di Chang: la pianificazione avversariale. Questo articolo presenta i nostri risultati.

Decostruire il pattern "Grill-Me"

L'idea centrale dietro il popolare CLAUDE.md è una forma di autocritica strutturata. Il prompt istruisce il modello non solo a produrre una risposta, ma ad adottare una persona — un panel di critici esperti — per sfidare e rifinire il proprio output prima di presentare una versione finale. Il processo si svolge tipicamente in questo modo:

1. Piano Iniziale: Il modello genera un piano di alto livello per risolvere la richiesta dell'utente.
2. Autocritica: Al modello viene richiesto di mettere alla prova ("grill") il proprio piano, identificando potenziali difetti, casi limite e rischi di implementazione. Potrebbe elencare punti deboli o porsi domande chiarificatrici.
3. Output Raffinato: Sulla base della critica, il modello produce una risposta finale più robusta.

Questa tecnica è una forma di pianificazione avversariale. Si forza il modello ad agire come il proprio "red team", simulando un processo di revisione che normalmente richiederebbe una seconda persona o una fase di verifica separata. L'ipotesi è che questo dialogo interno produca un risultato più ponderato e corretto, specialmente per compiti complessi come la progettazione di sistemi o l'implementazione di algoritmi.

Questo è il pattern che ci siamo proposti di testare. Quando gli sviluppatori chiedono una revisione della skill "karpathy claude", questo è il meccanismo a cui si riferiscono. Forzare un modello ad autocriticarsi porta a un codice misurabilmente migliore?

CLAUDE.md vs. SKILL.md: una distinzione fondamentale

La differenza tra un CLAUDE.md e uno SKILL.md non è solo semantica; è fondamentale per come valutiamo le prestazioni. Un CLAUDE.md è un prompt manuale. La sua efficacia può variare notevolmente a seconda della capacità dell'utente di adattarlo, delle specifiche del suo input e dello stato della sua sessione di chat. È una ricetta, non uno strumento. Non è possibile effettuare il benchmark di una ricetta in modo standardizzato.

Uno SKILL.md, come definito e utilizzato nella directory di SkillProof, è un file canonico e versionato che altera programmaticamente il system prompt del modello. Quando si utilizza una skill dalla nostra directory, questa viene installata una sola volta. Ogni richiesta successiva al modello beneficia (o è ostacolata) dalle istruzioni di quella skill, senza alcun copia-incolla manuale. Ciò consente test ripetibili e oggettivi.

La nostra intera metodologia di test si basa su questo principio. Prendiamo uno SKILL.md, lo installiamo e lo eseguiamo su una serie di compiti reali. Confrontiamo il suo output — in termini di correttezza, efficienza e aderenza ai requisiti — con lo stesso identico modello senza alcuna skill installata. Il punteggio risultante è una misura diretta del valore aggiunto (o sottratto) da quella skill.

Per questa indagine, non abbiamo testato direttamente il file di Forrest Chang. Abbiamo invece reperito dalla community diverse skill che formalizzano il pattern di pianificazione avversariale in un formato SKILL.md riutilizzabile. Questo ci ha permesso di rispondere alla domanda: il pattern stesso, quando applicato in modo coerente, mantiene le sue promesse?

La nostra metodologia di test per le skill avversariali

Per condurre un'analisi equa del tipo grill-me claude skill tested, abbiamo selezionato un insieme rappresentativo di compiti che sono punti critici comuni per gli sviluppatori e dove un modello più "riflessivo" potrebbe teoricamente eccellere:

• Refactoring Complesso: Riscrivere una funzione monolitica con alta complessità ciclomatica in unità più piccole e testabili.
• Generazione di Client API: Scrivere una libreria client per una specifica OpenAPI moderatamente complessa, includendo la gestione degli errori e i modelli di richiesta/risposta.
• Implementazione di Algoritmi: Implementare un algoritmo non banale da una descrizione in prosa, come il pathfinding A* o una coda di priorità.
• Generazione di Unit Test: Scrivere una suite completa di unit test per una classe con molteplici dipendenze e casi limite.

Per ogni compito, abbiamo eseguito due prove: una con Claude base (il modello senza skill) e una con una skill di pianificazione avversariale installata. Abbiamo valutato gli output sulla base di una rubrica che include correttezza funzionale, qualità del codice, completezza ed efficienza. Il punteggio finale di una skill rappresenta il suo delta di performance medio su tutti i compiti testati.

Questo processo rigoroso è il modo in cui abbiamo valutato tutte le 1416 skill attualmente tracciate nel nostro sistema. È un panorama eterogeneo: solo 889 (63%) di queste skill superano la nostra soglia per fornire un beneficio netto positivo. Altre 467 richiedono una configurazione non banale o sono utili solo in contesti molto specifici. Le skill di pianificazione avversariale che abbiamo testato rientrano in tutte queste categorie.

Il verdetto: la skill ispirata a Karpathy funziona davvero?

La risposta è sfumata. L'efficacia del pattern di pianificazione avversariale dipende fortemente dalla complessità del compito. Non è un miglioramento universale. Per alcuni compiti, è attivamente dannoso.

I nostri test hanno mostrato una tendenza chiara:

Tipo di Compito	Performance Claude Base	Performance Skill Avversariale	Verdetto
Boilerplate Semplice (es. un componente React)	Veloce, 95% corretto	Più lento, critica eccessiva, 90% corretto	Impatto Negativo
Refactoring Complesso	Spesso tralascia i casi limite	Individua più casi limite, ma è verboso	Netto Positivo
Progettazione di Algoritmi da zero	Soggetto a lacune logiche	Migliore struttura logica, più lento	Netto Positivo
Debugging di Errori Oscuri	Spesso suggerisce soluzioni superficiali	Esplora cause più profonde	Netto Positivo

Per compiti semplici e ben definiti, il pattern avversariale aggiunge un overhead non necessario. Il modello consuma token e tempo per criticare un piano che era già sufficiente. In alcuni casi, il processo di autocritica ha persino introdotto errori, poiché il modello ha "allucinato" difetti e poi li ha "corretti", rompendo codice perfettamente funzionante. Questa è una scoperta cruciale per chiunque si chieda se il "karpathy claude md" valga la pena per la programmazione quotidiana.

Tuttavia, per compiti complessi e aperti — il tipo che spesso mette in difficoltà un sviluppatore junior — il pattern fornisce un beneficio misurabile. Quando gli viene chiesto di progettare un sistema o di effettuare il refactoring di un pezzo intricato di codice legacy, la fase di autocritica costringe il modello a considerare interazioni e casi limite che Claude base spesso tralascia. L'output finale è più robusto e richiede meno correzioni umane, anche se richiede più tempo per essere generato ed è significativamente più verboso.

Una skill di pianificazione avversariale che abbiamo testato ha chiaramente superato il modello base su compiti di progettazione di sistemi aperti, ma ha ottenuto un punteggio inferiore nella generazione di semplice boilerplate. Ciò evidenzia la necessità di applicare la skill giusta al lavoro giusto, piuttosto che cercare un singolo "god prompt" che li domini tutti.

Il costo nascosto: verbosità e punteggi negativi

Lo svantaggio più immediato di questo pattern è la verbosità. Una risposta da una skill che utilizza la pianificazione avversariale può essere 3-5 volte più lunga di una risposta di Claude base. Include il piano, la critica completa e poi la risposta finale. Sebbene i passaggi intermedi possano offrire una visione del "pensiero" del modello, aumentano anche il consumo di token e il carico cognitivo sullo sviluppatore che deve leggere tutto.

Più preoccupante è il rischio di prestazioni negative. Una skill implementata male è peggio di nessuna skill. In SkillProof, la nostra scoperta più importante non è l'elenco delle skill che funzionano, ma l'elenco di quelle che non funzionano. Ad oggi, 60 skill che abbiamo testato hanno ottenuto un punteggio INFERIORE a Claude base. Rendono attivamente il modello meno accurato, meno efficiente o meno affidabile.

Diverse delle skill di pianificazione avversariale che abbiamo testato rientravano in questa categoria. La modalità di fallimento era coerente: la fase di critica si bloccava in un loop, o le "persone esperte" si contraddicevano a vicenda, portando a un output finale confuso e errato. In un test, una skill per l'ottimizzazione di query SQL è entrata in un loop di critica in cui discuteva i meriti di JOIN vs. INNER JOIN (che sono funzionalmente identici nella maggior parte dei dialetti) e non è riuscita a produrre alcuna query.

Questa è la realtà anti-clamore dell'ecosistema delle skill di IA. Popolarità e stelle su GitHub non sono correlate alle prestazioni. Un pattern di prompt intelligente ha la stessa probabilità di danneggiare quanto di aiutare. L'unico modo per saperlo è testarlo.

Quindi, ne vale la pena?

Torniamo alla domanda originale. Il pattern del CLAUDE.md ispirato a Karpathy ne vale la pena?

Come strumento di apprendimento, assolutamente. Leggere il CLAUDE.md di Chang e prompt simili è un modo eccellente per comprendere il concetto di "chain-of-thought" e di autocorrezione. Sperimentare manualmente può aiutare a sviluppare una migliore intuizione nel prompting.

Come strumento di produzione sotto forma di uno SKILL.md installato, la risposta è un deciso "dipende". I nostri dati mostrano che per compiti specifici e ad alta complessità, una skill avversariale ben implementata può essere uno strumento potente per gli ingegneri senior. Può agire come una cassa di risonanza logica e instancabile per problemi complessi. Per la programmazione quotidiana, è probabile che sia lento, costoso e potenzialmente controproducente.

Questo è precisamente il problema che SkillProof è stato creato per risolvere. Invece di fare affidamento sul clamore o sul numero di stelle, potete fare affidamento sui nostri dati. Separiamo le skill che forniscono un miglioramento reale e misurabile da quelle che sono solo prompt intelligenti ma inefficaci.

Letture correlate: la percentuale di skill che battono davvero Claude base · come testiamo ogni skill prima di listarla.

Abbiamo testato dozzine di skill che utilizzano la pianificazione avversariale e altre tecniche avanzate. Per vedere quali hanno superato i nostri test reali e ottenuto un punteggio SkillProof, potete consultare la categoria Produttività e Flusso di Lavoro nella nostra directory. Raggruppiamo anche le skill con le migliori prestazioni di tutte le categorie in uno starter pack a 10$, fornendovi un set di strumenti verificati che funzionano davvero.