CLAUDE.md w stylu Karpathy'ego: weryfikacja umiejętności planowania adwersaryjnego

Repozytorium na GitHub z jednym plikiem CLAUDE.md zebrało w momencie pisania tego tekstu ponad 100 000 gwiazdek. Często określa się je mianem „umiejętności Karpathy'ego”, w nawiązaniu do pracy Andreja Karpathy'ego w dziedzinie AI i edukacji. Ta popularność rodzi kluczowe pytanie dla każdego dewelopera, który próbuje wyciągnąć więcej z dużych modeli językowych: czy ten wzorzec faktycznie działa?

Zanim przeanalizujemy wyniki naszych testów, konieczne są dwa wyjaśnienia. Po pierwsze, repozytorium, o którym mowa, zostało stworzone przez Forresta Changa; jest ono inspirowane Karpathym, a nie jego autorstwa. Po drugie, plik to CLAUDE.md, a nie SKILL.md. Jest to zestaw instrukcji dla człowieka do skopiowania i wklejenia w sesji czatu, a nie formalna umiejętność, którą można zainstalować, aby programowo modyfikować zachowanie modelu.

W SkillProof nie testujemy promptów typu „kopiuj-wklej”. Testujemy umiejętności. Instalujemy je, uruchamiamy na rzeczywistym kodzie i mierzymy ich wydajność w porównaniu z modelem bazowym. Aby zbadać to zjawisko, zidentyfikowaliśmy i przetestowaliśmy grupę umiejętności, które implementują ten sam wzorzec co CLAUDE.md Changa: planowanie adwersaryjne. Ten artykuł przedstawia nasze ustalenia.

Analiza wzorca „Grill-Me”

Główną ideą popularnego CLAUDE.md jest forma ustrukturyzowanej autokrytyki. Prompt instruuje model, aby nie tylko wygenerował odpowiedź, ale przyjął personę — panel ekspertów-krytyków — w celu zakwestionowania i udoskonalenia własnego wyniku przed przedstawieniem ostatecznej wersji. Proces ten zazwyczaj wygląda następująco:

1. Plan początkowy: Model generuje ogólny plan rozwiązania problemu użytkownika.
2. Autokrytyka: Model jest proszony o „prześwietlenie” własnego planu, identyfikując potencjalne wady, przypadki brzegowe i ryzyka implementacyjne. Może wymienić słabe punkty lub zadać sobie pytania wyjaśniające.
3. Udoskonalony wynik: Na podstawie krytyki model tworzy bardziej solidną, ostateczną odpowiedź.

Ta technika jest formą planowania adwersaryjnego. Zmuszasz model do działania jako własny „red team”, symulując proces weryfikacji, który normalnie wymagałby drugiej osoby lub osobnego etapu sprawdzania. Hipoteza zakłada, że ten wewnętrzny dialog prowadzi do bardziej przemyślanego i poprawnego rezultatu, zwłaszcza w przypadku złożonych zadań, takich jak projektowanie systemów czy implementacja algorytmów.

To właśnie ten wzorzec postanowiliśmy przetestować. Kiedy deweloperzy pytają o recenzję umiejętności „karpathy claude skill review”, pytają właśnie o ten mechanizm. Czy zmuszenie modelu do autokrytyki prowadzi do mierzalnie lepszego kodu?

CLAUDE.md kontra SKILL.md: kluczowa różnica

Różnica między CLAUDE.md a SKILL.md nie jest tylko semantyczna; jest fundamentalna dla sposobu, w jaki oceniamy wydajność.

CLAUDE.md to manualny prompt. Jego skuteczność może się znacznie różnić w zależności od umiejętności adaptacji przez użytkownika, specyfiki jego danych wejściowych i stanu sesji czatu. To przepis, a nie narzędzie. Nie da się testować przepisu w standaryzowany sposób.

Plik SKILL.md, zgodnie z definicją i zastosowaniem w katalogu SkillProof, to kanoniczny, wersjonowany plik, który programowo zmienia systemowy prompt modelu. Kiedy używasz umiejętności z naszego katalogu, jest ona instalowana jednorazowo. Każde kolejne zapytanie do modelu korzysta z instrukcji tej umiejętności (lub jest przez nie ograniczane), bez ręcznego kopiowania i wklejania. Pozwala to na powtarzalne, obiektywne testowanie.

Cała nasza metodologia testowania opiera się na tej zasadzie. Bierzemy plik SKILL.md, instalujemy go i uruchamiamy w ramach serii zadań z realnego świata. Porównujemy jego wynik — pod względem poprawności, wydajności i zgodności z wymaganiami — z dokładnie tym samym modelem bez zainstalowanej umiejętności. Uzyskany wynik jest bezpośrednią miarą wartości dodanej (lub odjętej) przez daną umiejętność.

W ramach tego badania nie testowaliśmy bezpośrednio pliku Forresta Changa. Zamiast tego pozyskaliśmy od społeczności wiele umiejętności, które formalizują wzorzec planowania adwersaryjnego do formatu SKILL.md wielokrotnego użytku. Pozwoliło nam to odpowiedzieć na pytanie: czy sam wzorzec, stosowany konsekwentnie, spełnia swoje obietnice?

Nasza metodologia testowania umiejętności adwersaryjnych

Aby przeprowadzić rzetelną analizę w ramach testu umiejętności „grill-me claude skill tested”, wybraliśmy reprezentatywny zestaw zadań, które są częstymi problemami dla deweloperów i w których bardziej „rozważny” model mógłby teoretycznie przodować:

• Złożony refaktoring: Przepisywanie monolitycznej funkcji o wysokiej złożoności cyklomatycznej na mniejsze, testowalne jednostki.
• Generowanie klienta API: Pisanie biblioteki klienckiej dla umiarkowanie złożonej specyfikacji OpenAPI, w tym obsługa błędów oraz modele żądań i odpowiedzi.
• Implementacja algorytmu: Implementacja nietrywialnego algorytmu na podstawie opisu prozą, takiego jak A* pathfinding lub kolejka priorytetowa.
• Generowanie testów jednostkowych: Pisanie kompleksowego zestawu testów jednostkowych dla klasy z wieloma zależnościami i przypadkami brzegowymi.

Dla każdego zadania przeprowadziliśmy dwie próby: jedną ze zwykłym Claude (model bazowy, bez umiejętności) i jedną z zainstalowaną umiejętnością planowania adwersaryjnego. Ocenialiśmy wyniki na podstawie kryteriów obejmujących poprawność funkcjonalną, jakość kodu, kompletność i wydajność. Ostateczny wynik dla umiejętności reprezentuje jej średnią zmianę wydajności we wszystkich testowanych zadaniach.

W ten rygorystyczny sposób oceniliśmy wszystkie 1416 umiejętności obecnie śledzonych w naszym systemie. To zróżnicowany krajobraz: tylko 889 (63%) z tych umiejętności spełnia nasze kryteria zapewnienia korzyści netto. Kolejne 467 wymaga nietrywialnej konfiguracji lub jest przydatnych tylko w bardzo specyficznych kontekstach. Testowane przez nas umiejętności planowania adwersaryjnego należały do wszystkich tych kategorii.

Werdykt: czy umiejętność inspirowana Karpathym faktycznie działa?

Odpowiedź jest złożona. Skuteczność wzorca planowania adwersaryjnego w dużym stopniu zależy od złożoności zadania. Nie jest to uniwersalne ulepszenie. W przypadku niektórych zadań jest wręcz szkodliwy.

Nasze testy wykazały wyraźny trend:

Typ zadania	Wydajność zwykłego Claude	Wydajność umiejętności adwersaryjnej	Werdykt
Prosty boilerplate (np. komponent React)	Szybko, 95% poprawności	Wolniej, nadmierna krytyka, 90% poprawności	Negatywny wpływ
Złożony refaktoring	Często pomija przypadki brzegowe	Wyłapuje więcej przypadków brzegowych, ale rozwlekle	Korzyść netto
Projektowanie algorytmu od zera	Podatny na luki logiczne	Lepsza struktura logiczna, wolniej	Korzyść netto
Debugowanie nieoczywistych błędów	Często sugeruje powierzchowne poprawki	Bada głębsze przyczyny źródłowe	Korzyść netto

W przypadku prostych, dobrze zdefiniowanych zadań, wzorzec adwersaryjny generuje niepotrzebny narzut. Model zużywa tokeny i czas na krytykowanie planu, który był już wystarczający. W niektórych przypadkach proces autokrytyki wręcz wprowadzał błędy, gdy model halucynował wady, a następnie je „naprawiał”, psując w pełni poprawny kod. To kluczowe odkrycie dla każdego, kto zastanawia się, czy „karpathy claude md worth it” jest wart użycia w codziennym kodowaniu.

Jednak w przypadku złożonych, otwartych zadań — tego rodzaju, które często stanowią problem dla młodszego dewelopera — wzorzec zapewnia wymierną korzyść. Poproszony o zaprojektowanie systemu lub refaktoryzację splątanego fragmentu starszego kodu, faza autokrytyki zmusza model do rozważenia interakcji i przypadków brzegowych, które zwykły Claude często pomija. Ostateczny wynik jest bardziej solidny i wymaga mniej ludzkiej korekty, nawet jeśli jego generowanie trwa dłużej i jest znacznie bardziej rozwlekły.

Jedna z testowanych przez nas umiejętności planowania adwersaryjnego wyraźnie przewyższyła model bazowy w otwartych zadaniach projektowania systemów, ale uzyskała gorszy wynik w generowaniu prostego boilerplate'u. Podkreśla to potrzebę stosowania odpowiedniej umiejętności do odpowiedniego zadania, zamiast poszukiwania jednego „boskiego promptu”, który rządziłby wszystkimi.

Ukryty koszt: rozwlekłość i negatywne wyniki

Najbardziej bezpośrednią wadą tego wzorca jest rozwlekłość. Odpowiedź z umiejętności wykorzystującej planowanie adwersaryjne może być 3-5 razy dłuższa niż odpowiedź od zwykłego Claude. Zawiera ona plan, pełną krytykę, a następnie ostateczną odpowiedź. Chociaż kroki pośrednie mogą dać wgląd w „myślenie” modelu, zwiększają również zużycie tokenów i obciążenie poznawcze dewelopera, który musi to wszystko przeczytać.

Bardziej niepokojące jest ryzyko negatywnej wydajności. Źle zaimplementowana umiejętność jest gorsza niż brak jakiejkolwiek umiejętności. W SkillProof naszym najważniejszym odkryciem nie jest lista umiejętności, które działają, ale lista tych, które nie działają. Na dzień dzisiejszy 60 przetestowanych przez nas umiejętności uzyskało wynik PONIŻEJ zwykłego Claude. Aktywnie sprawiają, że model jest mniej dokładny, mniej wydajny lub mniej niezawodny.

Kilka z testowanych przez nas umiejętności planowania adwersaryjnego należało do tej kategorii. Schemat porażki był spójny: faza krytyki wpadała w pętlę lub „persony ekspertów” zaprzeczały sobie nawzajem, co prowadziło do zdezorientowanego i niepoprawnego wyniku końcowego. W jednym z testów umiejętność mająca na celu optymalizację zapytań SQL wpadła w pętlę krytyki, w której debatowała nad zaletami JOIN vs. INNER JOIN (które są funkcjonalnie identyczne w większości dialektów) i nie wygenerowała żadnego zapytania.

Taka jest rzeczywistość ekosystemu umiejętności AI, daleka od medialnego szumu. Popularność i gwiazdki na GitHub nie są skorelowane z wydajnością. Sprytny wzorzec promptu może równie dobrze zaszkodzić, co pomóc. Jedynym sposobem, aby się o tym przekonać, jest przetestowanie go.

Więc, czy ten wzorzec jest tego wart?

Wróćmy do pierwotnego pytania. Czy wzorzec z inspirowanego Karpathym pliku CLAUDE.md jest tego wart?

Jako narzędzie do nauki — absolutnie. Przeczytanie CLAUDE.md Changa i podobnych promptów to doskonały sposób na zrozumienie koncepcji „chain-of-thought” i autokorekty. Ręczne eksperymentowanie z nim może pomóc w rozwinięciu lepszej intuicji w tworzeniu promptów.

Jako narzędzie produkcyjne w formie zainstalowanego pliku SKILL.md, odpowiedź brzmi: „to zależy”. Nasze dane pokazują, że w przypadku konkretnych zadań o wysokiej złożoności, dobrze zaimplementowana umiejętność adwersaryjna może być potężnym narzędziem dla doświadczonych inżynierów. Może działać jak niestrudzony, logiczny konsultant przy złożonych problemach. W codziennym kodowaniu prawdopodobnie będzie powolna, kosztowna i potencjalnie nieproduktywna.

To jest dokładnie problem, do rozwiązania którego stworzono SkillProof. Zamiast polegać na popularności czy liczbie gwiazdek, możesz polegać na naszych danych. Oddzielamy umiejętności, które zapewniają realny, mierzalny wzrost wydajności, od tych, które są tylko sprytnymi, ale nieskutecznymi promptami.

Warto przeczytać: jaki odsetek umiejętności faktycznie pokonuje zwykłego Claude · jak testujemy każdą umiejętność przed umieszczeniem jej na liście.

Przetestowaliśmy dziesiątki umiejętności wykorzystujących planowanie adwersaryjne i inne zaawansowane techniki. Aby zobaczyć, które z nich przeszły nasze testy w warunkach rzeczywistych i uzyskały ocenę SkillProof, możesz przejrzeć kategorię Produktywność i przepływ pracy w naszym katalogu. Najlepsze umiejętności ze wszystkich kategorii łączymy również w pakiet startowy za 10 USD, dając Ci zestaw zweryfikowanych narzędzi, które naprawdę działają.