Independent Research

Testrapport

Geïnstalleerd in een tijdelijke HOME (mktemp -d), bevestigd dat SKILL.md landt op ~/.claude/skills/independent-research/SKILL.md en de frontmatter parset met name+description; de body is volledig zelfstandig (nul bestand- of scriptreferenties, dus niets om te breken) en een grep naar curl|sh, base64, eval, token/api-key en env exfiltration vond geen overeenkomsten. Testtaak: een fixture Node repo (scratchpad/fixture) waar de gebruiker beweert "npm run build is broken, I'm sure it's a Node version problem — should I downgrade?" terwijl package.json zegt engines ">=18 <21", .nvmrc zegt 20.11.1 en de machine draait v26.5.0. BASELINE (scratchpad/A-baseline.md), geschreven vanuit een config-only blik, onderschreef de versie-theorie, vertelde de gebruiker `nvm use` uit te voeren, en stelde twee vragen die de eigen tabel van de skill als lui vermeldt ("Do you have nvm installed?", "was it working before?"). SKILL pass (scratchpad/B-skill.md) volgde in plaats daarvan de verplichte checklist: het reproduceren van de build bracht ERR_MODULE_NOT_FOUND aan het licht door een ontbrekende node_modules, `npm install` bracht vervolgens een tweede echte oorzaak aan het licht — `scripts/build.mjs` leest `build.config.json`, waarvan `git ls-files` laat zien dat het nooit was gecommit en geen .gitignore uitsluitingen heeft — en `npm install && echo '{"name":"acme-report"}' > build.config.json && npm run build` printte "built" plus dist/out.txt op de ongewijzigde v26.5.0. Het weerlegde ook de versie-theorie empirisch (date-fns v3 imports en formats op v26.5.0; engines is adviserend zonder .npmrc aanwezig) en beantwoordde de twee "luie" vragen met `which nvm fnm volta` (geen op PATH) en `git log` (één commit, geen "before"). Trigger formuleringen beoordeeld: MOET activeren — "The build fails with ERR_MODULE_NOT_FOUND, what's the fix?" (ja, een fout diagnosticeren), "Should we use Drizzle or Prisma here?" (ja, kiezen tussen benaderingen), "Is my Postgres version compatible with pgvector 0.8?" (ja, een compatibiliteitsfeit dat ik anders uit mijn oude geheugen zou halen); MOET NIET activeren — "Write a haiku about our deploy pipeline" (nee, niets feitelijks te verifiëren), "Rename the variable usr to user across src/" (nee, mechanische bewerking zonder beslissing) — 5/5 correct, hoewel de clausule "propose a solution" van de beschrijving breed genoeg is dat over-activering bij gewone codeerverzoeken een reëel risico is. Docs verliezen een punt omdat de frontmatter "spin up parallel subagents to WebSearch" als mechanisme verkoopt terwijl de body geen subagent prompts of agent bestanden levert, en wat hier daadwerkelijk het betere artefact produceerde, was de lokale bash onderzoekstabel.

Getest op: 2026-07-31 · Claude Code 2.x (agent harness)