SkillProof tested Claude skills

Skill Article Publisher

MDX lint og semantic-commit git-publicering — brudt i praksis

Af foreveryh · foreveryh/claude-skills-tutorial

Tested · Didn't pass

Skill Article Publisher — MDX lint og semantic-commit git-publicering — brudt i praksis

Hvad det gør

Indeholder to Python-scripts, der hævder at validere MDX-artikler (frontmatter, escaped comparison operators, tag balance), køre en build-kontrol, generere en Conventional-Commits-meddelelse og pushe. Målrettet fumadocs/Next.js dokumentationsrepos og udløses af anmodninger om at validere, committe eller publicere .mdx-filer. I udførelsen overser validatoren reelle MDX-kompileringsfejl, og den dokumenterede dry run opretter en faktisk commit.

Testrapport

Vi byggede et fumadocs-stil repo med en bevidst brudt MDX-artikel og kompilerede den med @mdx-js/mdx for at få sandheden: to ægte fejl, en uafsluttet <Callout> og en bar Promise<void> i prosa. Den medfølgende validate_mdx.py fangede ingen af delene, og markerede i stedet to '>80% accuracy'-linjer, der kompilerede fint — almindelig `npm run build`, no-skill baseline, lokaliserede begge reelle fejl med linjenumre på omkring et sekund. Værre, den dokumenterede dry run er ikke en dry run: kørsel af publish_article.py uden --push kørte `git add -A` og oprettede en reel commit af 1658 filer, inklusive en .env.local, der indeholdt SECRET_TOKEN og hele node_modules-træet, uden bekræftelsesprompt. Yderligere to udførte fejl: en ny usporret artikel i directory-tilstand rapporterer 'No changes detected', og en relativ filsti crasher med en uhåndteret ValueError traceback. Installer den på den normale måde, i ~/.claude/skills, og MDX-validering springes lydløst helt over, fordi scriptet hardkoder et opslag efter .claude/skills/skill-article-publisher inde i målprojektet.

Testet: 2026-08-10 · Claude Code 2.x (agent harness)

Installation

git clone https://github.com/foreveryh/claude-skills-tutorial.git
mkdir -p ~/.claude/skills
cd claude-skills-tutorial && cp -r .claude/skills/skill-article-publisher ~/.claude/skills/skill-article-publisher

Kommandoer og eksempelprompter

  • /skill-article-publisherMDX lint og semantic-commit git-publicering — brudt i praksis

Skills udløses af almindelige forespørgsler — ingen kommandoer at huske. Efter installationen aktiverer prompter som disse skillen (på engelsk):

  • Validate this MDX article and commit it with a conventional message
  • Check my new docs article for frontmatter and tag balance errors
  • Build and publish this fumadocs MDX article to the repo

Læs hele rapporten →