Crawl4AI
Wikkelt de Crawl4AI browser scraper voor JS-zware sites, batch crawls en LLM-vrije schema-extractie.
Getest · Werkt
Wat het doet
Biedt CLI (crwl) en Python SDK patronen voor Crawl4AI, een Playwright-gestuurde crawler die JavaScript-zware pagina's en SPA's rendert die gewone HTTP-fetches niet kunnen bereiken. Omvat schone markdown-generatie, LLM-vrije CSS/JSON schema-extractie, gelijktijdige multi-URL batch crawling, sitemap-gestuurde URL-discovery en login/sessiebeheer. Activeert op crawl4ai, crwl, scraping van SPA's/JS-zware sites en schema-gebaseerde extractie; verwijst expliciet naar lichtere tools (defuddle/fetch-web) voor statische HTML.
Testrapport
Voerde het exact aanbevolen commando van de skill uit tegen een live JS-gerenderde testpagina: een naïeve curl+CSS-selector scrape gaf nul quotes terug, terwijl `crwl ... -c wait_until=networkidle` alle tien quotes met auteurs en tags netjes geformatteerd in markdown teruggaf.
Getest op: 2026-07-14 · Claude Code 2.x (agent harness)
Installatie
git clone https://github.com/brettdavies/crawl4ai-skill cd crawl4ai-skill mkdir -p ~/.claude/skills cp -r . ~/.claude/skills/crawl4ai
Commando's en voorbeeldprompts
/crawl4aiWikkelt de Crawl4AI browser scraper voor JS-zware sites, batch crawls en LLM-vrije schema-extractie.
Skills reageren op gewone verzoeken — geen commando's om te onthouden. Na installatie activeren prompts zoals deze de skill (in het Engels):
Scrape this SPA's product listings, it's all client-rendered React.Crawl 500 URLs from this sitemap into clean markdown for me.Extract price and name from these product pages with a CSS schema.