Crawl4AI
Enveloppe le scraper de navigateur Crawl4AI pour les sites riches en JS, les crawls par lots et l'extraction de schémas sans LLM.
Testé · Fonctionne
Ce que fait
Fournit des modèles CLI (crwl) et Python SDK patterns pour Crawl4AI, un crawler basé sur Playwright qui rend les pages JavaScript-heavy et les SPAs que les plain HTTP fetches can't reach. Couvre la génération propre de markdown, l'extraction de schémas CSS/JSON sans LLM, le concurrent multi-URL batch crawling, sitemap-driven URL discovery, et login/session handling. Se déclenche sur crawl4ai, crwl, scraping SPAs/JS-heavy sites, et schema-based extraction ; délègue explicitement aux outils plus légers (defuddle/fetch-web) pour le static HTML.
Rapport de test
Ran the skill's exact recommended command against a live JS-rendered test page: a naive curl+CSS-selector scrape returned zero quotes, while `crwl ... -c wait_until=networkidle` returned all ten quotes with authors and tags cleanly formatted in markdown.
Testé le: 2026-07-14 · Claude Code 2.x (agent harness)
Installation
git clone https://github.com/brettdavies/crawl4ai-skill cd crawl4ai-skill mkdir -p ~/.claude/skills cp -r . ~/.claude/skills/crawl4ai
Commandes et exemples de prompts
/crawl4aiEnveloppe le scraper de navigateur Crawl4AI pour les sites riches en JS, les crawls par lots et l'extraction de schémas sans LLM.
Les skills se déclenchent sur des demandes en langage courant — aucune commande à retenir. Après installation, des prompts comme ceux-ci l'activent (en anglais) :
Scrape this SPA's product listings, it's all client-rendered React.Crawl 500 URLs from this sitemap into clean markdown for me.Extract price and name from these product pages with a CSS schema.