Crawl4AI

Pakker inn Crawl4AI nettleserskraperen for JS-tunge nettsteder, batch-crawls og LLM-fri skjemaekstraksjon.

av brettdavies · brettdavies/crawl4ai-skill

Bestått ★ 10.0/10

Crawl4AI — Pakker inn Crawl4AI nettleserskraperen for JS-tunge nettsteder, batch-crawls og LLM-fri skjemaekstraksjon.

Hva den gjør

Gir CLI (crwl) og Python SDK-mønstre for Crawl4AI, en Playwright-støttet crawler som gjengir JavaScript-tunge sider og SPA-er som vanlige HTTP-hentinger ikke kan nå. Dekker ren markdown-generering, LLM-fri CSS/JSON-skjemaekstraksjon, samtidig multi-URL batch-crawling, sitemap-drevet URL-oppdagelse og pålogging/sesjonshåndtering. Utløses ved crawl4ai, crwl, skraping av SPA-er/JS-tunge nettsteder og skjema-basert ekstraksjon; utsetter eksplisitt til lettere verktøy (defuddle/fetch-web) for statisk HTML.

Testrapport

Kjørte ferdighetens nøyaktige anbefalte kommando mot en live JS-gjengitt testside: en naiv curl+CSS-selector-skraping returnerte null sitater, mens `crwl ... -c wait_until=networkidle` returnerte alle ti sitater med forfattere og tagger pent formatert i markdown.

Testet på: 2026-07-14 · Claude Code 2.x (agent harness)

Installer

git clone https://github.com/brettdavies/crawl4ai-skill
cd crawl4ai-skill
mkdir -p ~/.claude/skills
cp -r . ~/.claude/skills/crawl4ai

Kommandoer og eksempelprompter

  • /crawl4aiPakker inn Crawl4AI nettleserskraperen for JS-tunge nettsteder, batch-crawls og LLM-fri skjemaekstraksjon.

Skills utløses av vanlige forespørsler — ingen kommandoer å huske. Etter installasjonen aktiverer prompter som disse skillen (på engelsk):

  • Scrape this SPA's product listings, it's all client-rendered React.
  • Crawl 500 URLs from this sitemap into clean markdown for me.
  • Extract price and name from these product pages with a CSS schema.