Crawl4AI

Envuelve el raspador de navegador Crawl4AI para sitios con mucho JS, rastreos por lotes y extracción de esquemas sin LLM.

Por brettdavies · brettdavies/crawl4ai-skill

Probado · Funciona ★ 10.0/10

Crawl4AI — Envuelve el raspador de navegador Crawl4AI para sitios con mucho JS, rastreos por lotes y extracción de esquemas sin LLM.

Qué hace

Proporciona patrones CLI (crwl) y Python SDK para Crawl4AI, un rastreador respaldado por Playwright que renderiza páginas con mucho JavaScript y SPAs que las recuperaciones HTTP simples no pueden alcanzar. Cubre la generación limpia de markdown, extracción de esquemas CSS/JSON sin LLM, rastreo por lotes concurrente de múltiples URL, descubrimiento de URL impulsado por sitemaps y manejo de inicio de sesión/sesión. Se activa con crawl4ai, crwl, raspado de SPAs/JS-heavy sites, y extracción basada en esquemas; explícitamente delega en herramientas más ligeras (defuddle/fetch-web) para HTML estático.

Informe de la prueba

Ejecutó el comando exacto recomendado por la habilidad contra una página de prueba renderizada con JS en vivo: un raspado ingenuo con curl+CSS-selector devolvió cero citas, mientras que `crwl ... -c wait_until=networkidle` devolvió las diez citas con autores y tags limpiamente formateadas en markdown.

Probado el: 2026-07-14 · Claude Code 2.x (agent harness)

Instalación

git clone https://github.com/brettdavies/crawl4ai-skill
cd crawl4ai-skill
mkdir -p ~/.claude/skills
cp -r . ~/.claude/skills/crawl4ai

Comandos y prompts de ejemplo

  • /crawl4aiEnvuelve el raspador de navegador Crawl4AI para sitios con mucho JS, rastreos por lotes y extracción de esquemas sin LLM.

Los skills se activan con peticiones en lenguaje natural, sin comandos que memorizar. Tras instalarlo, prompts como estos lo activan (en inglés):

  • Scrape this SPA's product listings, it's all client-rendered React.
  • Crawl 500 URLs from this sitemap into clean markdown for me.
  • Extract price and name from these product pages with a CSS schema.