云图AI云图AI
C

crawl4ai

Apache-2.0Python

Open-source web crawler and scraper for LLMs and AI agents: any website into clean, LLM-ready Markdown. Run it yourself, or use Crawl4AI Cloud with one key. Join our Discord https://discord.gg/VuxzM8mtf

★ 86kFork 9k更新于 2026-10-29
访问官网 GitHub

软件介绍

Crawl4AI 是一个面向 LLM 与 AI Agent 的开源网页爬虫与抓取工具，目标是把任意网站转换成干净、适合大模型使用的 Markdown，用于 RAG、AI Agent 和数据管道。它既可以自行运行（pip 安装、Docker 自托管、命令行 crwl），也可以使用官方托管的 Crawl4AI Cloud 服务，通过一个 API Key 调用 /scrape、/extract、/search、/serp、/answer 等接口，并支持通过 MCP 接入 Claude Code 等 Agent。项目采用 Apache-2.0 许可，README 中说明其是 GitHub 上星标较多的爬虫项目之一。

核心功能

Markdown 生成：输出包含标题、列表、表格和代码块的干净 Markdown，并提供 PruningContentFilterLXML、BM25ContentFilter、LLMContentFilter 等过滤策略去除菜单、页脚等噪声
结构化数据提取：支持 JsonCssExtractionStrategy、JsonXPathExtractionStrategy、RegexExtractionStrategy 等无需 LLM 的抽取方式，也支持 LLMExtractionStrategy 通过任意 LLM 提供商抽取为 JSON
浏览器控制：支持持久化浏览器配置、CDP 远程浏览器、会话保持、代理与轮换、enable_stealth 隐身模式，以及 Chromium、Firefox、WebKit
爬取能力：支持 BFS、DFS、best-first 深度爬取与断点恢复，AdaptiveCrawler 自适应爬取，AsyncUrlSeeder 与 DomainMapper 做 URL 发现，arun_many 并发抓取多个 URL
动态页面处理：可执行 JavaScript、等待元素、scan_full_page 整页滚动以应对无限滚动与懒加载，并支持截图与 PDF 导出
自托管 Docker 服务：提供 /md、/html、/crawl、/crawl/stream、/screenshot、/pdf、/execute_js 等 REST 接口，默认要求 CRAWL4AI_API_TOKEN，附带监控面板与 playground
命令行工具 crwl：可直接将页面输出为 Markdown、执行深度爬取，或结合 LLM Key 对页面提问
云端增强能力：/search 网页搜索、/serp 获取 Google 结果页数据（Beta）、/answer 直接回答问题（实验性）、/extract 无需自备 LLM Key 的抽取，以及 MCP 接入 Agent

适用场景

为 RAG 或向量数据库准备网页语料，将站点内容转换为结构化 Markdown为 AI Agent 提供网页抓取与信息获取能力，并通过 MCP 接入 Claude Code、Codex、Cursor、OpenCode 等工具从电商、资讯、文档等网站批量抽取结构化数据（如价格、标题、作者、标签）对 JavaScript 渲染较重的页面进行抓取，处理无限滚动、懒加载与需要登录的会话场景自建爬虫服务并通过 REST API 或命令行集成到现有数据管道中

Docker 部署

export CRAWL4AI_API_TOKEN="$(openssl rand -hex 32)"
docker run -d -p 11235:11235 --name crawl4ai --shm-size=1g \
  -e CRAWL4AI_API_TOKEN="$CRAWL4AI_API_TOKEN" \
  unclecode/crawl4ai:latest

FAQ

Crawl4AI 是免费的吗？

开源库本身免费，可永久自行运行。README 同时提供 Crawl4AI Cloud 托管服务，采用按量付费模式，并提供初始免费额度（README 说明为 2000 credits，免费档每分钟 10 次、同时 2 个请求），具体价格以官方页面为准。

如何安装 Crawl4AI？

README 给出的方式是执行 pip install -U crawl4ai，然后运行 crawl4ai-setup 安装并配置浏览器，再用 crawl4ai-doctor 检查安装。若浏览器安装失败，可手动执行 python -m playwright install --with-deps chromium。

Crawl4AI 支持哪些使用方式？

README 列出三种方式：作为 Python 库在本地进程中运行浏览器；通过 Docker 自托管服务器（提供 REST API、MCP、监控面板与 playground）；或使用 Crawl4AI Cloud 托管服务，通过 API Key 调用 /scrape、/extract、/search、/serp、/answer 等接口。

Crawl4AI 能提取结构化数据吗？

可以。README 说明支持 JsonCssExtractionStrategy、JsonXPathExtractionStrategy、RegexExtractionStrategy 等无需 LLM 的抽取方式，也支持 LLMExtractionStrategy 通过任意 LLM 提供商抽取为 JSON，并提供 generate_schema 生成可复用 schema。

Crawl4AI 可以接入 AI Agent 吗？

可以。README 说明云端提供 MCP 接口，可通过一行命令在 Claude Code 中添加，也支持 Codex、Cursor 和 OpenCode；自托管 Docker 服务同样提供 MCP 接入方式。

使用 Crawl4AI 需要署名吗？

项目采用 Apache-2.0 许可。README 中说明署名是被推荐的，并提供了徽章署名与文字署名两种方式，例如在文档中添加“This project uses Crawl4AI (https://github.com/unclecode/crawl4ai) for web data extraction.”。