Firecrawl 评测:给 AI 智能体喂网页数据的开源抓取层

给 AI 智能体喂网页数据这件事,自己搭一遍就知道麻烦在哪:目标站有反爬,页面靠 JavaScript 渲染,正文里还混着导航和广告。Firecrawl 切的就是这一层——它把自己定义成网页数据接口,你发一个网址过去,拿回来的是干净的 Markdown 或结构化 JSON,中间那些脏活由服务端处理。首页的标语写得很直接:用干净的网页数据给智能体供能;而它同时开放源代码,这也解释了为什么仓库能攒到十八万出头的星标。

Firecrawl 官网首页:搜索、抓取与页面交互

三件事:搜索、抓取、交互

核心能力被归成三项。Search 是搜索网页并把结果页的全文一起取回,适合「先找到再读」的场景;Scrape 是把任意网址转成 Markdown、JSON 或截图,其中结构化输出可以直接传一份 JSON 模板进去,让它按你要的字段返回;Interact 是这三项里标注为新功能的一个——抓完页面之后不结束会话,继续用自然语言或代码去点击、填表、提取动态内容,甚至往深处翻。官方给的例子是先抓一个电商首页,再让它在页面里搜索商品、点进结果、把价格读出来。这三件事串起来的价值在于:很多采集任务真正的难点在第三步,光拿到静态 HTML 往往不够用。

不止单页:整站、批量与本地文件

围绕核心端点还有一圈能力。Map 负责发现一个站点下的全部网址,Crawl 按递归方式把整站采下来,批量抓取则面向成千上万个网址的异步场景。解析这块也不只做线上页面:本地的 PDF、DOCX、XLSX 与 HTML 都能转成 Markdown 或结构化 JSON。另外还有自主模式的 Agent——描述你要什么,它自己去搜集;Webhooks 负责异步把结果送回来;浏览器沙箱提供托管的浏览器会话给交互流程用。抓取前的动作也留了接口,点击、滚动、输入、等待、按键都能编排进流程里。

接入方式给得比较全。可以当 MCP 服务器用,一条命令接进编码智能体;也可以装它的命令行工具,一条命令完成安装并向检测到的编码智能体注入技能;SDK 覆盖 Python、Node 与命令行,集成清单里有 LangChain、LlamaIndex 与 OpenAI 这些常客。文档站还把「不带密钥先试」写成了推荐路径——起步请求不需要 API key,加上密钥只是把限流放宽。

Firecrawl 官方文档站:核心端点与更多能力

免费额度与计费口径

额度规则算清楚的:每月赠一千个点,约合一千个页面,且不需要绑信用卡。往上走分 Hobby、Standard、Growth、Scale 四档,企业档单独谈,按年订阅多送两个月。计费单位随能力变化——抓取、整站爬取、网址发现与监控按每页一个点;搜索按每十条结果两个点;页面交互按每浏览器分钟两个点。额度结转也有区别:Scale 与企业档的未用额度可以带到下个月,低档不行。官方问答里还补了两条边界:某次抓取没有返回任何结果时不产生费用;返回错误状态码的页面仍会回传给你。五美元的按量增量在四档分别折算成一千、两千、两千五与五千个点,档位越高同样金额换到的点越多。

需要留意的是许可形态。项目主要采用 AGPL-3.0,也就是如果你把它改造成对外提供的服务,需要开源你的修改;SDK 与部分界面组件是 MIT,所以调用官方接口那部分不那么受限。云版本还额外提供一些能力,功能清单在仓库与文档里都能对照。合规方面,官方声明默认尊重 robots.txt,同时把遵守目标站点政策的责任交给使用者——这条在商用采集前值得逐字读一遍。

Firecrawl 开源仓库:AGPL-3.0 许可与项目规模

适合谁用

三类场景比较对口。一是给智能体做检索与工具层的团队:需要稳定把网页转成可控格式,而不想维护一套抓取与反爬的基础设施。二是做数据管线与线索富化的团队:批量抓取加上结构化模板,能把杂乱页面直接映射成可入库的字段。三是做研发期验证的个人或小团队:免费额度足够跑通流程,MCP 与命令行两条路都能在几分钟内接上。

需要权衡的是两点。一是许可:AGPL-3.0 对「把修改版当服务卖」这件事有约束,纯调用官方接口不受影响,但要自建并对外提供,就得先想清楚义务。二是自托管与云版的取舍:自托管能控数据与成本,反爬强度与页面覆盖率这些硬活要自己扛;云版把这些托管了,代价是按量计费并把请求交给第三方。仓库数据显示它约为 181.6k 星、9.8k 次 fork、35 个发布、173 位贡献者,当前版本为 v2.11.0,语言以 TypeScript 为主另有 Python 与 Rust,覆盖九成六的网页、P95 延迟 3.4 秒——这些是官方给出的口径,实际表现还要按自己的目标站测一遍。

抓取工具的价值不在「能不能抓到」,而在「抓到的东西能不能直接进你的下游」。能把这一层做干净的,才省得下来人力。

Firecrawl下载地址
支持的操作系统: Web Linux macOS Windows