Firecrawl:把網頁洗成乾淨資料,再餵給代理

摘要

搜尋、抓取與互動走同一個介面,回來的是乾淨的 Markdown、套模板的 JSON 或一張截圖。代理、反爬與渲染都算服務端的事——而那正是最磨人的一段。

推薦
軟體名稱
Firecrawl
版本
v2.11
開源
開源
作業系統
WebLinuxmacOSWindows
更新時間
2026-10-06 06:29

餵網頁資料給代理這件事,自己搭一遍就知道麻煩在哪:目標站會擋,內容要等腳本跑完才出現,正文裡還混著導覽與廣告。這個專案切的正是那一層——它把自己定義成網頁資料介面,你送一個網址過去,拿回來的是乾淨的 Markdown 或結構化 JSON,中間那些髒活由服務端處理。首頁標語講得很直接,而它同時開源,也解釋了儲存庫為什麼能累積到十八萬出頭的星標。

專案首頁:搜尋、抓取與頁面互動

三件事:搜尋、抓取、互動

核心能力歸成三項。Search 搜尋網頁並把結果頁的全文一起取回,適合「先找到再讀」的場景。Scrape 把任意網址轉成 Markdown、JSON 或截圖,其中結構化輸出可以直接傳一份 JSON 樣板進去,讓它照你要的欄位回傳。Interact 是三項裡標成新功能的那一個——抓完頁面不結束工作階段,繼續用自然語言或程式去點擊、填表、擷取動態內容,甚至往深處翻。官方給的例子是先抓一個電商首頁,再讓它在頁面裡搜尋商品、點進結果、把價格讀出來。三件事串起來的價值在於:很多採集任務真正的難點在第三步,光拿到靜態 HTML 往往不夠用。

不只單頁:整站、批次與本機檔案

核心端點周圍還有一圈能力。Map 負責發現一個站底下的全部網址,Crawl 用遞迴方式把整站採下來,批次抓取則面向成千上萬個網址的非同步場景。解析這塊也不只做線上頁面:本機的 PDF、DOCX、XLSX 與 HTML 都能轉成 Markdown 或結構化 JSON。另外還有自主模式的 Agent——描述你要什麼,它自己去搜集;Webhooks 負責非同步把結果送回來;瀏覽器沙箱提供託管的瀏覽器工作階段給互動流程用。抓取前的動作也留了介面,點擊、捲動、輸入、等待、按鍵都能編排進流程裡。

接入方式給得算全。可以當 MCP 伺服器用,一條指令接進編碼代理;也可以裝它的命令列工具,一條指令完成安裝並向偵測到的編碼代理注入技能;SDK 涵蓋 Python、Node 與命令列,整合清單裡有兩套常見的檢索框架與幾家模型服務商。說明站還把「不帶金鑰先試」寫成推薦路徑——起步請求不需要介面金鑰,加上金鑰只是把限流放寬。

官方說明站:核心端點與更多能力

免費額度與計費口徑

額度規則算清楚的:每月贈一千點,約合一千個頁面,而且不需要綁信用卡。往上分四檔,企業檔單獨談,按年訂閱多送兩個月。計費單位隨能力變化——抓取、整站爬取、網址發現與監控按每頁一點;搜尋按每十條結果兩點;頁面互動按每瀏覽器分鐘兩點。額度結轉也有差別:最高兩檔的未用額度可以帶到下個月,低檔不行。官方問答還補了兩條邊界:某次抓取沒有回傳任何結果時不產生費用;回傳錯誤狀態碼的頁面仍會送回來給你。五美元的按量增額在四檔分別折算成一千、兩千、兩千五與五千點,檔位越高同樣金額換到的點越多。

要留意的是授權形態。專案主要採用 AGPL-3.0,也就是說你把它改造成對外提供的服務,就得開源你的修改;SDK 與部分介面元件是 MIT,所以呼叫官方介面那部分沒那麼受限。雲端版本還額外提供一些能力,功能清單在儲存庫與說明裡都能對照。合規方面,官方聲明預設尊重 robots.txt,同時把遵守目標站政策的責任交給使用者——這條在商用採集前值得逐字讀一遍。

開源儲存庫:AGPL-3.0 授權與專案規模

適合誰用

三種場景比較對口。一是替代理做檢索與工具層的團隊:需要穩定把網頁轉成可控格式,而不想維護一套抓取與反爬的基礎設施。二是做資料管線與線索富化的團隊:批次抓取加上結構化樣板,能把雜亂頁面直接對映成可入庫的欄位。三是研發期驗證的個人或小團隊:免費額度足夠跑通流程,MCP 與命令列兩條路都能在幾分鐘內接上。

需要權衡的是兩點。一是授權:AGPL-3.0 對「把修改版當服務賣」這件事有約束,純呼叫官方介面不受影響,但要自架並對外提供,就得先想清楚義務。二是自架與雲版的取捨:自架能控資料與成本,反爬強度與頁面覆蓋率這些硬活要自己扛;雲版把這些託管了,代價是按量計費並把請求交給第三方。儲存庫數據顯示它約為 181.6k 顆星、9.8k 次分支、35 個發布、173 位貢獻者,目前版本 v2.11.0,語言以 TypeScript 為主另有 Python 與 Rust,覆蓋九成六的網頁、P95 延遲 3.4 秒——這些是官方給的口徑,實際表現還要按自己的目標站測一遍。

抓取工具的價值不在「能不能抓到」,而在「抓到的東西能不能直接進你的下游」。能把這一層做乾淨的,才真的省得下人力。

Firecrawl下載地址
支援的作業系統: Web Linux macOS Windows