Skip to main content
PromptQuorumBuilt for humans. Structured for AI.
主页/本地LLM进阶/Firecrawl评测:面向LLM流水线的开源网页数据API
Local AI Agents & Tool Use

Firecrawl评测:面向LLM流水线的开源网页数据API

·阅读约8分钟·Hans Kuepper 作者 · PromptQuorum创始人 · 开放权重与开源AI发现引擎

Firecrawl是一款开源(AGPL-3.0)网页数据API,可搜索、抓取、爬取并映射网站,并为LLM流水线返回干净的Markdown或JSON。 它既可作为托管服务使用,也可作为自托管的Docker Compose栈运行,而自托管版本是云端产品的精简版。

Firecrawl(firecrawl.dev,源码位于github.com/firecrawl/firecrawl)是一款网页数据API,可把网站转换为Markdown、HTML、截图或结构化JSON,供LLM应用使用。它入选本地AI目录,是因为其AGPL-3.0核心可用Docker Compose自托管,且AI功能可调用Ollama而非云端模型。本评测说明Firecrawl能做什么、自托管栈缺少什么、托管版如何计费,以及适合哪些人。

关键要点

  • 托管API提供免费额度,付费套餐按年付费每月16美元起;自托管无需许可证费用,但服务器要自己运维
  • 自托管版不含专有的Fire-engine,也没有截图、页面操作、Agent和Interact功能
  • 支持通过Ollama用本地模型做提取,但Firecrawl自己的文档建议单独测试这条路径
  • 自托管API默认不带身份验证,在你添加自己的验证之前必须放在可信网络内
  • Firecrawl的隐私政策称其服务器位于美国

📍 简单一句话

Firecrawl是AGPL-3.0网页数据API,可把网站转换为适合LLM的Markdown或JSON,提供带免费额度的托管服务,也可作为自托管Docker Compose栈运行。

💬 简单来说

Firecrawl替你访问网页,并返回语言模型能读懂的干净文本。你可以付费使用托管版,也可以在自己的服务器上运行精简版。如果把这个精简版指向本地Ollama模型,提取环节也会留在你的硬件上。

Firecrawl是什么?

Firecrawl是面向AI系统的网页数据API:你发送一个URL或搜索查询,它就以LLM可直接使用的格式返回页面内容。 其仓库把它描述为“用来自网络的数据为AI智能体赋能”,公司在firecrawl.dev运营托管服务。

  • 产品类型:带SDK和命令行工具的REST API,既提供托管服务,也提供可自托管的源码
  • 仓库:github.com/firecrawl/firecrawl,192,265星标,已通过GitHub API核实
  • 许可证:开源仓库采用AGPL-3.0,见其LICENSE文件。托管服务使用的代理与渲染层Fire-engine是专有的,不在仓库中
  • 托管服务合规:官网展示SOC 2 Type II标识,本评测未独立审计

Firecrawl能做什么?

Firecrawl按一次想读取的网页范围划分接口。下列前四项在自托管默认栈中可用,后两项是云端功能。

  • Scrape — 抓取单个URL,返回Markdown、HTML、元数据或基于模式的JSON;网上托管的PDF和DOCX文件也会被解析
  • Crawl — 用一次请求抓取网站所有可到达的页面
  • Map — 列出网站的URL,而不抓取内容
  • Search — 执行网页搜索,并返回带完整页面内容的结果
  • Interact — 先抓取页面,再用提示词或代码点击、跳转和操作页面(云端功能)
  • Agent — 描述你需要的数据,让Firecrawl自主收集(云端功能)

自托管版与托管版对比

自托管Firecrawl是一个Docker Compose栈,覆盖scrape、crawl、map和search核心接口;托管服务在此之上增加了Fire-engine和若干功能。 仓库中的SELF_HOST.md和自托管指南都明确说明了这一差距。

  • 组成:Compose文件会启动API与工作进程、Playwright、Redis、RabbitMQ、PostgreSQL队列和可选的FoundationDB后端;默认只开放API,端口为3002
  • 要求:Git、支持Compose v2的Docker和curl;Firecrawl没有公布经过验证的最低主机配置
  • 上线前:默认API没有身份验证,Compose文件也没有定义持久卷,因此请先添加身份验证、TLS、备份和监控

核心接口

自托管栈:
Scrape、Crawl、Map、Search
托管服务:
全部,外加扩展功能

反爬引擎

自托管栈:
不含;Fire-engine需另行运行
托管服务:
Fire-engine(专有)

截图与页面操作

自托管栈:
默认栈中没有
托管服务:
有

Agent与Interact

自托管栈:
改用Firecrawl Cloud
托管服务:
有

依赖LLM的格式

自托管栈:
接入Ollama或兼容OpenAI的服务商
托管服务:
由Firecrawl管理

运维

自托管栈:
安全、可用性和升级自行负责
托管服务:
由Firecrawl运营

由于许可证是AGPL-3.0,在把修改后的副本作为服务提供给他人之前,请先与法务团队确认其网络使用条款。

Firecrawl价格

Firecrawl的托管套餐按积分计费,起步是每月1,000积分的免费额度。 价格来自firecrawl.dev/pricing,仅以美元标示。

  • Scrape、crawl和map每页消耗1积分;search每10条结果消耗2积分;interact每浏览器分钟消耗2积分
  • JSON、question和highlight格式在scrape和crawl上每页额外消耗4积分
  • 没有返回结果的scrape不收费;403或404这类错误页面仍消耗1积分
  • 仅Scale和Enterprise的积分可结转;付款通过Stripe处理,可设置每月支出上限

Free

价格:
$0
积分与并发:
1,000积分,并发2

Hobby

价格:
年付$16/月(月付$19)
积分与并发:
5,000积分,并发5

Standard

价格:
年付$83/月
积分与并发:
100,000积分,并发25

Growth

价格:
年付$333/月
积分与并发:
500,000积分,并发50

Scale

价格:
年付$599/月
积分与并发:
1,000,000积分,并发100

Enterprise

价格:
定制
积分与并发:
定制

定价页只给出了Hobby的月付价格,其标注的年付节省金额也与每月3美元的差额不符,请在结账时确认最新金额。

谁适合使用Firecrawl?

Firecrawl适合需要LLM可用格式的网页内容,又不想自己搭建爬虫和渲染器的开发者。

适合使用Firecrawl的情况

  • 把网页输入RAG、智能体或微调流水线,并且想要Markdown或JSON而非原始HTML
  • 把Claude、Cursor或Windsurf等支持MCP的客户端连接到实时网页数据
  • 能够运维Docker Compose栈,并希望核心接口运行在自己掌控的基础设施上

更适合选择其他工具的情况

  • 需要截图、页面操作或Agent,又不想为托管服务付费
  • 想要双击即用、无需终端和API密钥的桌面应用
  • 无法接受在托管套餐中由美国处理方处理抓取的内容

竞品与替代方案

目录中没有其他抓取或爬取服务,因此同类别中最接近的评测是使用网页数据而非获取网页数据的框架。 Firecrawl位于它们的上游:它产出干净的文本,由框架决定如何处理。

Pydantic AI

主要特点:
基于Pydantic的类型安全智能体框架
关于Pydantic AI的文章(2篇)

DSPy

主要特点:
用编程而非提示词构建语言模型流水线
链接:
DSPy评测
关于DSPy的文章(1篇)

其他提及:

完整目录(包括Firecrawl自己的条目)请见Local LLM Software Directory。

在目录中比较

常见问题

Firecrawl是开源的吗?

仓库采用AGPL-3.0许可证,但托管服务使用的Fire-engine层是专有的,不属于仓库。

Firecrawl能配合Ollama使用吗?

可以,用于自托管栈中依赖LLM的功能,依据是Firecrawl的自托管指南,该指南同时建议单独测试这条路径。本评测未实际运行。

有官方的MCP服务器吗?

有。Firecrawl以MIT许可证发布firecrawl-mcp-server,适用于Claude、Cursor和Windsurf等客户端。

自托管需要多少内存?

Firecrawl表示没有公布经过验证的最低主机配置;该栈会运行多个服务,请自行规划容量并测试。

托管套餐下抓取的数据存储在哪里?

隐私政策称其服务器位于美国,并说明数据在传输途中可能经过其他国家。政策没有提到模型训练。

PromptQuorum测试过Firecrawl吗?

没有。本评测基于官网、文档、GitHub仓库和定价页,而不是自行进行的基准测试。

来源

← 返回 本地LLM进阶

MCP