Skip to main content
PromptQuorumBuilt for humans. Structured for AI.
홈/고급 로컬 LLM/Firecrawl 리뷰: LLM 파이프라인을 위한 오픈소스 웹 데이터 API
Local AI Agents & Tool Use

Firecrawl 리뷰: LLM 파이프라인을 위한 오픈소스 웹 데이터 API

·8분 읽기·Hans Kuepper 저 · PromptQuorum 창립자 · 오픈 웨이트·오픈소스 AI 디스커버리 엔진
언어 선택:
🇺🇸en🇩🇪de🇫🇷fr🇯🇵ja🇨🇳zh🇪🇸es🇧🇷pt🇸🇦ar🇰🇷ko

Firecrawl은 웹사이트를 검색하고 스크래핑하고 크롤링하고 매핑한 뒤 LLM 파이프라인용으로 깔끔한 마크다운 또는 JSON을 반환하는 오픈소스(AGPL-3.0) 웹 데이터 API입니다. 호스팅 서비스로도, 셀프호스팅 Docker Compose 스택으로도 실행할 수 있으며, 셀프호스팅 버전은 클라우드 제품의 축소판입니다.

Firecrawl(firecrawl.dev, 소스 코드는 github.com/firecrawl/firecrawl)은 웹사이트를 마크다운, HTML, 스크린샷, 구조화된 JSON으로 변환해 LLM 애플리케이션에 전달하는 웹 데이터 API입니다. AGPL-3.0 코어를 Docker Compose로 셀프호스팅할 수 있고 AI 기반 기능이 클라우드 모델 대신 Ollama를 사용할 수 있어 로컬 AI 디렉터리에 수록했습니다. 이 리뷰에서는 Firecrawl이 하는 일, 셀프호스팅 스택에서 빠지는 기능, 호스팅 요금 체계, 어떤 사용자에게 적합한지를 다룹니다.

핵심 요점

  • 호스팅 API는 무료 요금제와 연간 결제 기준 월 16달러부터 시작하는 유료 요금제를 제공합니다. 셀프호스팅은 라이선스 비용이 없지만 서버는 직접 운영해야 합니다
  • 셀프호스팅에는 독점 Fire-engine, 스크린샷, 페이지 액션, Agent, Interact 기능이 포함되지 않습니다
  • Ollama를 통한 로컬 모델 추출을 지원하지만, Firecrawl 공식 문서는 이 경로를 따로 테스트하라고 안내합니다
  • 셀프호스팅 API는 기본적으로 인증이 없으므로, 자체 인증을 추가하기 전까지는 신뢰할 수 있는 네트워크 안에 두어야 합니다
  • Firecrawl 개인정보처리방침에 따르면 서버는 미국에 있습니다

📍 한 문장으로

Firecrawl은 웹사이트를 LLM용 마크다운이나 JSON으로 변환하는 AGPL-3.0 웹 데이터 API로, 무료 요금제가 있는 호스팅 서비스 또는 셀프호스팅 Docker Compose 스택으로 사용할 수 있습니다.

💬 쉽게 말하면

Firecrawl은 사용자를 대신해 웹 페이지를 방문하고 언어 모델이 읽을 수 있는 깔끔한 텍스트를 돌려줍니다. 호스팅 버전을 유료로 쓰거나 더 작은 사본을 직접 서버에서 실행할 수 있습니다. 그 사본을 로컬 Ollama 모델에 연결하면 추출 단계도 내 하드웨어에 머뭅니다.

Firecrawl이란?

Firecrawl은 AI 시스템을 위한 웹 데이터 API입니다. URL이나 검색어를 보내면 LLM이 바로 쓸 수 있는 형식으로 페이지 내용을 돌려줍니다. 저장소는 이를 AI 에이전트에 웹 데이터를 공급하는 수단으로 설명하며, 호스팅 서비스는 회사가 firecrawl.dev에서 운영합니다.

  • 제품 유형: SDK와 CLI를 갖춘 REST API이며, 호스팅 서비스와 셀프호스팅 가능한 소스 코드로 제공됩니다
  • 저장소: github.com/firecrawl/firecrawl, 스타 192,265개 (GitHub API로 확인)
  • 라이선스: 오픈소스 저장소는 LICENSE 파일에 따라 AGPL-3.0입니다. 호스팅 서비스가 사용하는 프록시·렌더링 계층인 Fire-engine은 독점이며 저장소에 포함되어 있지 않습니다
  • 호스팅 서비스 규정 준수: 사이트에 SOC 2 Type II 배지가 표시되어 있으나 이 리뷰에서 독립적으로 감사하지는 않았습니다

Firecrawl로 무엇을 할 수 있나요?

Firecrawl은 한 번에 읽으려는 웹의 범위에 따라 엔드포인트를 나눕니다. 아래 앞의 네 가지는 셀프호스팅 기본 스택에서 사용할 수 있고, 뒤의 두 가지는 클라우드 기능입니다.

  • Scrape — URL 하나를 가져와 마크다운, HTML, 메타데이터 또는 스키마 기반 JSON을 반환합니다. 웹에 있는 PDF와 DOCX 파일도 분석합니다
  • Crawl — 한 번의 요청으로 사이트에서 접근 가능한 모든 페이지를 스크래핑합니다
  • Map — 내용을 가져오지 않고 사이트의 URL 목록만 만듭니다
  • Search — 웹 검색을 실행하고 페이지 전체 내용이 담긴 결과를 반환합니다
  • Interact — 페이지를 스크래핑한 뒤 프롬프트나 코드로 클릭, 이동, 조작합니다 (클라우드 기능)
  • Agent — 필요한 데이터를 설명하면 Firecrawl이 자율적으로 수집합니다 (클라우드 기능)

셀프호스팅 vs. 호스팅 Firecrawl

셀프호스팅 Firecrawl은 scrape, crawl, map, search 핵심 경로를 제공하는 Docker Compose 스택이며, 호스팅 서비스에는 Fire-engine과 여러 기능이 더해집니다. 저장소의 SELF_HOST.md와 셀프호스팅 가이드가 이 차이를 분명히 밝히고 있습니다.

  • 구성: Compose 파일은 API와 워커, Playwright, Redis, RabbitMQ, PostgreSQL 큐, 선택 사항인 FoundationDB 백엔드를 실행하며, 호스트에 공개되는 것은 API뿐이고 포트는 3002입니다
  • 요구 사항: Git, Compose v2가 포함된 Docker, curl. Firecrawl은 검증된 최소 호스트 사양을 공개하지 않습니다
  • 프로덕션 이전: 기본 API에는 인증이 없고 Compose 파일에 영구 볼륨이 정의되어 있지 않으므로, 먼저 인증, TLS, 백업, 모니터링을 추가하십시오

핵심 경로

셀프호스팅 스택:
Scrape, Crawl, Map, Search
호스팅 서비스:
전체 및 추가 기능

봇 방지 엔진

셀프호스팅 스택:
미포함. Fire-engine은 별도 실행
호스팅 서비스:
Fire-engine (독점)

스크린샷과 액션

셀프호스팅 스택:
기본 스택에 없음
호스팅 서비스:
있음

Agent와 Interact

셀프호스팅 스택:
Firecrawl Cloud 사용
호스팅 서비스:
있음

LLM 기반 형식

셀프호스팅 스택:
Ollama 또는 OpenAI 호환 제공자 연결
호스팅 서비스:
Firecrawl이 관리

운영

셀프호스팅 스택:
보안·가동·업그레이드는 직접 책임
호스팅 서비스:
Firecrawl이 운영

라이선스가 AGPL-3.0이므로, 수정한 사본을 다른 사람에게 서비스로 제공하기 전에 네트워크 사용 조건을 법무팀과 확인하십시오.

Firecrawl 요금

Firecrawl 호스팅 요금제는 크레딧 기반이며, 월 1,000크레딧의 무료 요금제부터 시작합니다. 가격은 firecrawl.dev/pricing 기준이며 미국 달러로만 표시됩니다. 원화 가격표는 확인되지 않았습니다.

  • Scrape, crawl, map은 페이지당 1크레딧, search는 결과 10개당 2크레딧, interact는 브라우저 1분당 2크레딧입니다
  • JSON, question, highlight 형식은 scrape와 crawl에서 페이지당 4크레딧이 추가됩니다
  • 결과를 반환하지 않은 scrape는 과금되지 않으며, 403이나 404 같은 오류 페이지는 1크레딧이 차감됩니다
  • 크레딧 이월은 Scale과 Enterprise에서만 가능하며, 결제는 Stripe를 통해 이루어지고 월간 지출 한도를 설정할 수 있습니다

Free

가격:
$0
크레딧과 동시 요청:
1,000크레딧, 동시 2개

Hobby

가격:
연간 결제 월 $16 (월 결제 $19)
크레딧과 동시 요청:
5,000크레딧, 동시 5개

Standard

가격:
연간 결제 월 $83
크레딧과 동시 요청:
100,000크레딧, 동시 25개

Growth

가격:
연간 결제 월 $333
크레딧과 동시 요청:
500,000크레딧, 동시 50개

Scale

가격:
연간 결제 월 $599
크레딧과 동시 요청:
1,000,000크레딧, 동시 100개

Enterprise

가격:
맞춤 견적
크레딧과 동시 요청:
맞춤 설정

요금 페이지는 Hobby만 월 결제 가격을 표시하고, 명시된 연간 절약액도 월 3달러 차이와 맞지 않으므로 결제 시 최신 금액을 확인하십시오.

Firecrawl이 적합한 사용자

Firecrawl은 LLM에 바로 쓸 수 있는 형식의 웹 콘텐츠가 필요하고, 크롤러와 렌더러를 직접 만들고 싶지 않은 개발자에게 맞습니다.

다음과 같다면 Firecrawl을 사용하십시오

  • RAG, 에이전트, 파인튜닝 파이프라인에 웹 페이지를 넣고 원본 HTML 대신 마크다운이나 JSON을 원하는 경우
  • Claude, Cursor, Windsurf 같은 MCP 지원 클라이언트를 실시간 웹 데이터에 연결하려는 경우
  • Docker Compose 스택을 운영할 수 있고 핵심 경로를 직접 관리하는 인프라에서 실행하려는 경우

다음과 같다면 다른 선택지를 찾아보십시오

  • 호스팅 서비스에 비용을 내지 않고 스크린샷, 페이지 액션, Agent가 필요한 경우
  • 터미널이나 API 키 없이 더블 클릭으로 쓰는 데스크톱 앱을 원하는 경우
  • 호스팅 요금제에서 스크래핑한 콘텐츠를 미국 소재 처리업체가 다루는 것을 받아들일 수 없는 경우

경쟁 제품과 대안

디렉터리에는 다른 스크래핑·크롤링 서비스가 없으므로, 같은 범주에서 가장 가까운 리뷰는 웹 데이터를 가져오는 대신 활용하는 프레임워크입니다. Firecrawl은 그보다 앞 단계에서 깔끔한 텍스트를 만들고, 프레임워크가 그 텍스트로 무엇을 할지 결정합니다.

Pydantic AI

대표 특징:
Pydantic 기반의 타입 안전 에이전트 프레임워크
링크:
Pydantic AI 리뷰
Pydantic AI 관련 문서 (2개)

DSPy

대표 특징:
프롬프트 대신 프로그래밍으로 언어 모델 파이프라인 구성
링크:
DSPy 리뷰
DSPy 관련 문서 (1개)

기타 언급:

Firecrawl 자체 항목을 포함한 전체 카탈로그는 Local LLM Software Directory에서 확인할 수 있습니다.

디렉터리에서 비교

자주 묻는 질문

Firecrawl은 오픈소스인가요?

저장소는 AGPL-3.0이지만, 호스팅 서비스가 사용하는 Fire-engine 계층은 독점이며 저장소에 포함되지 않습니다.

Firecrawl은 Ollama와 함께 작동하나요?

네, 셀프호스팅 스택의 LLM 기반 기능에서 가능합니다. Firecrawl의 셀프호스팅 가이드에 따른 내용이며, 가이드는 이 경로를 따로 테스트하라고도 안내합니다. 이 리뷰에서는 실행해 보지 않았습니다.

공식 MCP 서버가 있나요?

네. Firecrawl은 Claude, Cursor, Windsurf 같은 클라이언트를 위해 firecrawl-mcp-server를 MIT 라이선스로 공개합니다.

셀프호스팅에는 RAM이 얼마나 필요한가요?

Firecrawl은 검증된 최소 호스트 사양을 공개하지 않는다고 밝힙니다. 스택이 여러 서비스를 실행하므로 용량을 계획하고 직접 테스트하십시오.

호스팅 요금제에서 스크래핑한 데이터는 어디에 저장되나요?

개인정보처리방침은 서버가 미국에 있으며 데이터가 전송 중 다른 국가를 거칠 수 있다고 밝힙니다. 모델 학습에 대한 언급은 없습니다.

PromptQuorum이 Firecrawl을 테스트했나요?

아니요. 이 리뷰는 공식 사이트, 문서, GitHub 저장소, 요금 페이지를 바탕으로 하며 자체 벤치마크에 근거하지 않았습니다.

출처

← 고급 로컬 LLM으로 돌아가기

MCP