Skip to main content
PromptQuorum
/고급 로컬 LLM/AnythingLLM 리뷰: 오픈소스 RAG 및 문서 채팅
RAG & Document Chat

AnythingLLM 리뷰: 오픈소스 RAG 및 문서 채팅

·11분 분량·Hans Kuepper 저 · PromptQuorum 창립자, 멀티 모델 AI 디스패치 도구 · PromptQuorum

AnythingLLM은 Mintplex Labs가 개발한 무료 오픈소스(MIT 라이선스) 애플리케이션으로, 로컬 또는 자체 호스팅 검색 증강 생성(RAG) 파이프라인을 통해 자신의 문서와 대화할 수 있으며, macOS·Windows·Linux용 서명된 데스크톱 앱, 자체 호스팅 다중 사용자 배포용 Docker 이미지, 또는 별도 요금이 부과되는 호스팅 서비스인 AnythingLLM Cloud로 제공됩니다. 데스크톱 앱과 자체 호스팅 Docker 배포는 모두 유료 등급 없이 무료입니다 — GitHub의 LICENSE 파일은 MIT 라이선스이며, 어떤 기능도 결제 뒤에 숨겨져 있지 않습니다. AnythingLLM은 문서를 주제별 "워크스페이스"로 정리하고, Ollama, LM Studio, OpenAI, Anthropic을 포함한 다양한 로컬 및 클라우드 LLM 제공업체와 여러 벡터 데이터베이스를 지원하며, 코드 작성 없이 커스텀 AI 에이전트를 만들 수 있는 빌더를 포함합니다.

AnythingLLM(anythingllm.com, 소스 코드는 github.com/Mintplex-Labs/anything-llm)은 대형 언어 모델을 사용해 자신의 문서와 대화할 수 있는 무료 오픈소스 애플리케이션으로, 로컬 또는 자체 호스팅 환경에서 실행할 수 있는 검색 증강 생성(RAG) 파이프라인을 중심으로 구축되었습니다. macOS, Windows, Linux용 서명된 데스크톱 앱으로 배포되며, 자체 호스팅 다중 사용자 배포용 Docker 이미지로도 제공되고, 직접 서버를 운영하고 싶지 않은 사람들을 위한 AnythingLLM Cloud라는 선택적 호스팅 버전도 있습니다. 이 리뷰에서는 AnythingLLM이 실제로 무엇을 하는지, "워크스페이스"와 문서 파이프라인이 어떻게 작동하는지, 다운로드하거나 자체 호스팅하는 방법, 비용, 그리고 PrivateGPT, RAGFlow와 같은 다른 로컬 우선 문서 채팅 도구와 비교했을 때 어떤 위치에 있는지 다룹니다. 이 글은 로컬 LLM 소프트웨어 디렉터리에 있는 AnythingLLM 항목과, PromptQuorum의 AnythingLLM Mobile 리뷰 및 실제 테스트를 거친 AnythingLLM vs PrivateGPT vs Open WebUI RAG 비교를 보완하는 심화 자료입니다.

AnythingLLM 리뷰: 오픈소스 RAG 및 문서 채팅

핵심 요점

  • 무료이며 오픈소스; 공식 GitHub LICENSE는 MIT 라이선스로, 데스크톱 앱이나 자체 호스팅 Docker 배포에 유료 등급이 없음
  • macOS, Windows, Linux용 데스크톱 앱 제공; 자체 호스팅 다중 사용자 구성을 위해 Docker로도 배포 가능
  • 문서는 격리된 "워크스페이스"로 정리되며, 각각 자체 채팅 기록, 연결된 LLM, 문서 세트를 가짐
  • Ollama, LM Studio, LocalAI, OpenAI, Anthropic, Azure OpenAI, Google Gemini를 포함한 다양한 LLM 제공업체를 지원해 완전 오프라인으로도, 클라우드 API 키로도 실행 가능
  • 여러 벡터 데이터베이스를 지원하며, 내장된 LanceDB 저장소가 기본적으로 활성화되어 있고 Pinecone, Chroma, Weaviate, Milvus, Qdrant를 대안으로 사용 가능
  • 채팅에서 @agent 명령으로 호출하는, 코드 작성 없이 만드는 커스텀 AI 에이전트 빌더를 포함해 다단계 도구 사용 워크플로 지원
  • Timothy Carambat가 설립한 Y Combinator(2022년 여름 기수) 출신 기업 Mintplex Labs가 개발
  • 별도의 MIT 라이선스 Android 앱인 AnythingLLM Mobile은 자체 호스팅 AnythingLLM 인스턴스와 페어링하거나 기기에서 작은 모델을 직접 실행할 수 있음

📍 한 문장으로

AnythingLLM은 로컬 또는 자체 호스팅 검색 증강 생성 파이프라인을 통해 자신의 문서와 대화할 수 있는 무료 오픈소스(MIT 라이선스) 애플리케이션으로, 데스크톱 앱 또는 Docker 배포로 제공되며, AnythingLLM Cloud라는 선택적 유료 호스팅 버전도 있습니다.

💬 쉽게 말하면

파일을 클라우드 챗봇에 업로드하고 책임감 있게 처리되길 바라는 대신, AnythingLLM은 문서를 자신의 컴퓨터나 서버에 보관하고, 별도의 "워크스페이스"로 정리하며, 그 파일에서 찾은 내용과 연결한 AI 모델만을 사용해 질문에 답합니다 — 무료 옵션도 포함됩니다.

📌참고: 이 리뷰는 로컬 LLM 소프트웨어 디렉터리에 있는 AnythingLLM 항목을 심화 보완하는 자료입니다 — AnythingLLM이 수십 개의 다른 로컬 AI 도구와 비교해 어떤 위치에 있는지 한눈에 확인하려면 해당 페이지를 참조하세요.

AnythingLLM이란?

AnythingLLM은 대형 언어 모델을 사용해 자신의 문서와 대화할 수 있는 애플리케이션으로, 자신의 하드웨어에서 완전히 실행할 수 있는 검색 증강 생성(RAG) 파이프라인을 중심으로 구축되었습니다. GitHub 저장소 자체는 이를 문서 수집, 벡터 데이터베이스, LLM 연결, 채팅 인터페이스를 하나의 도구로 결합한 올인원 AI 애플리케이션이라고 설명하며, 수작업으로 연결한 별도의 도구들을 필요로 하지 않습니다.

  • 핵심 기능: 문서를 "워크스페이스"에 업로드하면 AnythingLLM이 이를 청크로 나누고 임베딩해 벡터 데이터베이스에 저장하므로, 연결된 LLM이 해당 파일의 관련 부분만 사용해 질문에 답할 수 있음
  • 배포 옵션: macOS, Windows, Linux용 서명된 데스크톱 앱(Electron 기반), 또는 다중 사용자를 지원하는 자체 호스팅 서버 배포용 Docker 이미지
  • LLM 연결: Ollama, LM Studio, LocalAI 같은 로컬 제공업체, 또는 자신의 API 키로 설정하는 OpenAI, Anthropic, Azure OpenAI, Google Gemini 같은 클라우드 제공업체
  • 개발사: 캘리포니아주 어바인에 본사를 둔 Mintplex Labs; GitHub는 LICENSE 파일에서 저작권 보유자로 Mintplex Labs, Inc.를 명시
  • 정규 저장소: github.com/Mintplex-Labs/anything-llm

AnythingLLM은 누가 만들었나?

AnythingLLM은 Timothy Carambat가 2022년 캘리포니아주 어바인에서 설립한 Mintplex Labs가 개발합니다. 회사 배경을 더 자세히 다루는 PromptQuorum의 AnythingLLM Mobile 리뷰에 따르면, Mintplex Labs는 Y Combinator 2022년 여름 기수를 거쳤으며 Y Combinator, Goodwater Capital, UpHonest Capital, Orange DAO로부터 프리시드 자금을 조달했습니다.

  • 회사: Mintplex Labs, 2022년 캘리포니아주 어바인에서 Timothy Carambat가 설립
  • Y Combinator 2022년 여름 기수; 프리시드 투자자로는 Y Combinator, Goodwater Capital, UpHonest Capital, Orange DAO 등이 있음
  • 함께 개발하는 것: 동반 Android 앱인 AnythingLLM Mobile과, 오픈소스 벡터 데이터베이스 관리 도구인 VectorAdmin
  • AnythingLLM 오픈소스 저장소는 GitHub 커밋 기록에 따르면 2023년부터 지속적으로 공개 개발되고 있음

AnythingLLM으로 무엇을 할 수 있나?

AnythingLLM의 기능은 문서 폴더를 검색 가능하고 대화 가능한 지식 베이스로 바꾸는 데 중점을 두며, 그 위에 다중 사용자 및 에이전트 기능이 더해져 있습니다. AnythingLLM 자체의 GitHub README문서에 따르면 각 부분은 다음과 같이 작동합니다.

  • 워크스페이스 — 주제나 프로젝트별로 문서, 채팅 기록, LLM/벡터 데이터베이스 설정을 분리해, 법률 계약용 워크스페이스와 사내 위키용 워크스페이스가 컨텍스트를 공유하지 않도록 함
  • 문서 수집 — PDF, Word 문서, 텍스트 파일, 웹페이지 등 다양한 형식을 업로드; PromptQuorum 자체가 AnythingLLM vs PrivateGPT vs Open WebUI RAG 비교에서 실제 테스트한 결과에 따르면, 문서는 LangChain.js 로더로 파싱되어 벡터 스토어에 임베딩됨
  • 다양한 LLM 제공업체 — 완전한 로컬 추론을 위해 Ollama, LM Studio, LocalAI를 연결하거나, 자신의 API 키로 OpenAI, Anthropic, Azure OpenAI, Google Gemini를 사용
  • 다양한 벡터 데이터베이스 — 내장된 LanceDB 저장소가 별도 설정 없이 기본적으로 활성화되어 있으며, Pinecone, Chroma, Weaviate, Milvus, Qdrant는 더 큰 규모나 공유 배포를 위한 설정 가능한 대안
  • 커스텀 AI 에이전트 — 도구를 연결하고 다단계 작업을 수행하는, 코드 작성 없이 만드는 에이전트 빌더로, 채팅에서 @agent 명령으로 호출
  • 다중 사용자 모드 — 자체 호스팅 Docker 배포는 역할 기반 권한을 가진 여러 사용자 계정을 지원해, 팀이 하나의 로그인을 공유하지 않고도 워크스페이스를 공유할 수 있음
  • 임베드 가능한 채팅 위젯 — 워크스페이스가 뒷받침하는 채팅 위젯을 외부 웹사이트에 직접 임베드
  • 개발자 API — AnythingLLM의 문서 채팅을 다른 애플리케이션에 통합하기 위한 REST API

AnythingLLM 가격: 무료 데스크톱 vs AnythingLLM Cloud

AnythingLLM 데스크톱 앱과 자체 호스팅 Docker 배포는 모두 무료이며, 유료 등급이 없습니다. GitHub의 LICENSE 파일인 MIT 라이선스는 오픈소스 애플리케이션 전체에 적용됩니다. 별도의 선택적 호스팅 제품인 AnythingLLM Cloud는 직접 자체 호스팅하는 대신 Mintplex Labs가 서버를 운영해 주는 데 대한 비용을 청구합니다.

옵션
비용
포함 내용
데스크톱 앱무료단일 사용자, 자신의 기기에서 실행, MIT 라이선스
자체 호스팅(Docker)무료다중 사용자, 자신의 서버, MIT 라이선스
AnythingLLM Cloud — Basic월 50달러비공개 호스팅 인스턴스, 맞춤형 서브도메인
AnythingLLM Cloud — Pro월 99달러72시간 지원 SLA 추가, 더 큰 팀을 대상으로 함
AnythingLLM Cloud — Enterprise맞춤 견적온프레미스 배포, SSO, 역할 기반 접근 제어

AnythingLLM Cloud의 두 유료 플랜 모두 자신의 LLM API 키를 직접 제공해야 합니다 — 모델 사용 비용은 별도이며 구독 요금에 포함되지 않습니다. 가격은 Mintplex Labs가 미국 달러로 책정하며 변경될 수 있습니다. 구독하기 전에 반드시 anythingllm.com/pricing에서 현재 플랜을 직접 확인하세요.

사용 예시: AnythingLLM을 활용하는 세 가지 방법

다음은 위에서 설명한 AnythingLLM의 문서화된 기능을 바탕으로 한 구체적인 워크플로입니다 — 가상의 사용 사례가 아닙니다.

AnythingLLM은 누구에게 적합한가?

AnythingLLM이 적합한지 여부는 문서 기반 채팅이 주된 필요인지, 그리고 개인 데스크톱 사용과 공유 다중 사용자 배포를 모두 다루는 단일 무료 앱을 원하는지에 따라 달라집니다.

AnythingLLM vs 다른 RAG 및 문서 채팅 도구

AnythingLLM은 검색 증강 생성과 문서 채팅을 중심으로 특별히 구축된 여러 도구 중 하나입니다. 같은 세그먼트의 다른 옵션과 비교했을 때의 위치는 다음과 같습니다 — 전체 카탈로그는 로컬 LLM 소프트웨어 디렉터리를, 직접적이고 테스트를 거친 3자 비교는 PromptQuorum의 AnythingLLM vs PrivateGPT vs Open WebUI RAG 비교를 참조하세요.

  • PrivateGPT — 엄격한 에어갭 배포를 대상으로 하는, 처음부터 오프라인 설계된 Python 기반 RAG 서버; 설치 단계와 AnythingLLM 대비 트레이드오프는 전용 PrivateGPT 리뷰를 참조하세요.
  • Quivr — 비슷한 워크스페이스 형태의 문서 모델을 가진, 자체 호스팅형 오픈소스 "제2의 뇌" 지식 어시스턴트; Quivr 리뷰를 참조하세요.
  • RAGFlow — 복잡한 문서(표, 레이아웃)에서 인용 수준의 검색에 초점을 맞춘 문서 이해 RAG 엔진; 잘 다듬어진 채팅 UI보다 혼합 문서 세트에서의 검색 정밀도가 더 중요하다면 RAGFlow 리뷰를 참조하세요.
  • Khoj — 메모, PDF 및 기타 파일을 색인화하는 자체 호스팅형 개인 지식 어시스턴트로, "자신의 데이터와 대화하기"와 비슷하게 포지셔닝됨; Khoj 리뷰를 참조하세요.

AnythingLLM 평가 시 흔한 실수

AnythingLLM에 대한 혼란은 대부분 무료 데스크톱/자체 호스팅 등급과 유료 AnythingLLM Cloud 제품을 혼동하거나, 데스크톱 앱과 별도의 모바일 앱을 혼동하는 데서 비롯됩니다.

자주 묻는 질문

AnythingLLM이란 무엇인가요?

AnythingLLM(anythingllm.com, 소스 코드는 github.com/Mintplex-Labs/anything-llm)은 검색 증강 생성 파이프라인을 통해 자신의 문서와 대화할 수 있는 무료 오픈소스 애플리케이션으로, 데스크톱 앱, 자체 호스팅 Docker 배포, 또는 유료 호스팅 서비스인 AnythingLLM Cloud로 제공됩니다.

AnythingLLM은 무료인가요?

네, 데스크톱 앱과 자체 호스팅 Docker 배포는 모두 MIT 라이선스 하에 유료 등급 없이 무료입니다. 별도의 호스팅 서비스인 AnythingLLM Cloud는 직접 서버를 운영하고 싶지 않은 사람들을 위해 월 50달러부터 시작합니다.

AnythingLLM은 오픈소스인가요? 어떤 라이선스를 사용하나요?

네. AnythingLLM의 GitHub LICENSE 파일은 가장 허용적인 오픈소스 라이선스 중 하나인 MIT 라이선스이며, 카피레프트 의무가 없습니다.

AnythingLLM은 오프라인에서 작동하나요?

네, Ollama, LM Studio, LocalAI 같은 로컬 LLM 제공업체에 연결하고 기본 내장 LanceDB 벡터 저장소를 사용할 경우, AnythingLLM은 초기 모델 다운로드 후에는 인터넷 연결 없이 실행될 수 있습니다.

AnythingLLM은 어떤 LLM 제공업체를 지원하나요?

Ollama, LM Studio, LocalAI 같은 로컬 제공업체와, 자신의 API 키로 설정하는 OpenAI, Anthropic, Azure OpenAI, Google Gemini 같은 클라우드 제공업체를 지원합니다.

AnythingLLM의 "워크스페이스"란 무엇인가요?

워크스페이스는 문서 세트, 채팅 기록, LLM/벡터 데이터베이스 설정을 담는 격리된 컨테이너입니다. 서로 다른 주제마다 별도의 워크스페이스를 만들면 컨텍스트가 섞이지 않습니다.

AnythingLLM은 다중 사용자를 지원하나요?

네, 자체 호스팅 Docker 배포에서 AnythingLLM은 역할 기반 권한을 가진 여러 사용자 계정을 지원합니다. 데스크톱 앱은 단일 사용자용입니다.

AnythingLLM Cloud란 무엇이며 무료 버전과 어떻게 다른가요?

AnythingLLM Cloud는 Mintplex Labs가 제공하는 별도의 유료 호스팅 서비스로, 사용자를 대신해 AnythingLLM 인스턴스를 운영합니다. Basic 플랜은 월 50달러부터, Pro 플랜은 월 99달러로 72시간 지원 SLA를 추가하며, Enterprise는 맞춤 견적입니다. 기반이 되는 애플리케이션은 데스크톱 앱이나 자체 호스팅 Docker 배포로 무료로 제공되는 것과 동일한 오픈소스 소프트웨어입니다.

AnythingLLM에 모바일 앱이 있나요?

네, AnythingLLM Mobile이라는 별도의 MIT 라이선스 Android 앱이 있으며, 자체 리뷰에서 다룹니다. 기기에서 작은 모델을 실행하거나 자체 호스팅 AnythingLLM 인스턴스에 연결할 수 있습니다. 본 리뷰 작성 시점에는 iOS 앱이 존재하지 않습니다.

AnythingLLM은 누가 개발하나요?

AnythingLLM은 2022년 캘리포니아주 어바인에서 Timothy Carambat가 설립하고 Y Combinator 2022년 여름 기수를 거친 Mintplex Labs가 개발합니다.

출처

← 고급 로컬 LLM으로 돌아가기