ํต์ฌ ์์
- AnythingLLM์ ๊ธฐ์ ํ์ ์ํ ์ต๊ณ ์ ์ฌ์ธ์ RAG ๋๊ตฌ์ ๋๋ค โ ์ฝ๋ ์์ด, ๋ฉํฐ ์ฌ์ฉ์, Ollama์ ํจ๊ป ๋ก์ปฌ์์ ์คํ
- LlamaIndex๋ Python SDK๋ฅผ ํตํด ๊ฐ๋ฐ์์๊ฒ ๊ฐ์ฅ ์ ์ฐํ ํ์ดํ๋ผ์ธ ์ ์ด๋ฅผ ์ ๊ณตํฉ๋๋ค
- PrivateGPT๋ PDF ํด๋๊ฐ ์๋ ๊ฐ์ธ ์ฌ์ฉ์์๊ฒ ๊ฐ์ฅ ๊ฐ๋จํ ์ต์ ์ ๋๋ค
- Cognita๋ ๊ธฐ์ ๊ธฐ๋ฅ์ ์ถ๊ฐํฉ๋๋ค: RBAC, ๊ฐ์ฌ ๋ก๊ทธ, Slack/Teams ํตํฉ
- Chroma๋ ์์ฒด RAG ์คํ์ ๊ตฌ์ถํ ๋ ๊ฐ์ฅ ์ ํฉํ ๋ ๋ฆฝํ ๋ฒกํฐ ๋ฐ์ดํฐ๋ฒ ์ด์ค์ ๋๋ค
- ๋ค์ฏ ๊ฐ์ง ๋๊ตฌ ๋ชจ๋ ์์ ํ ์คํ๋ผ์ธ์ผ๋ก ์คํ๋ฉ๋๋ค โ ์ด๋ค ๋ฌธ์๋ ๋คํธ์ํฌ๋ฅผ ๋ฒ์ด๋์ง ์์ต๋๋ค
๐ ํ ๋ฌธ์ฅ์ผ๋ก
๋ก์ปฌ RAG ๋๊ตฌ๋ฅผ ์ฌ์ฉํ๋ฉด ๋ฐ์ดํฐ๋ฅผ ์ธ๋ถ ์๋ฒ๋ก ์ ์กํ์ง ์๊ณ AI๋ก ๊ธฐ์ ๋ฌธ์๋ฅผ ์กฐํํ ์ ์์ต๋๋ค.
| ๋๊ตฌ | ์ฝ๋ ์๋ ์ธํฐํ์ด์ค | ๋ฉํฐ ์ฌ์ฉ์ | ๋ก์ปฌ LLM | ํ์ผ ํ์ | ๋ผ์ด์ ์ค |
|---|---|---|---|---|---|
| AnythingLLM | ์ | ์ (์ํฌ์คํ์ด์ค) | Ollama, LM Studio | PDF, DOCX, XLSX, CSV, URL, YouTube ์ง์ | MIT |
| LlamaIndex | ์๋์ (Python SDK) | ๋ง์ถค ์ค์ ๊ฐ๋ฅ | Ollama, llama.cpp | ๋ชจ๋ ํ์ (๋ก๋ ์ฌ์ฉ ์) | MIT |
| PrivateGPT | ๊ธฐ๋ณธ ์ธํฐํ์ด์ค | ์๋์ | Ollama, llama.cpp | PDF, DOCX, TXT | Apache 2.0 |
| Cognita | ์ | ์ (RBAC) | Ollama, Bedrock | PDF, DOCX, HTML, S3 | Apache 2.0 |
| Chroma | ์๋์ (API) | ์ (์๋ฒ ๋ชจ๋) | ๋ชจ๋ ๊ฒ | ๋ชจ๋ ํ์ (ํด๋ผ์ด์ธํธ ์ฌ์ฉ ์) | Apache 2.0 |
| ๊ตฌ์ฑ | RAM | VRAM | ์ฌ์ฉ ์ฌ๋ก |
|---|---|---|---|
| 7B ๋ชจ๋ธ + ๋ฌธ์ 10,000๊ฐ | 16GB | 8GB | ๊ฐ์ธ ์ฌ์ฉ์, ์๊ท๋ชจ ๋ฌธ์ ์งํฉ |
| 14B ๋ชจ๋ธ + ๋ฌธ์ 50,000๊ฐ | 32GB | 16GB | ํ ์ฌ์ฉ, ๋ถ์๋ณ ์ง์ ๋ฒ ์ด์ค |
| 32B ๋ชจ๋ธ + ๋ฌธ์ 200,000๊ฐ | 64GB | 24GB | ๊ธฐ์ , ๋ค์ค ๋ถ์ |
| Mac Mini M4 Pro 48GB | 48GB (๊ณต์ ) | N/A | ๋น์ฉ ๋๋น ์ต๊ณ ์ ์ฌ์ธ์ ํ ์๋ฒ |
RAG ๋๊ตฌ๋ SharePoint ๋ฌธ์์ ํจ๊ป ์๋ํฉ๋๊น?
AnythingLLM๊ณผ Cognita๋ SharePoint๋ฅผ ๋ฐ์ดํฐ ์์ค๋ก ์ง์ํฉ๋๋ค. LlamaIndex๋ llama-hub์ SharePoint ๋ก๋๊ฐ ์์ต๋๋ค. PrivateGPT์ Chroma๋ ์์ง ์ ์ ๋ฌธ์๋ฅผ ์๋์ผ๋ก ๋ด๋ณด๋ด์ผ ํฉ๋๋ค.
๊ธฐ์ ๋ฌธ์์๋ ์ด๋ค ์๋ฒ ๋ฉ ๋ชจ๋ธ์ ์ฌ์ฉํด์ผ ํฉ๋๊น?
nomic-embed-text(Ollama๋ฅผ ํตํด)๋ ๊ธฐ์ ๋ฌธ์์ ๋ํ ์ต๊ณ ์ ์ ํ๋-์๋ ๋น์จ์ ์ ๊ณตํฉ๋๋ค. ๋ค๊ตญ์ด ์ฝํผ์ค(๋ ์ผ์ด, ํ๋์ค์ด, ์ค๊ตญ์ด)์ ๊ฒฝ์ฐ mxbai-embed-large ๋๋ multilingual-e5-large๋ฅผ ์ฌ์ฉํ์ญ์์ค.
์ด ๋๊ตฌ๋ค์ ์ผ๋ง๋ ๋ง์ ๋ฌธ์๋ฅผ ์ฒ๋ฆฌํ ์ ์์ต๋๊น?
AnythingLLM์ Chroma ๋๋ Weaviate๋ฅผ ๋ฐฑ์๋๋ก ์ฌ์ฉํ์ฌ 100,000๊ฐ ์ด์์ ๋ฌธ์๋ฅผ ์ฒ๋ฆฌํฉ๋๋ค. PrivateGPT๋ ๊ธฐ๋ณธ SQLite ๋ฐฑ์๋๋ก 10,000๊ฐ ๋ฏธ๋ง์ ๋ฌธ์์์ ๊ฐ์ฅ ์ ์๋ํฉ๋๋ค. LlamaIndex๋ ์ ํํ ๋ฒกํฐ ๋ฐ์ดํฐ๋ฒ ์ด์ค์ ๋ฐ๋ผ ์๋ฐฑ๋ง ๊ฐ์ ๋ฌธ์๋ก ํ์ฅ๋ฉ๋๋ค.
RAG ๋๊ตฌ๋ Excel ์คํ๋ ๋์ํธ์ ํจ๊ป ์๋ํฉ๋๊น?
AnythingLLM์ XLSX ํ์ผ์ ์์งํ๊ณ ๊ฐ ์ํธ๋ฅผ ๋ณ๋์ ์ปจํ ์คํธ ๋ธ๋ก์ผ๋ก ์ฒ๋ฆฌํฉ๋๋ค. LlamaIndex์๋ ExcelReader ๋ก๋๊ฐ ์์ต๋๋ค. PrivateGPT๋ ๊ธฐ๋ณธ์ ์ผ๋ก PDF/DOCX/TXT๋ง ์ฒ๋ฆฌํ๋ฏ๋ก Excel์ ๋จผ์ ๋ณํํด์ผ ํฉ๋๋ค.
๊ธฐ์ RAG์๋ ์ด๋ค LLM์ ์ฌ์ฉํด์ผ ํฉ๋๊น?
Qwen3 14B Q4_K_M์ 2026๋ ๊ธฐ์ RAG๋ฅผ ์ํ ์ต๊ณ ์ ๋ก์ปฌ ๋ชจ๋ธ์ ๋๋ค โ ์ฐ์ํ ์ง์ ์ถ์ข , 128K ์ปจํ ์คํธ, ๊ตฌ์กฐํ๋ ๋ฐ์ดํฐ ์ถ์ถ์ ๊ฐํฉ๋๋ค. 8GB VRAM์ ๊ฒฝ์ฐ Qwen3 7B ๋๋ Llama 3.3 8B๋ฅผ ์ฌ์ฉํ์ญ์์ค.