2 GB RAM으로 RAG를 실행할 수 있습니까?
빠른 답변
예 — 단, Llama 3.2 1B(~810 MB)와 MiniLM-L6-v2 임베딩(~80 MB), 인메모리 벡터 스토어를 사용하는 소규모 개인 문서 세트에 한해 가능합니다. 총 ~1.3-1.5 GB로 2 GB 장치에 들어갑니다. 더 큰 모델(7B+) 및 대규모 문서 세트(200페이지 이상)는 최소 8 GB가 필요합니다.
- ▸Llama 3.2 1B Q4_K_M(~810 MB) + MiniLM-L6-v2 임베딩(~80 MB)이 2 GB에 들어갑니다
- ▸문서 세트는 RAM 내에 유지하려면 ~200페이지 미만이어야 합니다
- ▸7B+ 모델 또는 대형 코퍼스는 최소 8 GB RAM이 필요합니다
예 — 최소 구성만 동작합니다
2 GB RAM에서 유일하게 실용적인 RAG 파이프라인은 1B급 LLM(Llama 3.2 1B 또는 Qwen3 0.6B)과 경량 임베딩 모델(MiniLM-L6-v2, ~80 MB), 플랫 파일 또는 인메모리 벡터 스토어를 사용합니다. 이 구성은 동작하지만 소규모 개인 문서 세트(~200페이지 미만)에만 적합합니다.
아래 표는 최소 실행 가능 설정에서 각 RAG 구성 요소의 메모리 사용량을 보여줍니다.
| 구성 요소 | 메모리 사용량 | 비고 |
|---|---|---|
| LLM (Llama 3.2 1B Q4_K_M) | ~810 MB | 사용 가능한 가장 작은 instruction-tuned 모델 |
| 임베딩 모델 (MiniLM-L6-v2) | ~80 MB | CPU에서 실행 가능; GPU 불필요 |
| 벡터 스토어 (Chroma 인메모리) | ~150 MB | 코퍼스 크기에 따라 확장됨 |
| Python 런타임 + 프레임워크 오버헤드 | ~300 MB | LangChain 또는 최소 llama-index |
| 최소 합계 | ~1.3-1.5 GB | 2 GB 장치에서 OS에 ~500 MB 여유 |
2 GB에서 문제가 생기는 경우
가장 흔한 실패는 LLM이 컨텍스트 윈도우 확장 시 사용 가능한 RAM을 초과하는 것입니다. 2 GB에서는 컨텍스트를 2k-4k 토큰으로 제한하십시오(llama.cpp: -c 2048). Llama 3.2 1B의 KV 캐시는 fp16에서 토큰당 약 32 KB(4k에서 약 128 MB)이며, 여유 RAM을 넘으면 OS가 스왑을 시작합니다. 7B 이상 모델 로딩은 즉시 실패합니다. Llama 3 8B Q4_K_M은 단독으로 ~5 GB가 필요합니다.
두 번째 실패 유형은 벡터 스토어 증가입니다. PDF 500페이지에 대한 Chroma 데이터베이스는 청크 크기에 따라 약 400-600 MB를 사용합니다. LLM과 임베딩 모델을 합치면 총 RAM이 2 GB를 초과합니다. 해결책: 수집을 150페이지 미만으로 제한하고, 256 토큰 청크를 사용하며, 각 세션 후 스토어를 정리하십시오.
2 GB RAM 노트북: OS가 남기는 메모리
2 GB 노트북에서는 RAG 스택이 아니라 운영체제가 들어맞는지를 결정합니다. Windows 11은 공식적으로 최소 4 GB RAM을 요구하므로, 2 GB 노트북은 보통 경량 Linux 배포판이나 이전 Windows를 사용합니다. 터미널만 쓰는 Linux 세션은 2 GB 대부분을 비워 두지만, 브라우저를 연 데스크톱은 1 GB 미만이 남을 수 있습니다.
llama.cpp로 명령줄에서 파이프라인을 실행하고, 브라우저를 닫고, 안전망으로 zram 또는 스왑을 켜십시오. 스왑은 충돌을 막지만 생성 속도를 크게 떨어뜨립니다.
| 노트북 구성 | RAG용 여유 RAM | 들어가나요? |
|---|---|---|
| Linux, 터미널만 | 2 GB 대부분 | 예: 1B 모델 + MiniLM |
| 경량 Linux 데스크톱 | 대개 ~1 GB | 빠듯함: Qwen3 0.6B만 |
| Windows 10 또는 11 | 1 GB 미만 | 아니요: 4 GB+ 기기 사용 |