4GB VRAM에 최적화된 Ollama 모델은?
빠른 답변
4GB VRAM에는 4비트 양자화 기준 약 40억 파라미터까지의 모델이 들어갑니다: Phi-4 Mini와 Qwen3 4B(각 ~2.5GB), Llama 3.2 3B(~2.0GB), Qwen3.5 2B(~1.9GB), Gemma 3 1B(~0.8GB). Llama 3.1 8B(~4.9GB)는 들어가지 않습니다.
- ▸Phi-4 Mini와 Qwen3 4B: 여유를 남기는 최대 모델 (각 2.5GB)
- ▸Qwen3.5 2B: 최신 계열, 텍스트와 이미지 입력 (q4_K_M 기준 1.9GB)
- ▸Gemma 3 1B: 가장 작은 선택지 (0.8GB)
핵심 요점
- ✓Phi-4 Mini와 Qwen3 4B(각 2.5GB)는 4GB GPU에서 여유를 남기는 가장 큰 모델입니다
- ✓Ollama 기본 태그의 대부분은 이미 4비트(Q4_K_M)입니다. 파라미터 수가 아니라 다운로드 크기를 확인하십시오
- ✓Llama 3.1 8B(4.9GB)와 Gemma 4 E2B(4.6GB)는 들어가지 않습니다
- ✓시스템 RAM이 4GB뿐이라면 약 1.5GB 미만으로 유지하십시오: Qwen3 0.6B, Gemma 3 1B, Llama 3.2 1B
4GB VRAM에 들어가는 모델
4GB GPU에는 4비트 양자화 기준 약 40억 파라미터까지의 모델이 들어가며, 확인해야 할 숫자는 Ollama 다운로드 크기입니다. 모델에는 파일 크기에 더해 대화가 길어질수록 커지는 컨텍스트 캐시(KV 캐시) 공간이 필요합니다. 경험상 모델 전체를 GPU에 두려면 파일을 약 3GB 이하로 유지하십시오.
Phi-4 Mini와 Qwen3 4B는 표에서 이 여유를 남기는 가장 큰 모델이며 각 2.5GB입니다. Qwen3.5 2B는 최신 계열로 텍스트와 함께 이미지도 처리합니다. Gemma 3 1B와 Qwen3 1.7B는 작은 파일에 긴 컨텍스트가 필요할 때 적합합니다. 파일 크기는 Ollama 모델 라이브러리 기준이며, 속도는 GPU에 따라 달라 초당 토큰 수치는 싣지 않았습니다. 이 크기에서는 최신 세대가 대체하지 못합니다. Qwen3.6은 27B(17GB)부터 시작하고, Gemma 4에는 4.3GB보다 작은 다운로드가 없습니다.
| 모델 | Ollama 태그 | 파일 크기 | 비고 |
|---|---|---|---|
| Phi-4 Mini | phi4-mini | 2.5 GB | 38억 파라미터, 128K 컨텍스트 |
| Qwen3 4B | qwen3:4b | 2.5 GB | 40억 파라미터, 사고 모드 |
| Llama 3.2 3B | llama3.2:3b | 2.0 GB | 30억 파라미터, Llama 계열 |
| Qwen3.5 2B | qwen3.5:2b-q4_K_M | 1.9 GB | 텍스트·이미지 입력 |
| Qwen3 1.7B | qwen3:1.7b | 1.4 GB | VRAM 대부분을 비워 둠 |
| Gemma 3 1B | gemma3:1b | 0.8 GB | 이 표에서 가장 작은 선택지 |
📍 한 문장으로
4GB VRAM에는 Phi-4 Mini(2.5GB), Qwen3 4B(2.5GB), Llama 3.2 3B(2.0GB), Qwen3.5 2B(1.9GB), Gemma 3 1B(0.8GB)가 4비트로 들어가며, Llama 3.1 8B(4.9GB)는 들어가지 않습니다.
💬 쉽게 설명하면
GPU가 4GB라면 다운로드가 약 3GB 이하인 모델을 고르고 phi4-mini나 qwen3:4b부터 시작하십시오. 8B 모델에는 6GB 이상의 카드가 필요합니다.
4GB에 들어가지 않는 모델
다음 모델들은 자주 요청되지만 Ollama 기본 다운로드가 4GB에 가깝거나 그 이상입니다:
6GB 카드가 있으면 Llama 3.1 8B 같은 8B 모델을 현실적으로 쓸 수 있습니다. 6GB VRAM 최적 로컬 LLM을 참조하십시오. 전체 하드웨어 비교는 저사양 PC용 최속 로컬 LLM을 참조하십시오.
- ▸Llama 3.1 8B(llama3.1:8b) — 다운로드 4.9GB, 컨텍스트 여유 없음
- ▸Gemma 4 E2B(gemma4:e2b-it-q4_K_M) — 이름에 "2B"가 있어도 다운로드 4.6GB
- ▸Gemma 4 E4B(gemma4:e4b-it-q4_K_M) — 다운로드 6.6GB
- ▸Qwen3.5 4B(qwen3.5:4b-q4_K_M)와 Gemma 3 4B(gemma3:4b) — 3.3GB와 3.4GB. 한계선이며 긴 컨텍스트에서는 일부 레이어가 시스템 RAM으로 넘어갑니다
어떤 Ollama 모델이 4비트입니까?
Ollama 기본 태그의 대부분은 이미 4비트입니다: phi4-mini, qwen3:1.7b, gemma3:4b, llama3.1:8b는 4비트 양자화인 q4_K_M 항목과 파일 해시가 같습니다. 라이브러리 페이지는 기본 태그의 양자화를 명시하지 않는 경우가 많으므로, 확실히 하려면 이름에 양자화가 들어 있는 태그를 받으십시오. 예: ollama run qwen3:4b-q4_K_M.
모든 소형 모델이 기본으로 4비트인 것은 아니며, 기본 태그가 4비트 파일보다 훨씬 클 수 있습니다:
- ▸gemma2:2b — 기본은 q4_0(1.6GB)
- ▸smollm2:1.7b — 기본은 q8_0(1.8GB). q4_K_M 파일은 1.1GB
- ▸qwen3.5:2b — 기본은 2.7GB. qwen3.5:2b-q4_K_M은 1.9GB
- ▸llama3.2:1b — 기본은 q8_0과 일치(1.3GB)