DeepSeek-R1 Distill VRAM 치트시트 (2026)
모든 DeepSeek-R1 distill을 양자화별로 보면: 1.5B는 4 GB, 7B/8B는 8 GB, 14B는 16 GB, 32B는 24 GB에 들어가고, 70B는 듀얼 GPU가 필요합니다 — 모두 Ollama 기본값 Q4_K_M 기준입니다. Q8_0은 VRAM을 약 2배로, FP16은 Q4_K_M 파일 크기를 약 4배로 늘립니다. distill을 그래픽카드에 맞추기 위해 북마크해 두는 표입니다. 현황: R1은 더 이상 DeepSeek의 현재 세대가 아닙니다(현재 세대는 DeepSeek-V4). 다만 이 증류 모델들은 독립적인 오픈 웨이트 릴리스이며 여전히 로컬에서 실행됩니다.
핵심 요점
- ✓R1은 더 이상 DeepSeek의 현재 세대가 아닙니다. 현재 세대는 DeepSeek-V4(Flash 및 Pro, MIT 라이선스 오픈 웨이트)입니다. R1 증류 모델은 독립적인 오픈 웨이트 릴리스이며 여전히 로컬에서 실행됩니다.
- ✓Q4_K_M(Ollama 기본값) VRAM: 1.5B ~1.6 GB, 7B ~5.5 GB, 8B ~6 GB, 14B ~9.5 GB, 32B ~20.5 GB, 70B ~44 GB.
- ✓Q8_0은 Q4_K_M 크기의 약 2배, FP16은 Q4_K_M 파일 크기의 약 4배입니다.
- ✓Q4_K_M의 14B(~9.5 GB)가 최적점입니다 — 컨텍스트 여유를 두고 16 GB 카드에 들어갑니다.
- ✓Q4_K_M의 32B(~20.5 GB)는 24 GB RTX 4090에서 빠듯합니다. 더 긴 컨텍스트가 필요하면 더 작은 양자화로 낮추십시오.
- ✓전체 671B DeepSeek-R1은 이 표에 없습니다 — Q4에서 ~376–404 GB가 필요하며 데이터센터 전용입니다.
- ✓이들은 R1 추론 distill이며, DeepSeek-V3(채팅 모델)이 아닙니다.
이 페이지에는 타사 제품에 대한 참조 링크가 포함되어 있습니다. PromptQuorum은 어떤 제휴 프로그램에도 등록되어 있지 않습니다 — 이는 수수료가 발생하지 않는 일반 링크입니다. 링크 클릭 및 이후 단계는 전적으로 귀하의 책임입니다. 이 링크는 PromptQuorum의 어떠한 보증이나 검증을 나타내지 않습니다.
빠른 답변
Q4_K_M(Ollama 기본값) 기준: 1.5B ≈ 1.6 GB, 7B ≈ 5.5 GB, 8B ≈ 6 GB, 14B ≈ 9.5 GB, 32B ≈ 20.5 GB, 70B ≈ 44 GB입니다. Q8_0은 Q4_K_M 크기의 약 2배, FP16은 약 4배이므로 FP16의 32B에는 80 GB급 구성이 필요합니다.
- ▸1.5B: 파일 ~1.1 GB, Q4_K_M에서 ~4 GB VRAM(또는 CPU)
- ▸7B: 파일 ~4.7 GB, ~5.5 GB VRAM — RTX 3060 12GB
- ▸14B: 파일 ~9 GB, ~9.5 GB VRAM — RTX 4060 Ti 16GB
- ▸32B: 파일 ~20 GB, ~20.5 GB VRAM — RTX 4090 24GB(빠듯함)
- ▸70B: 파일 ~43 GB, ~44 GB VRAM — 듀얼 GPU 또는 48 GB
- ▸규칙: Q8_0 ≈ 2× Q4_K_M; FP16 ≈ 4× Q4_K_M
양자화별 DeepSeek-R1 Distill VRAM
VRAM 수치에는 원본 파일 크기 외에 컨텍스트와 KV 캐시를 위한 약간의 여유가 포함됩니다. Q4_K_M은 Ollama 기본값이며 추론에서 크기 대 품질 균형으로 널리 쓰입니다. VRAM이 남고 미미한 품질 향상을 원할 때만 Q8_0을 사용하십시오. FP16은 로컬에서 가치가 있는 경우가 드뭅니다.
| Distill | Q4_K_M (VRAM) | Q8_0 (VRAM) | FP16 (VRAM) | 최소 GPU (Q4_K_M) |
|---|---|---|---|---|
| 1.5B | ~1.6 GB | ~2.5 GB | ~4.2 GB | 4 GB GPU 아무거나 / CPU |
| 7B (Qwen2.5) | ~5.5 GB | ~8.7 GB | ~15.6 GB | RTX 3060 12GB |
| 8B (Llama 3) | ~6 GB | ~9 GB | ~16.6 GB | RTX 3060 12GB |
| 14B (Qwen2.5) | ~9.5 GB | ~17 GB | ~31 GB | RTX 4060 Ti 16GB |
| 32B (Qwen2.5) | ~20.5 GB | ~36 GB | ~67 GB | RTX 4090 24GB(빠듯함) |
| 70B (Llama 3) | ~44 GB | ~76 GB | ~142 GB | 듀얼 GPU / 48 GB |
어떤 양자화를 선택해야 합니까?
**거의 모든 경우에 Q4_K_M을 사용하십시오** — Ollama 기본값이며 GB당 가장 많은 모델을 담으면서도 추론 품질을 높게 유지합니다. 특별한 이유가 없다면 이것을 선택하십시오.
**Q8_0은 VRAM이 남을 때만 사용하십시오** — 사용량을 약 2배로 늘리는 대신 추론 답변에 대체로 큰 영향을 주지 않는 미미한 품질 향상만 제공합니다. 24 GB 카드에서 14B를 구동할 때는 가치가 있지만 그 외에는 거의 없습니다.
**로컬에서는 FP16을 건너뛰십시오** — Q4_K_M 크기의 약 4배로, 32B를 80 GB급 하드웨어로 밀어 올리지만 Q8_0 대비 대부분의 로컬 환경에서 실질적인 추론 이점은 작습니다.
16 GB 카드에서 14B: 어떤 양자화가 들어갈까
**16 GB GPU에서는 14B를 Q8_0이 아니라 Q4_K_M, Q5_K_M 또는 Q6_K로 실행하십시오.** Ollama의 Q4_K_M 파일은 9.0 GB로 컨텍스트용으로 약 6 GB가 남으며, Q5_K_M(~10.5 GB)과 Q6_K(~12.1 GB)도 보통 크기의 컨텍스트 창에서는 들어갑니다.
**Q8_0은 여유 있게 들어가지 않습니다.** Ollama의 Q8_0 파일은 16 GB로, KV 캐시를 더하기 전에 카드 전체를 차지하므로 모델 일부가 느린 시스템 RAM으로 넘어갑니다.
**Ollama는 distill에 대해 Q4_K_M, Q8_0, FP16 태그만 제공합니다.** Q5_K_M이나 Q6_K가 필요하면 Hugging Face에서 GGUF 파일을 받으십시오: `ollama run hf.co/
**RTX 4070 Laptop의 VRAM은 16 GB가 아니라 8 GB입니다.** 7B 또는 8B distill을 Q4_K_M(파일 4.7–4.9 GB)으로 사용하십시오. 14B(9 GB)는 일부가 시스템 RAM으로 오프로드되어 크게 느려집니다.
**`deepseek-r1:8b` 태그는 Llama distill이 아닙니다.** Ollama 태그 목록의 5.2 GB 크기는 4.9 GB Llama distill이 아니라 Qwen3-8B 기반 R1-0528 빌드와 일치하며, 표의 Llama 3 distill은 `deepseek-r1:8b-llama-distill-q4_K_M`입니다.
V3 vs R1: 혼동하지 마십시오
**DeepSeek-V3은 채팅 모델이고, DeepSeek-R1(및 이 distill들)은 추론 모델입니다.** 이 표는 R1 추론 계열 전용입니다. V3을 찾고 있다면, 그것은 671B MoE 채팅 모델로 역시 소비자용 하드웨어에서 구동할 수 없습니다 — [DeepSeek-V3 하드웨어 요약](/ko/prompt-bites/deepseek-v3-local-hardware-requirements)을 참고하십시오.
**업데이트:** DeepSeek의 현재 세대는 DeepSeek-V4(Flash 및 Pro)이며, MIT 라이선스의 오픈 웨이트로 공개되었습니다(프리뷰: 2026년 4월 24일). DeepSeek API는 이제 V4를 제공합니다. deepseek-chat(V3 세대)과 deepseek-reasoner(R1 세대) 별칭은 2026년 7월 24일 이후 완전히 폐지된다고 공지되었습니다. R1 증류 모델은 독립적인 오픈 웨이트 릴리스로서 해당 공지의 대상이 아니었으며 여전히 로컬에서 실행됩니다. V4 자체는 소비자용 GPU 모델이 아닙니다. V4-Pro는 총 1.6T 파라미터(활성 49B), 최초의 V4-Flash는 284B(활성 13B)이며, 4비트 정밀도(파라미터 수 × 0.5바이트)로도 가중치만 약 140 GB(Flash)에서 800 GB(Pro)가 필요하고, DeepSeek 모델 카드에는 GPU 요구 사항이 명시되어 있지 않습니다. 소비자용 GPU 한 장에서의 추론에는 증류 모델이 여전히 현실적인 선택입니다.
관련 가이드
- ▸당신의 GPU에 가장 적합한 DeepSeek Distill — 카드를 distill에 맞추고, Ollama 명령어와 예상 tok/s까지 제공
- ▸2026 최고의 로컬 추론 모델: DeepSeek-R1 순위 — 벤치마크가 포함된 전체 순위 가이드
- ▸DeepSeek-V3 로컬 하드웨어 요구 사항 — V3 채팅 모델 버전
자주 묻는 질문
DeepSeek-R1은 아직도 DeepSeek의 현재 모델입니까?▾
DeepSeek-R1-Distill-Qwen-32B의 VRAM은 얼마입니까?▾
Q8_0은 Q4_K_M보다 얼마나 더 필요합니까?▾
70B distill을 GPU 한 개로 구동할 수 있습니까?▾
전체 DeepSeek-R1이 이 표에 있습니까?▾
양자화된 DeepSeek-R1 14B에는 VRAM이 얼마나 필요합니까?▾
16 GB VRAM으로 DeepSeek-R1 14B를 실행할 수 있습니까?▾
RTX 4070 Laptop(8 GB)에는 어떤 DeepSeek-R1 distill이 맞습니까?▾
전체 설명이 필요하십니까?
전체 가이드 읽기 →관련 프롬프트 요점