为你的 GPU 选择最佳 DeepSeek 蒸馏模型（2026）
一行匹配你的 GPU 与 DeepSeek-R1 蒸馏模型：RTX 3060 12GB 运行 7B，RTX 4060 Ti 16GB 运行 14B，RTX 4090 运行 32B（按 DeepSeek 公布的结果超过 o1-mini），双 GPU 运行 70B。 在 8 GB 显卡上，运行 DeepSeek-R1-0528-Qwen3-8B——发布时最强的小型推理蒸馏模型之一。所有命令默认使用 Q4_K_M。现状： R1 已不再是 DeepSeek 的当前一代（当前一代是 DeepSeek-V4），但这些蒸馏版是独立的开放权重发布，仍可在本地运行。与 o1-mini 的对比属于历史参照：OpenAI 已于 2025 年 10 月 27 日停用 o1-mini。
关键要点
- ✓R1 已不再是 DeepSeek 的当前一代——当前一代是 DeepSeek-V4（Flash 和 Pro，MIT 许可的开放权重）。R1 蒸馏版是独立的开放权重发布，仍可在本地运行。
- ✓RTX 3060 12GB → 7B 蒸馏；RTX 4060 Ti 16GB → 14B（最佳平衡点）；RTX 4090 → 32B（超过 o1-mini）。
- ✓双 GPU 或 48 GB → 70B 蒸馏，六者中最强。
- ✓在 8 GB 上，最佳的小型模型是 DeepSeek-R1-0528-Qwen3-8B。
- ✓每个模型都以 Q4_K_M 通过一条命令安装，例如 `ollama run deepseek-r1:14b`。
- ✓将 temperature 设为 0.6 且不使用 system prompt（DeepSeek 的建议），以避免无休止的重复。
- ✓这是 R1 推理家族——不是聊天模型 DeepSeek-V3。
本页包含指向第三方产品的参考链接。PromptQuorum 未加入任何联盟计划——这些是不产生佣金的普通链接。点击链接和后续步骤由您自行承担责任。这些链接不代表 PromptQuorum 的任何认可或验证。
快速回答
找到你的显卡：RTX 3060 12GB → 7B，RTX 4070 12GB → 8B（14B 仅限短上下文），RTX 4060 Ti 16GB / 4070 Ti Super / 4080 → 14B，RTX 4090 → 32B，双 GPU/48 GB → 70B。32B 仅权重就需要约 20 GB，因此装不进 12 GB 或 16 GB 显卡。8 GB 上最佳的小型模型是 DeepSeek-R1-0528-Qwen3-8B（`ollama run deepseek-r1:8b`）。每个都用一条 Ollama 命令以 Q4_K_M 运行。
- ▸RTX 3060 12GB → deepseek-r1:7b — 约 30–40 tok/s
- ▸RTX 4060 Ti 16GB → deepseek-r1:14b — 约 25–35 tok/s（推荐）
- ▸RTX 4070 12GB → deepseek-r1:8b（14B 仅限短上下文）— 约 30–40 tok/s
- ▸RTX 4070 Ti Super / 4080 16GB → deepseek-r1:14b — 约 40–50 tok/s（32B 装不下）
- ▸RTX 4090 24GB → deepseek-r1:32b — 约 30–40 tok/s，超过 o1-mini
- ▸双 GPU / 48 GB → deepseek-r1:70b — 约 12–18 tok/s
- ▸8 GB 显卡，最佳小型 → DeepSeek-R1-0528-Qwen3-8B
GPU → DeepSeek-R1 蒸馏模型 → Ollama 命令
在第一列找到你拥有的 GPU 并横向阅读。tok/s 数值是 Q4_K_M 推理工作负载的粗略参考估计，并非 PromptQuorum 的实测，会随上下文长度、采样设置和硬件而变化。当两个模型都能装下时，较大的推理更好，较小的更快。
| GPU (VRAM) | 最佳蒸馏 | Ollama 命令 | 预期 tok/s |
|---|---|---|---|
| RTX 3060 12GB（8 GB 档） | DeepSeek-R1-Distill-Qwen-7B | ollama run deepseek-r1:7b | ~30–40 |
| 8 GB，最佳小型 | DeepSeek-R1-0528-Qwen3-8B | ollama run deepseek-r1:8b | ~30–40 |
| RTX 4060 Ti 16GB | DeepSeek-R1-Distill-Qwen-14B | ollama run deepseek-r1:14b | ~25–35 |
| RTX 4070 12GB | 8B，或 14B（短上下文） | ollama run deepseek-r1:8b | ~30–40 |
| RTX 4070 Ti Super / 4080 16GB | 14B（32B 装不下） | ollama run deepseek-r1:14b | ~40–50 |
| RTX 4090 24GB | DeepSeek-R1-Distill-Qwen-32B | ollama run deepseek-r1:32b | ~30–40 |
| 双 GPU / 48 GB | DeepSeek-R1-Distill-Llama-70B | ollama run deepseek-r1:70b | ~12–18 |
如何分 3 步使用此表
四步：(1) 找到你的 GPU 及其显存，(2) 安装 Ollama 并运行对应命令，(3) 用 `ollama ps` 确认模型完全在 GPU 上，(4) 把 temperature 设为 0.6 并清空系统提示词。如果模型太慢，降一档；如果还有空余显存，升一档以获得更好的推理效果。
V3 与 R1：此表仅针对 R1
**DeepSeek-R1 是这些命令安装的推理家族；DeepSeek-V3 是另一个独立的聊天模型。** 不要指望这些蒸馏模型提供 V3 体验——它们经过调优以展示数学和逻辑的逐步推理。此外 V3 是 671B MoE，无法在消费级硬件上运行；参见 [DeepSeek-V3 硬件简报](/zh/prompt-bites/deepseek-v3-local-hardware-requirements)。
**更新：** DeepSeek 当前一代是 DeepSeek-V4（Flash 和 Pro），以 MIT 许可的开放权重发布（预览版：2026 年 4 月 24 日）。DeepSeek 的 API 现在提供 V4：deepseek-chat（V3 世代）和 deepseek-reasoner（R1 世代）别名已宣布在 2026 年 7 月 24 日之后完全停用。R1 蒸馏版是独立的开放权重发布，不在该通知范围内，仍可在本地运行。V4 本身并不是消费级 GPU 模型：V4-Pro 总参数 1.6T（激活 49B），最初的 V4-Flash 为 284B（激活 13B），即使按 4 位精度（参数量 × 0.5 字节）计算，仅权重就大约需要 140 GB（Flash）到 800 GB（Pro），而且 DeepSeek 的模型卡未列出 GPU 要求。若要在单张消费级 GPU 上做推理，蒸馏版仍是务实之选。
相关指南
- ▸DeepSeek-R1 蒸馏 VRAM 速查表 — 按量化（Q4_K_M、Q8、FP16）列出每个蒸馏模型及 VRAM 和最低 GPU
- ▸2026 最佳本地推理模型：DeepSeek-R1 排名 — 含基准和分级的完整排名指南
- ▸DeepSeek-V3 本地硬件要求 — V3 聊天模型对应版
常见问题
DeepSeek-R1 仍是 DeepSeek 的当前模型吗？▾
RTX 4090 上能运行哪个 DeepSeek 蒸馏模型？▾
16 GB 显存能装下哪个 DeepSeek-R1 蒸馏模型？▾
RTX 4070 能运行 deepseek-r1:32b 吗？▾
8 GB GPU 最佳的 DeepSeek 蒸馏模型是什么？▾
我的蒸馏模型为什么慢？▾
我需要选择量化吗？▾
想了解完整详情？
阅读完整指南 →相关 Prompt Bites