Qwen 14B 对比 Llama 3 8B:哪款本地运行更好?
Hans Kuepper 作者 · PromptQuorum创始人 · 开放权重与开源AI发现引擎
关键要点
- ✓Llama 3 8B(下载 4.7 GB)可放入 6 GB VRAM,在 RTX 3060 上约 25 tok/s——小显卡追求交互速度的正确选择
- ✓Qwen3 14B(下载 9.3 GB)至少需要约 10 GB VRAM,速度约 15 tok/s,但在 Qwen 自己的对比表中,其基础模型 MMLU 为 81.1,高于 Llama 3 8B 的 66.6
- ✓实际分界点是 12 GB VRAM:8 GB 以内用 Llama 3 8B 或 Qwen3 8B,12 GB 时 Qwen3 14B 在质量上胜出
- ✓在代码和数学上差距更大:EvalPlus 72.2 对 44.1,GSM8K 92.5 对 55.3(基础模型,Qwen 公布数据)
- ✓上下文也不同:Llama 3 8B 限于 8K,Qwen3 14B 原生 32K(YaRN 下 131K),Llama 3.1 8B 支持 128K

快速回答
Llama 3 8B 更轻量:下载 4.7 GB,6 GB 显卡即可运行,生成速度更快。Qwen3 14B 下载 9.3 GB,需要约 10–12 GB VRAM,但其基础模型在 MMLU 上高出约 14 分(81.1 对 66.6)。拥有 12 GB VRAM 时,Qwen3 14B 在质量上更胜一筹。
- ▸Llama 3 8B:4.7 GB(ollama run llama3),8K 上下文,RTX 3060 上约 25 tok/s
- ▸Qwen3 14B:9.3 GB(ollama run qwen3:14b),原生 32K 上下文(YaRN 下 131K),约 15 tok/s
- ▸小显卡需要 128K 上下文?当前的 Llama 8B 是 Llama 3.1 8B(4.9 GB)
Llama 3 8B 在速度和显存适配上更胜一筹
Llama 3 8B 在 Ollama 中下载 4.7 GB,在 RTX 3060 12 GB 上每秒生成约 25 个 token,是 VRAM 低于 10 GB 的任何配置的默认选择。80 亿参数带来灵敏的交互响应,适合聊天和简短的代码会话。
Qwen3 14B 下载 9.3 GB,在加上上下文缓存之前就需要约 10 GB VRAM,要运行得从容则需 12 GB。在同一张显卡上约 15 tok/s。较低的吞吐量在实时对话中较为明显,但对于质量比延迟更重要的批量摘要或长文档处理是可以接受的。
按这些速度,Llama 3 8B 生成 200 个 token 的回答约需 8 秒,Qwen3 14B 约需 13 秒。单轮查询差距很小,多轮会话中会累积。tok/s 数值是 RTX 3060 12 GB 上单用户的粗略估计,并非 PromptQuorum 的基准测试——请运行 ollama run --verbose 测量你自己的显卡。
| 模型 | Ollama 命令 | 下载大小 | 原生上下文 | MMLU(基础) |
|---|---|---|---|---|
| Llama 3 8B | ollama run llama3 | 4.7 GB | 8K | 66.6 |
| Qwen3 8B | ollama run qwen3:8b | 5.2 GB | 32K(YaRN 下 131K) | 76.9 |
| Qwen3 14B | ollama run qwen3:14b | 9.3 GB | 32K(YaRN 下 131K) | 81.1 |
📍 简单一句话
Llama 3 8B 下载 4.7 GB、速度更快;Qwen3 14B 需要 9.3 GB,但 MMLU 高出约 14 分(81.1 对 66.6,基础模型)。
💬 简单来说
VRAM 为 6–8 GB 时用 Llama 3 8B 或 Qwen3 8B;12 GB 及以上用 Qwen3 14B 获得更好的回答。
VRAM 允许时 Qwen3 14B 在质量上胜出
Qwen3 14B Base 的 MMLU 为 81.1,高出 Llama 3 8B Base 的 66.6 约 14 分,体现为更好的多步推理、指令遵循和结构化输出一致性。这些是来自 Qwen 自家技术报告的基础模型数据,使用统一流程评测;属于厂商公布数据,Instruct 版本会有差异。
在代码和数学上差距更大。同一批表格中,Qwen3 14B Base 的 EvalPlus 为 72.2(Llama 3 8B 为 44.1),GSM8K 为 92.5(对 55.3)。Qwen3 8B 介于两者之间(MMLU 76.9,EvalPlus 67.7),因此在 Qwen 8B 和 14B 之间选择时,14B 多下载 4.1 GB,换来约 4 分的 MMLU 提升。
版本核对:Llama 3 8B 上下文限于 8K。当前的 Llama 8B 是 Llama 3.1 8B(4.9 GB),支持 128K 上下文。Qwen3 14B 原生 32K 上下文,YaRN 缩放下可达 131K。Meta 没有 14B 的 Llama,Ollama 上的 Qwen3.5 有 9B(6.6–7.6 GB,256K 上下文)但没有 14B,因此 14B 档位仍是 Qwen3 14B。
≤8 GB VRAM:Llama 3 8B(4.7 GB)或 Qwen3 8B(5.2 GB)。10–12 GB:Qwen3 14B 刚好放得下。16 GB 以上:两者都能搭配长上下文运行。若想了解面向代码的选择和基准表,请参阅编程最佳14B模型对比。
| 基准测试(基础模型) | Llama 3 8B | Qwen3 8B | Qwen3 14B |
|---|---|---|---|
| MMLU | 66.6 | 76.9 | 81.1 |
| MMLU-Pro | 35.4 | 56.7 | 61.0 |
| GSM8K(数学) | 55.3 | 89.8 | 92.5 |
| MATH | 20.5 | 60.8 | 62.0 |
| EvalPlus(代码) | 44.1 | 67.7 | 72.2 |
相关阅读
资料来源
- ▸Qwen3 Technical Report (arXiv 2505.09388), Tables 5–6 -- arxiv.org/abs/2505.09388
- ▸Qwen3-14B model card (Hugging Face) -- huggingface.co/Qwen/Qwen3-14B
- ▸Ollama: qwen3 -- ollama.com/library/qwen3
- ▸Ollama: llama3 -- ollama.com/library/llama3
- ▸Ollama: llama3.1 -- ollama.com/library/llama3.1
- ▸Ollama: qwen3.5 -- ollama.com/library/qwen3.5
- ▸Meta Llama 3 8B model card (Hugging Face) -- huggingface.co/meta-llama/Meta-Llama-3-8B