AMD 5700X + RTX 3070 Ti 最适合哪款本地编程 LLM?
Hans Kuepper 作者 · PromptQuorum创始人 · 开放权重与开源AI发现引擎
关键要点
- ✓Qwen3 8B(5.2 GB)是 8 GB RTX 3070 Ti 上最好的单一编程模型;Qwen2.5-Coder 7B(4.7 GB)适合编辑器自动补全。两者都能完整放进显存
- ✓14B 编程模型(qwen2.5-coder:14b 为 9.0 GB,qwen3:14b 为 9.3 GB)超出 8 GB,只能靠部分 CPU 卸载运行,生成速度会大幅下降
- ✓Qwen3-Coder 30B 是 19 GB 的混合专家模型下载;8 GB 显存下大部分权重在系统内存里,应视为 32 GB 内存下的实验,而非日常主力
- ✓这里的上限是显存,而不是锐龙 7 5700X。上下文保持在 8K 到 16K token,代码任务使用 Q4 或更高量化

快速回答
RTX 3070 Ti 拥有 8 GB 显存,编程聊天和代码讲解用 Qwen3 8B(qwen3:8b,下载 5.2 GB),编辑器自动补全用 Qwen2.5-Coder 7B(qwen2.5-coder:7b,4.7 GB)。两者都能完整放进显存。瓶颈不是锐龙 7 5700X,而是 8 GB 显存,所以 14B 编程模型(约 9 GB)无法完全放进 GPU。
- ▸Qwen3 8B:下载 5.2 GB,40K 上下文,8 GB 显存下最适合编程聊天的单一模型
- ▸Qwen2.5-Coder 7B:4.7 GB,专为 fill-in-the-middle 自动补全训练
- ▸14B 编程模型和 Qwen3-Coder 30B 在这张卡上需要 CPU 卸载,速度会慢很多
Qwen3 8B 和 Qwen2.5-Coder 7B 都能放进 8 GB 显卡
在 RTX 3070 Ti(8 GB)上写代码,聊天、讲解和重构用 Qwen3 8B,行内自动补全用 Qwen2.5-Coder 7B。两者在 Ollama 上都是默认 Q4 量化:qwen3:8b 下载 5.2 GB、40K 上下文,qwen2.5-coder:7b 为 4.7 GB、32K。8 GB 中大约还剩 2 到 3 GB 给 KV 缓存和桌面。
Qwen2.5-Coder 针对 fill-in-the-middle(FIM)训练,Continue 等编辑器插件的 Tab 补全就用这种模式。Qwen3 8B 的通用推理更强,并带有思考模式,需要更快回答时可用 /no_think 关闭。只想用一个模型的话,先从 Qwen3 8B 开始。下载大小和上下文窗口以 ollama.com 标注为准;我们没有实测这套配置,因此不给出速度数字。
想了解更大的 GPU 和更多编程模型,请参阅最佳本地编程 LLM。
| 模型 | Ollama 标签 | 下载大小 | 能放进 8 GB? | 最适合 |
|---|---|---|---|---|
| Qwen3 8B | qwen3:8b | 5.2 GB | 能,完整放进显存 | 聊天、讲解、重构 |
| Qwen2.5-Coder 7B | qwen2.5-coder:7b | 4.7 GB | 能,完整放进显存 | 编辑器自动补全(FIM) |
| Qwen2.5-Coder 1.5B | qwen2.5-coder:1.5b | 986 MB | 能,余量充足 | 与聊天模型并用的轻量补全 |
| Qwen2.5-Coder 14B | qwen2.5-coder:14b | 9.0 GB | 不能,需要 CPU 卸载 | 更大的编程模型(仅限卸载) |
| Qwen3-Coder 30B | qwen3-coder:30b | 19 GB | 不能,主要在系统内存 | 32 GB 以上内存的智能体编程(较慢) |
放不下的:14B、30B 和长上下文
模型必须连同 KV 缓存一起放进显存,8 GB 比下载大小所暗示的更容易用完。当部分层溢出到系统内存时,Ollama 仍能运行,但生成速度会骤降,因为 DDR4 远慢于显卡的 608 GB/s GDDR6X。5700X 的 8 个 Zen 3 核心处理卸载比 4 核 CPU 更好,但卸载只是退路,不是方案。
Qwen3-Coder 30B 在 Ollama 上标注为 19 GB、256K 上下文。它是约 3B 激活参数的混合专家模型,因此可以让大部分权重留在系统内存中运行,但在 8 GB 显卡上,大部分权重就是在那里。仅有 8 GB 显存时,智能体场景下响应预计会很慢;结果因内存和设置而异。请把它当作需要 32 GB 内存的实验。
长上下文会增大 KV 缓存。这张卡上请把上下文保持在 8K 到 16K token,只有当 nvidia-smi 显示显存有余量时再调大。代码任务请使用 Q4 或更高量化;Q3 及以下可能引入细微的语法错误。
在 VS Code 中设置聊天和自动补全
安装 Ollama,拉取两个模型,然后把 Continue 等编辑器扩展指向 http://localhost:11434:聊天用 qwen3:8b,自动补全用 qwen2.5-coder:7b。运行 ollama ps 查看 PROCESSOR 列。100% GPU 表示模型能放下;出现 CPU/GPU 拆分则说明模型加上下文已超出 8 GB。在这张卡上,Ollama 可能卸载一个 7B 到 8B 模型来加载另一个,因此要在聊天模型旁做自动补全,请改用 986 MB 的 qwen2.5-coder:1.5b。
ollama pull qwen3:8b
ollama pull qwen2.5-coder:7b
ollama ps升级 GPU,而不是 CPU
想让 14B 编程模型全速运行,升级目标是 GPU。RTX 3060 12 GB 或 RTX 4070 这类 12 GB 显卡,可以把 qwen2.5-coder:14b 这样约 9 GB 的 Q4 编程模型完整放进显存。参见12 GB 显存最佳编程 LLM和最佳 14B 编程模型。
5800X3D 是 AM4 上最好的 CPU 升级,但它的 3D V-Cache 只对游戏和受 CPU 限制的任务有帮助;GPU 上的 LLM 推理受显存带宽限制,5700X 不是瓶颈。
完整的 GPU 选购指南请见本地 LLM 最佳 GPU。