跳转到主要内容
PromptQuorum为人类设计。 为AI结构化。

AMD 5700X + RTX 3070 Ti 最适合哪款本地编程 LLM?

作者 · PromptQuorum创始人 · 开放权重与开源AI发现引擎

关键要点

  • ✓Qwen3 8B(5.2 GB)是 8 GB RTX 3070 Ti 上最好的单一编程模型;Qwen2.5-Coder 7B(4.7 GB)适合编辑器自动补全。两者都能完整放进显存
  • ✓14B 编程模型(qwen2.5-coder:14b 为 9.0 GB,qwen3:14b 为 9.3 GB)超出 8 GB,只能靠部分 CPU 卸载运行,生成速度会大幅下降
  • ✓Qwen3-Coder 30B 是 19 GB 的混合专家模型下载;8 GB 显存下大部分权重在系统内存里,应视为 32 GB 内存下的实验,而非日常主力
  • ✓这里的上限是显存,而不是锐龙 7 5700X。上下文保持在 8K 到 16K token,代码任务使用 Q4 或更高量化
AMD 5700X + RTX 3070 Ti 最适合哪款本地编程 LLM?

快速回答

RTX 3070 Ti 拥有 8 GB 显存,编程聊天和代码讲解用 Qwen3 8B(qwen3:8b,下载 5.2 GB),编辑器自动补全用 Qwen2.5-Coder 7B(qwen2.5-coder:7b,4.7 GB)。两者都能完整放进显存。瓶颈不是锐龙 7 5700X,而是 8 GB 显存,所以 14B 编程模型(约 9 GB)无法完全放进 GPU。

  • ▸Qwen3 8B:下载 5.2 GB,40K 上下文,8 GB 显存下最适合编程聊天的单一模型
  • ▸Qwen2.5-Coder 7B:4.7 GB,专为 fill-in-the-middle 自动补全训练
  • ▸14B 编程模型和 Qwen3-Coder 30B 在这张卡上需要 CPU 卸载,速度会慢很多
Hardware-Specific

Qwen3 8B 和 Qwen2.5-Coder 7B 都能放进 8 GB 显卡

在 RTX 3070 Ti(8 GB)上写代码,聊天、讲解和重构用 Qwen3 8B,行内自动补全用 Qwen2.5-Coder 7B。两者在 Ollama 上都是默认 Q4 量化:qwen3:8b 下载 5.2 GB、40K 上下文,qwen2.5-coder:7b 为 4.7 GB、32K。8 GB 中大约还剩 2 到 3 GB 给 KV 缓存和桌面。

Qwen2.5-Coder 针对 fill-in-the-middle(FIM)训练,Continue 等编辑器插件的 Tab 补全就用这种模式。Qwen3 8B 的通用推理更强,并带有思考模式,需要更快回答时可用 /no_think 关闭。只想用一个模型的话,先从 Qwen3 8B 开始。下载大小和上下文窗口以 ollama.com 标注为准;我们没有实测这套配置,因此不给出速度数字。

想了解更大的 GPU 和更多编程模型,请参阅最佳本地编程 LLM。

模型Ollama 标签下载大小能放进 8 GB?最适合
Qwen3 8Bqwen3:8b5.2 GB能,完整放进显存聊天、讲解、重构
Qwen2.5-Coder 7Bqwen2.5-coder:7b4.7 GB能,完整放进显存编辑器自动补全(FIM)
Qwen2.5-Coder 1.5Bqwen2.5-coder:1.5b986 MB能,余量充足与聊天模型并用的轻量补全
Qwen2.5-Coder 14Bqwen2.5-coder:14b9.0 GB不能,需要 CPU 卸载更大的编程模型(仅限卸载)
Qwen3-Coder 30Bqwen3-coder:30b19 GB不能,主要在系统内存32 GB 以上内存的智能体编程(较慢)

放不下的:14B、30B 和长上下文

模型必须连同 KV 缓存一起放进显存,8 GB 比下载大小所暗示的更容易用完。当部分层溢出到系统内存时,Ollama 仍能运行,但生成速度会骤降,因为 DDR4 远慢于显卡的 608 GB/s GDDR6X。5700X 的 8 个 Zen 3 核心处理卸载比 4 核 CPU 更好,但卸载只是退路,不是方案。

Qwen3-Coder 30B 在 Ollama 上标注为 19 GB、256K 上下文。它是约 3B 激活参数的混合专家模型,因此可以让大部分权重留在系统内存中运行,但在 8 GB 显卡上,大部分权重就是在那里。仅有 8 GB 显存时,智能体场景下响应预计会很慢;结果因内存和设置而异。请把它当作需要 32 GB 内存的实验。

长上下文会增大 KV 缓存。这张卡上请把上下文保持在 8K 到 16K token,只有当 nvidia-smi 显示显存有余量时再调大。代码任务请使用 Q4 或更高量化;Q3 及以下可能引入细微的语法错误。

在 VS Code 中设置聊天和自动补全

安装 Ollama,拉取两个模型,然后把 Continue 等编辑器扩展指向 http://localhost:11434:聊天用 qwen3:8b,自动补全用 qwen2.5-coder:7b。运行 ollama ps 查看 PROCESSOR 列。100% GPU 表示模型能放下;出现 CPU/GPU 拆分则说明模型加上下文已超出 8 GB。在这张卡上,Ollama 可能卸载一个 7B 到 8B 模型来加载另一个,因此要在聊天模型旁做自动补全,请改用 986 MB 的 qwen2.5-coder:1.5b。

ollama pull qwen3:8b
ollama pull qwen2.5-coder:7b
ollama ps

升级 GPU,而不是 CPU

想让 14B 编程模型全速运行,升级目标是 GPU。RTX 3060 12 GB 或 RTX 4070 这类 12 GB 显卡,可以把 qwen2.5-coder:14b 这样约 9 GB 的 Q4 编程模型完整放进显存。参见12 GB 显存最佳编程 LLM和最佳 14B 编程模型。

5800X3D 是 AM4 上最好的 CPU 升级,但它的 3D V-Cache 只对游戏和受 CPU 限制的任务有帮助;GPU 上的 LLM 推理受显存带宽限制,5700X 不是瓶颈。

完整的 GPU 选购指南请见本地 LLM 最佳 GPU。

关于 AMD 5700X + RTX 3070 Ti 编程 LLM 的快速解答

AMD 5700X 和 RTX 3070 Ti 可以本地运行哪些适合程序员的 LLM?▾
聊天和讲解用 Qwen3 8B(qwen3:8b,5.2 GB),编辑器自动补全用 Qwen2.5-Coder 7B(qwen2.5-coder:7b,4.7 GB)。两者都能完整放进 3070 Ti 的 8 GB 显存。
RTX 3070 Ti 8 GB 能运行 14B 编程模型吗?▾
无法完全放进 GPU:qwen2.5-coder:14b 下载 9.0 GB,超出 8 GB 上限。启用部分 CPU 卸载可以运行,但慢得多。12 GB 显卡可以完整放进显存。
锐龙 7 5700X 会成为本地 LLM 的瓶颈吗?▾
不会。模型能放进显存时,生成速度由 GPU 决定。CPU 只影响被卸载到系统内存的层。
RTX 3070 Ti 能运行 Qwen3-Coder 30B 吗?▾
只有把 19 GB 模型的大部分放在系统内存里才行。它是约 3B 激活参数的混合专家模型,所以能启动,但智能体场景下响应很慢。请准备 32 GB 内存,并把它当作实验。
自动补全和聊天分别该用哪个模型?▾
自动补全用 Qwen2.5-Coder 7B(或 1.5B 版本),因为它针对 fill-in-the-middle 训练;聊天、讲解和重构用 Qwen3 8B。
CPU 卸载时内存速度重要吗?▾
重要,但属于次要因素。更快的 DDR4 能提高内存中各层的吞吐量,但对能放进显存的层来说,GPU 仍是主要限制。
MCP