本地编程最佳 MoE 模型是什么?
Hans Kuepper 作者 · PromptQuorum创始人 · 开放权重与开源AI发现引擎
关键要点
- ✓MoE 模型会把所有专家加载进内存,但每个 token 只计算 3–5B 激活参数:比相同文件大小的稠密模型更快,但并不更省内存
- ✓gpt-oss-20b(Ollama 14GB)是 16GB 的 MoE 之选;Qwen3-Coder-30B-A3B 和 GLM-4.7-Flash(各 19GB)可放入 24GB 显卡
- ✓Qwen3.6-35B-A3B(约 24GB)在模型卡上给出 SWE-bench Verified 73.4,是本文对比模型中最高的数值,适合 32GB 内存
- ✓Qwen3-Coder-Next(52GB)和 gpt-oss-120b(65GB)需要 64–80GB 统一内存或显存

快速回答
Qwen3.6-35B-A3B 是所比较模型中厂商报告的 SWE-bench Verified 分数最高者,适合 32GB 内存,24GB 显卡可选 Qwen3-Coder-30B-A3B,16GB 可选 gpt-oss-20b。MoE 每个 token 只计算 3–5B 激活参数,所以速度快,但仍需为全部专家预留内存。
- ▸16GB:gpt-oss-20b(总计 21B,激活 3.6B,Ollama 14GB)
- ▸24GB:Qwen3-Coder-30B-A3B 或 GLM-4.7-Flash(各 19GB)
- ▸32GB 以上:Qwen3.6-35B-A3B(约 24GB);64–80GB:Qwen3-Coder-Next、gpt-oss-120b
MoE 需要为总参数而非激活参数准备内存
混合专家(MoE)模型让每个 token 只经过少数专家子网络,因此速度取决于激活参数,内存取决于总参数。根据 Hugging Face 模型卡,Qwen3.6-35B-A3B 有 256 个专家,每个 token 激活 8 个路由专家加 1 个共享专家(35B 中的 3B 参数)。
因此激活参数 3B 的 MoE 生成 token 的成本接近小型稠密模型,但 14–24GB 的下载体积仍必须放进显存或高速统一内存。表中的体积是 Ollama 下载大小,请为上下文缓存预留余量。
模型卡上的基准分数由各厂商自行报告,且使用不同的智能体配置:SWE-bench Verified 上 Qwen3.6-35B-A3B 为 73.4,Qwen3-Coder-Next 为 70.6,GLM-4.7-Flash 为 59.2。请将其视为参考而非直接对比;PromptQuorum 未重新测试。
| 模型 | 总计 / 激活 | Ollama 体积 | 内存档位 |
|---|---|---|---|
| Qwen3.6-35B-A3B | 35B / 3B | ~24 GB | 32 GB |
| Qwen3-Coder-30B-A3B | 30B / 3.3B | 19 GB | 24 GB |
| GLM-4.7-Flash | 30B / 3B | 19 GB | 24 GB |
| gpt-oss-20b | 21B / 3.6B | 14 GB | 16 GB |
| Qwen3-Coder-Next | 80B / 3B | 52 GB | 64 GB |
| gpt-oss-120b | 117B / 5.1B | 65 GB | 80 GB |
按内存大小选择合适的 MoE 模型
16GB 显存请用 gpt-oss-20b:总计 21B,激活 3.6B,Ollama 14GB。16GB 显卡上只剩约 2GB 给上下文,因此请保持较小的上下文窗口。
24GB 显卡请用 Qwen3-Coder-30B-A3B(19GB,256K 上下文,针对代码调优)或 GLM-4.7-Flash(19GB,MIT 许可证)。两者都是 30B-A3B MoE,激活参数 3–3.3B。
32GB 显卡请用 Qwen3.6-35B-A3B(约 24GB,256K 上下文,Apache 2.0);Mac 请按 48GB 统一内存规划,因为 macOS 约占用 8GB。在 24GB 显卡上会很紧张:部分模型溢出到系统内存,速度下降。
64–80GB 时,Qwen3-Coder-Next(总计 80B,激活 3B,Q4_K_M 为 52GB)适合 64GB 的机器;根据 OpenAI 的模型卡,gpt-oss-120b(总计 117B,激活 5.1B,65GB)面向单张 80GB 显卡。
16GB 以下 MoE 不再实用;稠密模型的替代方案见最佳 14B 编程模型。
用 Ollama 运行 MoE 模型
表中每个模型只需一条命令:ollama run gpt-oss:20b、ollama run qwen3-coder:30b、ollama run glm-4.7-flash、ollama run qwen3.6:35b、ollama run qwen3-coder-next 和 ollama run gpt-oss:120b。
当模型超出显存时,Ollama 会把层分配到 GPU 和系统内存。在 llama.cpp 中可以针对 MoE 进行控制:--cpu-moe 和 --n-cpu-moe 选项把专家权重留在系统内存,注意力层留在 GPU,使 19–24GB 的模型能在 16GB 显卡上运行,但速度较慢。PromptQuorum 未测量具体速度。
常见错误是按激活参数判断体积:“激活 3B”的模型并不是 3B 大小的下载。拉取之前请先在模型的 Ollama 页面确认文件大小。
各显存档位的稠密模型替代方案见本地编程最佳 LLM 指南。
相关指南
- ▸最佳 14B 编程模型 -- 适合 10–16GB 的稠密编程模型
- ▸本地编程最佳 LLM -- 按显存档位划分的编程模型
- ▸Continue.dev被Cursor收购:停运与替代方案 -- coding tool comparison
来源
- ▸Qwen3.6-35B-A3B 模型卡 — 架构、专家数、许可证和 SWE-bench Verified 分数。
- ▸Qwen3-Coder-Next 模型卡 — 总计 80B、激活 3B、SWE-bench Verified 分数。
- ▸GLM-4.7-Flash 模型卡 — 30B-A3B MoE、MIT 许可证、SWE-bench Verified 分数。
- ▸gpt-oss-120b 模型卡 — gpt-oss-120b 与 gpt-oss-20b 的总参数、激活参数和内存目标。
- ▸Ollama 模型库:qwen3-coder — 标签与下载体积;另见 gpt-oss、glm-4.7-flash、qwen3.6 和 qwen3-coder-next。
关于编程 MoE 模型的快速解答
什么是 MoE 模型,为什么它对本地编程重要?▾
16GB 显存最适合哪个 MoE 模型?▾
最好的小型 MoE 模型是哪个?▾
MoE 模型比稠密模型更省显存吗?▾
Ollama 上有哪些 MoE 编程模型?▾
qwen3.6:35b、qwen3-coder:30b、glm-4.7-flash、gpt-oss:20b、qwen3-coder-next 和 gpt-oss:120b,下载体积分别约为 24、19、19、14、52 和 65GB。编程时 MoE 模型比稠密模型更好吗?▾
qwen3.6:27b(18–19GB),每个 token 可能更慢;选择前请在自己的代码库上测试两者。