跳转到主要内容
PromptQuorum为人类设计。 为AI结构化。

本地编程最佳 MoE 模型是什么?

作者 · PromptQuorum创始人 · 开放权重与开源AI发现引擎

关键要点

  • ✓MoE 模型会把所有专家加载进内存,但每个 token 只计算 3–5B 激活参数:比相同文件大小的稠密模型更快,但并不更省内存
  • ✓gpt-oss-20b(Ollama 14GB)是 16GB 的 MoE 之选;Qwen3-Coder-30B-A3B 和 GLM-4.7-Flash(各 19GB)可放入 24GB 显卡
  • ✓Qwen3.6-35B-A3B(约 24GB)在模型卡上给出 SWE-bench Verified 73.4,是本文对比模型中最高的数值,适合 32GB 内存
  • ✓Qwen3-Coder-Next(52GB)和 gpt-oss-120b(65GB)需要 64–80GB 统一内存或显存
本地编程最佳 MoE 模型是什么?

快速回答

Qwen3.6-35B-A3B 是所比较模型中厂商报告的 SWE-bench Verified 分数最高者,适合 32GB 内存,24GB 显卡可选 Qwen3-Coder-30B-A3B,16GB 可选 gpt-oss-20b。MoE 每个 token 只计算 3–5B 激活参数,所以速度快,但仍需为全部专家预留内存。

  • ▸16GB:gpt-oss-20b(总计 21B,激活 3.6B,Ollama 14GB)
  • ▸24GB:Qwen3-Coder-30B-A3B 或 GLM-4.7-Flash(各 19GB)
  • ▸32GB 以上:Qwen3.6-35B-A3B(约 24GB);64–80GB:Qwen3-Coder-Next、gpt-oss-120b
Model Comparisons

MoE 需要为总参数而非激活参数准备内存

混合专家(MoE)模型让每个 token 只经过少数专家子网络,因此速度取决于激活参数,内存取决于总参数。根据 Hugging Face 模型卡,Qwen3.6-35B-A3B 有 256 个专家,每个 token 激活 8 个路由专家加 1 个共享专家(35B 中的 3B 参数)。

因此激活参数 3B 的 MoE 生成 token 的成本接近小型稠密模型,但 14–24GB 的下载体积仍必须放进显存或高速统一内存。表中的体积是 Ollama 下载大小,请为上下文缓存预留余量。

模型卡上的基准分数由各厂商自行报告,且使用不同的智能体配置:SWE-bench Verified 上 Qwen3.6-35B-A3B 为 73.4,Qwen3-Coder-Next 为 70.6,GLM-4.7-Flash 为 59.2。请将其视为参考而非直接对比;PromptQuorum 未重新测试。

模型总计 / 激活Ollama 体积内存档位
Qwen3.6-35B-A3B35B / 3B~24 GB32 GB
Qwen3-Coder-30B-A3B30B / 3.3B19 GB24 GB
GLM-4.7-Flash30B / 3B19 GB24 GB
gpt-oss-20b21B / 3.6B14 GB16 GB
Qwen3-Coder-Next80B / 3B52 GB64 GB
gpt-oss-120b117B / 5.1B65 GB80 GB

按内存大小选择合适的 MoE 模型

16GB 显存请用 gpt-oss-20b:总计 21B,激活 3.6B,Ollama 14GB。16GB 显卡上只剩约 2GB 给上下文,因此请保持较小的上下文窗口。

24GB 显卡请用 Qwen3-Coder-30B-A3B(19GB,256K 上下文,针对代码调优)或 GLM-4.7-Flash(19GB,MIT 许可证)。两者都是 30B-A3B MoE,激活参数 3–3.3B。

32GB 显卡请用 Qwen3.6-35B-A3B(约 24GB,256K 上下文,Apache 2.0);Mac 请按 48GB 统一内存规划,因为 macOS 约占用 8GB。在 24GB 显卡上会很紧张:部分模型溢出到系统内存,速度下降。

64–80GB 时,Qwen3-Coder-Next(总计 80B,激活 3B,Q4_K_M 为 52GB)适合 64GB 的机器;根据 OpenAI 的模型卡,gpt-oss-120b(总计 117B,激活 5.1B,65GB)面向单张 80GB 显卡。

16GB 以下 MoE 不再实用;稠密模型的替代方案见最佳 14B 编程模型。

用 Ollama 运行 MoE 模型

表中每个模型只需一条命令:ollama run gpt-oss:20b、ollama run qwen3-coder:30b、ollama run glm-4.7-flash、ollama run qwen3.6:35b、ollama run qwen3-coder-next 和 ollama run gpt-oss:120b。

当模型超出显存时,Ollama 会把层分配到 GPU 和系统内存。在 llama.cpp 中可以针对 MoE 进行控制:--cpu-moe 和 --n-cpu-moe 选项把专家权重留在系统内存,注意力层留在 GPU,使 19–24GB 的模型能在 16GB 显卡上运行,但速度较慢。PromptQuorum 未测量具体速度。

常见错误是按激活参数判断体积:“激活 3B”的模型并不是 3B 大小的下载。拉取之前请先在模型的 Ollama 页面确认文件大小。

各显存档位的稠密模型替代方案见本地编程最佳 LLM 指南。

相关指南

来源

关于编程 MoE 模型的快速解答

什么是 MoE 模型,为什么它对本地编程重要?▾
MoE 即混合专家(Mixture of Experts)。模型包含大量专家子网络,但每个 token 只激活少数几个,因此生成速度相当于小得多的稠密模型,而总参数量则为多种语言和框架提供广泛的知识。
16GB 显存最适合哪个 MoE 模型?▾
gpt-oss-20b。总计 21B、激活 3.6B 参数,Ollama 下载 14GB,采用 Apache 2.0 许可。19GB 的模型(Qwen3-Coder-30B-A3B、GLM-4.7-Flash)需要 24GB 显卡或 CPU 卸载。
最好的小型 MoE 模型是哪个?▾
按激活参数,GLM-4.7-Flash(3B)、Qwen3-Coder-30B-A3B(3.3B)和 gpt-oss-20b(3.6B)最小。按内存,gpt-oss-20b 最小,仅 14GB;另外两个为 19GB。
MoE 模型比稠密模型更省显存吗?▾
不。所有专家都必须加载,内存取决于总参数。优势在于速度:每个 token 只计算激活参数。
Ollama 上有哪些 MoE 编程模型?▾
Ollama 提供 qwen3.6:35b、qwen3-coder:30b、glm-4.7-flash、gpt-oss:20b、qwen3-coder-next 和 gpt-oss:120b,下载体积分别约为 24、19、19、14、52 和 65GB。
编程时 MoE 模型比稠密模型更好吗?▾
不一定。MoE 用内存换速度。文件大小相近的稠密模型,如 qwen3.6:27b(18–19GB),每个 token 可能更慢;选择前请在自己的代码库上测试两者。
为什么本页不再介绍 Mixtral 8x22B 和 DeepSeek-V2?▾
二者都是 2024 年的模型,在本地编程场景已被更新的 MoE 取代。本页早期版本还给出了错误的内存数据:Mixtral 8x22B 总参数为 141B(46.7B 属于 Mixtral 8x7B),DeepSeek-V2 总参数为 236B,远超 16GB 所能容纳。
MCP