ローカルコーディングに最適な MoE モデルは?
Hans Kuepper 著 · PromptQuorum創設者 · オープンウェイト/オープンソースAIの発見エンジン
重要なポイント
- ✓MoEモデルは全エキスパートをメモリに載せますが、トークンごとの計算は3〜5Bのアクティブパラメータだけです。同じファイルサイズのDenseモデルより高速ですが、必要メモリは減りません
- ✓gpt-oss-20b(Ollamaで14GB)は16GB向けのMoE、Qwen3-Coder-30B-A3BとGLM-4.7-Flash(各19GB)は24GBのGPUに収まります
- ✓Qwen3.6-35B-A3B(約24GB)はモデルカードでSWE-bench Verified 73.4と、ここで比較したモデルの中で最高値を報告しており、32GBのメモリ向けです
- ✓Qwen3-Coder-Next(52GB)とgpt-oss-120b(65GB)には64〜80GBのユニファイドメモリまたはVRAMが必要です

クイック回答
32GBのメモリならQwen3.6-35B-A3Bが、比較したモデルの中で開発元報告のSWE-bench Verifiedスコアが最も高く、24GBのGPUにはQwen3-Coder-30B-A3B、16GBにはgpt-oss-20bが収まります。MoEはトークンごとに3〜5Bのアクティブパラメータだけを計算するため高速ですが、全エキスパート分のメモリは必要です。
- ▸16GB:gpt-oss-20b(総計21B、アクティブ3.6B、Ollamaで14GB)
- ▸24GB:Qwen3-Coder-30B-A3B または GLM-4.7-Flash(各19GB)
- ▸32GB以上:Qwen3.6-35B-A3B(約24GB)。64〜80GB:Qwen3-Coder-Next、gpt-oss-120b
MoEに必要なメモリは、アクティブではなく総パラメータ分
Mixture of Experts(MoE)モデルは各トークンを少数のエキスパートに通すため、速度はアクティブパラメータに、メモリは総パラメータに比例します。Hugging Faceのモデルカードによると、Qwen3.6-35B-A3Bは256のエキスパートを持ち、トークンごとにルーティングされる8つと共有1つを使います(35Bのうち3B)。
そのためアクティブ3BのMoEは小型Denseモデル並みのコストでトークンを生成しますが、14〜24GBのダウンロード分はVRAMか高速なユニファイドメモリに載せる必要があります。表のサイズはOllamaのダウンロードサイズなので、コンテキストキャッシュ分の余裕を見込んでください。
モデルカードのベンチマークは各開発元の報告値で、エージェント設定も異なります。SWE-bench VerifiedはQwen3.6-35B-A3Bが73.4、Qwen3-Coder-Nextが70.6、GLM-4.7-Flashが59.2です。直接比較ではなく目安として扱ってください。PromptQuorumは再測定していません。
| モデル | 総計 / アクティブ | Ollamaサイズ | 必要メモリ |
|---|---|---|---|
| Qwen3.6-35B-A3B | 35B / 3B | ~24 GB | 32 GB |
| Qwen3-Coder-30B-A3B | 30B / 3.3B | 19 GB | 24 GB |
| GLM-4.7-Flash | 30B / 3B | 19 GB | 24 GB |
| gpt-oss-20b | 21B / 3.6B | 14 GB | 16 GB |
| Qwen3-Coder-Next | 80B / 3B | 52 GB | 64 GB |
| gpt-oss-120b | 117B / 5.1B | 65 GB | 80 GB |
手元のメモリに合うMoEモデルを選ぶ
VRAM 16GBならgpt-oss-20bです。総計21B、アクティブ3.6B、Ollamaで14GBです。16GBのカードではコンテキスト用に約2GBしか残らないため、コンテキストウィンドウは控えめにしてください。
24GBのGPUならQwen3-Coder-30B-A3B(19GB、256Kコンテキスト、コード向けに調整)かGLM-4.7-Flash(19GB、MITライセンス)です。どちらも30B-A3BのMoEで、アクティブは3〜3.3Bです。
32GBのGPUならQwen3.6-35B-A3B(約24GB、256Kコンテキスト、Apache 2.0)です。Macではユニファイドメモリ48GBを見込んでください(macOSが約8GBを使用するため)。24GBのGPUでは厳しく、一部がシステムRAMに溢れて速度が落ちます。
64〜80GBなら、Qwen3-Coder-Next(総計80B、アクティブ3B、Q4_K_Mで52GB)は64GBのマシン向けで、gpt-oss-120b(総計117B、アクティブ5.1B、65GB)はOpenAIのモデルカードによると80GBのGPU1枚を想定しています。
16GB未満ではMoEは実用的ではありません。Denseの代替はコーディング向け14Bモデル比較をご覧ください。
OllamaでMoEモデルを実行する
表のモデルはどれも1コマンドで起動できます。ollama run gpt-oss:20b、ollama run qwen3-coder:30b、ollama run glm-4.7-flash、ollama run qwen3.6:35b、ollama run qwen3-coder-next、ollama run gpt-oss:120bです。
OllamaはモデルがVRAMを超えると、レイヤーをGPUとシステムRAMに分割します。llama.cppではMoE向けに制御でき、--cpu-moeと--n-cpu-moeオプションでエキスパートの重みをシステムRAMに置き、アテンションはGPUに残せます。これで19〜24GBのモデルを16GBのカードで、速度は落ちますが実行できます。速度はPromptQuorumでは測定していません。
よくある間違いは、アクティブパラメータでサイズを判断することです。「アクティブ3B」のモデルは3Bサイズのダウンロードではありません。取得前にOllamaのモデルページでファイルサイズを確認してください。
VRAM帯ごとのDenseの代替はコーディング向けベストローカルLLMガイドをご覧ください。
関連ガイド
- ▸コーディング向け14Bモデル比較 -- 10〜16GB向けのDenseコーディングモデル
- ▸コーディング向けベストローカルLLM -- VRAM帯別のコーディングモデル
- ▸Continue.devがCursorに買収:終了と代替ツール -- coding tool comparison
出典
- ▸Qwen3.6-35B-A3B モデルカード — アーキテクチャ、エキスパート数、ライセンス、SWE-bench Verifiedスコア。
- ▸Qwen3-Coder-Next モデルカード — 総計80B、アクティブ3B、SWE-bench Verifiedスコア。
- ▸GLM-4.7-Flash モデルカード — 30B-A3B MoE、MITライセンス、SWE-bench Verifiedスコア。
- ▸gpt-oss-120b モデルカード — gpt-oss-120bとgpt-oss-20bの総パラメータ、アクティブパラメータ、メモリ目安。
- ▸Ollamaライブラリ:qwen3-coder — タグとダウンロードサイズ。gpt-oss、glm-4.7-flash、qwen3.6、qwen3-coder-nextも参照。
コーディング向けMoEモデルのクイック回答
MoEモデルとは何で、ローカルコーディングでなぜ重要ですか?▾
VRAM 16GBに最適なMoEモデルは?▾
最良の小型MoEモデルは?▾
MoEモデルはDenseモデルよりVRAMが少なくて済みますか?▾
OllamaにあるMoEコーディングモデルは?▾
qwen3.6:35b、qwen3-coder:30b、glm-4.7-flash、gpt-oss:20b、qwen3-coder-next、gpt-oss:120bがあり、ダウンロードサイズはそれぞれ約24、19、19、14、52、65GBです。コーディングではMoEのほうがDenseより優れていますか?▾
qwen3.6:27b(18〜19GB)のようにファイルサイズが近いDenseモデルはトークンあたりでは遅いことがあります。選ぶ前に自分のリポジトリで両方を試してください。