メインコンテンツへスキップ
PromptQuorum人のために設計。 AI向けに構造化。

ローカルコーディングに最適な MoE モデルは?

著 · PromptQuorum創設者 · オープンウェイト/オープンソースAIの発見エンジン

重要なポイント

  • ✓MoEモデルは全エキスパートをメモリに載せますが、トークンごとの計算は3〜5Bのアクティブパラメータだけです。同じファイルサイズのDenseモデルより高速ですが、必要メモリは減りません
  • ✓gpt-oss-20b(Ollamaで14GB)は16GB向けのMoE、Qwen3-Coder-30B-A3BとGLM-4.7-Flash(各19GB)は24GBのGPUに収まります
  • ✓Qwen3.6-35B-A3B(約24GB)はモデルカードでSWE-bench Verified 73.4と、ここで比較したモデルの中で最高値を報告しており、32GBのメモリ向けです
  • ✓Qwen3-Coder-Next(52GB)とgpt-oss-120b(65GB)には64〜80GBのユニファイドメモリまたはVRAMが必要です
ローカルコーディングに最適な MoE モデルは?

クイック回答

32GBのメモリならQwen3.6-35B-A3Bが、比較したモデルの中で開発元報告のSWE-bench Verifiedスコアが最も高く、24GBのGPUにはQwen3-Coder-30B-A3B、16GBにはgpt-oss-20bが収まります。MoEはトークンごとに3〜5Bのアクティブパラメータだけを計算するため高速ですが、全エキスパート分のメモリは必要です。

  • ▸16GB:gpt-oss-20b(総計21B、アクティブ3.6B、Ollamaで14GB)
  • ▸24GB:Qwen3-Coder-30B-A3B または GLM-4.7-Flash(各19GB)
  • ▸32GB以上:Qwen3.6-35B-A3B(約24GB)。64〜80GB:Qwen3-Coder-Next、gpt-oss-120b
Model Comparisons

MoEに必要なメモリは、アクティブではなく総パラメータ分

Mixture of Experts(MoE)モデルは各トークンを少数のエキスパートに通すため、速度はアクティブパラメータに、メモリは総パラメータに比例します。Hugging Faceのモデルカードによると、Qwen3.6-35B-A3Bは256のエキスパートを持ち、トークンごとにルーティングされる8つと共有1つを使います(35Bのうち3B)。

そのためアクティブ3BのMoEは小型Denseモデル並みのコストでトークンを生成しますが、14〜24GBのダウンロード分はVRAMか高速なユニファイドメモリに載せる必要があります。表のサイズはOllamaのダウンロードサイズなので、コンテキストキャッシュ分の余裕を見込んでください。

モデルカードのベンチマークは各開発元の報告値で、エージェント設定も異なります。SWE-bench VerifiedはQwen3.6-35B-A3Bが73.4、Qwen3-Coder-Nextが70.6、GLM-4.7-Flashが59.2です。直接比較ではなく目安として扱ってください。PromptQuorumは再測定していません。

モデル総計 / アクティブOllamaサイズ必要メモリ
Qwen3.6-35B-A3B35B / 3B~24 GB32 GB
Qwen3-Coder-30B-A3B30B / 3.3B19 GB24 GB
GLM-4.7-Flash30B / 3B19 GB24 GB
gpt-oss-20b21B / 3.6B14 GB16 GB
Qwen3-Coder-Next80B / 3B52 GB64 GB
gpt-oss-120b117B / 5.1B65 GB80 GB

手元のメモリに合うMoEモデルを選ぶ

VRAM 16GBならgpt-oss-20bです。総計21B、アクティブ3.6B、Ollamaで14GBです。16GBのカードではコンテキスト用に約2GBしか残らないため、コンテキストウィンドウは控えめにしてください。

24GBのGPUならQwen3-Coder-30B-A3B(19GB、256Kコンテキスト、コード向けに調整)かGLM-4.7-Flash(19GB、MITライセンス)です。どちらも30B-A3BのMoEで、アクティブは3〜3.3Bです。

32GBのGPUならQwen3.6-35B-A3B(約24GB、256Kコンテキスト、Apache 2.0)です。Macではユニファイドメモリ48GBを見込んでください(macOSが約8GBを使用するため)。24GBのGPUでは厳しく、一部がシステムRAMに溢れて速度が落ちます。

64〜80GBなら、Qwen3-Coder-Next(総計80B、アクティブ3B、Q4_K_Mで52GB)は64GBのマシン向けで、gpt-oss-120b(総計117B、アクティブ5.1B、65GB)はOpenAIのモデルカードによると80GBのGPU1枚を想定しています。

16GB未満ではMoEは実用的ではありません。Denseの代替はコーディング向け14Bモデル比較をご覧ください。

OllamaでMoEモデルを実行する

表のモデルはどれも1コマンドで起動できます。ollama run gpt-oss:20b、ollama run qwen3-coder:30b、ollama run glm-4.7-flash、ollama run qwen3.6:35b、ollama run qwen3-coder-next、ollama run gpt-oss:120bです。

OllamaはモデルがVRAMを超えると、レイヤーをGPUとシステムRAMに分割します。llama.cppではMoE向けに制御でき、--cpu-moeと--n-cpu-moeオプションでエキスパートの重みをシステムRAMに置き、アテンションはGPUに残せます。これで19〜24GBのモデルを16GBのカードで、速度は落ちますが実行できます。速度はPromptQuorumでは測定していません。

よくある間違いは、アクティブパラメータでサイズを判断することです。「アクティブ3B」のモデルは3Bサイズのダウンロードではありません。取得前にOllamaのモデルページでファイルサイズを確認してください。

VRAM帯ごとのDenseの代替はコーディング向けベストローカルLLMガイドをご覧ください。

関連ガイド

出典

コーディング向けMoEモデルのクイック回答

MoEモデルとは何で、ローカルコーディングでなぜ重要ですか?▾
MoEはMixture of Expertsの略です。多数のエキスパートを持ちながらトークンごとに少数だけを有効にするため、生成速度はずっと小さなDenseモデル並みで、総パラメータ数が複数の言語やフレームワークにわたる幅広い知識を支えます。
VRAM 16GBに最適なMoEモデルは?▾
gpt-oss-20bです。総計21B、アクティブ3.6Bで、Ollamaでは14GB、ライセンスはApache 2.0です。19GBのモデル(Qwen3-Coder-30B-A3B、GLM-4.7-Flash)には24GBのGPUかCPUオフロードが必要です。
最良の小型MoEモデルは?▾
アクティブパラメータではGLM-4.7-Flash(3B)、Qwen3-Coder-30B-A3B(3.3B)、gpt-oss-20b(3.6B)が最小です。メモリではgpt-oss-20bが14GBで最小、他の2つは19GBです。
MoEモデルはDenseモデルよりVRAMが少なくて済みますか?▾
いいえ。全エキスパートを読み込む必要があるため、メモリは総パラメータに比例します。利点は速度で、トークンごとにアクティブパラメータだけを計算します。
OllamaにあるMoEコーディングモデルは?▾
Ollamaにはqwen3.6:35b、qwen3-coder:30b、glm-4.7-flash、gpt-oss:20b、qwen3-coder-next、gpt-oss:120bがあり、ダウンロードサイズはそれぞれ約24、19、19、14、52、65GBです。
コーディングではMoEのほうがDenseより優れていますか?▾
一概には言えません。MoEはメモリと引き換えに速度を得ます。qwen3.6:27b(18〜19GB)のようにファイルサイズが近いDenseモデルはトークンあたりでは遅いことがあります。選ぶ前に自分のリポジトリで両方を試してください。
このページにMixtral 8x22BやDeepSeek-V2が載っていないのはなぜですか?▾
どちらも2024年のモデルで、ローカルコーディングではより新しいMoEに置き換わりました。以前のこのページにはメモリ値の誤りもありました。Mixtral 8x22Bの総パラメータは141Bで(46.7BはMixtral 8x7Bの値)、DeepSeek-V2は236Bと、16GBには収まりません。
MCP