Zum Hauptinhalt springen
PromptQuorumFür Menschen gemacht. Strukturiert für KI.

Beste MoE-Modelle für lokales Coding?

Von · Gründer von PromptQuorum · Entdeckungsplattform für Open-Weight- und Open-Source-KI

Wichtigste Erkenntnisse

  • ✓MoE-Modelle laden alle Experten in den Speicher, berechnen aber pro Token nur 3–5B aktive Parameter — sie laufen schneller als Dense-Modelle gleicher Dateigröße, brauchen aber nicht weniger Speicher
  • ✓gpt-oss-20b (14 GB auf Ollama) ist die MoE-Wahl für 16 GB; Qwen3-Coder-30B-A3B und GLM-4.7-Flash (je 19 GB) passen auf eine 24-GB-GPU
  • ✓Qwen3.6-35B-A3B (~24 GB) nennt auf seiner Model Card 73,4 bei SWE-bench Verified, den höchsten Wert der hier verglichenen Modelle, und eignet sich für 32 GB Speicher
  • ✓Qwen3-Coder-Next (52 GB) und gpt-oss-120b (65 GB) brauchen 64–80 GB Unified Memory oder VRAM
Beste MoE-Modelle für lokales Coding?

Schnelle Antwort

Qwen3.6-35B-A3B hat den höchsten herstellerseitig gemeldeten SWE-bench-Verified-Wert der hier verglichenen Modelle und passt zu 32 GB Speicher, Qwen3-Coder-30B-A3B passt auf eine 24-GB-GPU und gpt-oss-20b auf 16 GB. MoE-Modelle berechnen pro Token nur 3–5B aktive Parameter und laufen daher schnell, benötigen aber weiterhin Speicher für alle Experten.

  • ▸16 GB: gpt-oss-20b (21B gesamt, 3,6B aktiv, 14 GB auf Ollama)
  • ▸24 GB: Qwen3-Coder-30B-A3B oder GLM-4.7-Flash (je 19 GB)
  • ▸32 GB+: Qwen3.6-35B-A3B (~24 GB); 64–80 GB: Qwen3-Coder-Next, gpt-oss-120b
Model Comparisons

MoE-Modelle brauchen Speicher für alle Parameter, nicht nur die aktiven

Ein Mixture-of-Experts-Modell (MoE) leitet jeden Token durch einige Experten-Subnetze: Die Geschwindigkeit folgt den aktiven Parametern, der Speicherbedarf den Gesamtparametern. Qwen3.6-35B-A3B hat laut Hugging-Face-Model-Card 256 Experten und aktiviert pro Token 8 geroutete plus 1 geteilten Experten (3B von 35B Parametern).

Ein MoE mit 3B aktiven Parametern generiert Tokens daher ungefähr zum Aufwand eines kleinen Dense-Modells, doch der Download von 14–24 GB muss trotzdem in VRAM oder schnellen Unified Memory passen. Die Größen in der Tabelle sind Ollama-Downloads; rechnen Sie Spielraum für den Kontext-Cache ein.

Benchmark-Werte auf Model Cards stammen von den Herstellern und aus unterschiedlichen Agent-Setups: SWE-bench Verified liegt bei 73,4 für Qwen3.6-35B-A3B, 70,6 für Qwen3-Coder-Next und 59,2 für GLM-4.7-Flash. Verstehen Sie sie als Orientierung, nicht als direkten Vergleich; PromptQuorum hat sie nicht erneut gemessen.

ModellGesamt / aktivOllama-GrößeSpeicherstufe
Qwen3.6-35B-A3B35B / 3B~24 GB32 GB
Qwen3-Coder-30B-A3B30B / 3.3B19 GB24 GB
GLM-4.7-Flash30B / 3B19 GB24 GB
gpt-oss-20b21B / 3.6B14 GB16 GB
Qwen3-Coder-Next80B / 3B52 GB64 GB
gpt-oss-120b117B / 5.1B65 GB80 GB

Das MoE-Modell passend zum eigenen Speicher wählen

Für 16 GB VRAM eignet sich gpt-oss-20b: 21B gesamt, 3,6B aktiv, 14 GB auf Ollama. Auf einer 16-GB-Karte bleiben etwa 2 GB für den Kontext, halten Sie das Kontextfenster daher moderat.

Für eine 24-GB-GPU eignen sich Qwen3-Coder-30B-A3B (19 GB, 256K Kontext, auf Code abgestimmt) oder GLM-4.7-Flash (19 GB, MIT-Lizenz). Beide sind 30B-A3B-MoE-Modelle mit 3–3,3B aktiven Parametern.

Für eine 32-GB-GPU eignet sich Qwen3.6-35B-A3B (etwa 24 GB, 256K Kontext, Apache 2.0); auf einem Mac planen Sie 48 GB Unified Memory ein, weil macOS etwa 8 GB belegt. Auf einer 24-GB-GPU wird es knapp: Teile des Modells landen im Arbeitsspeicher und die Geschwindigkeit sinkt.

Für 64–80 GB passt Qwen3-Coder-Next (80B gesamt, 3B aktiv, 52 GB bei Q4_K_M) auf einen 64-GB-Rechner; gpt-oss-120b (117B gesamt, 5,1B aktiv, 65 GB) zielt laut OpenAI-Model-Card auf eine einzelne 80-GB-GPU.

Unter 16 GB sind MoE-Modelle kaum praktikabel; Dense-Alternativen finden Sie bei den besten 14B-Modellen für Coding.

MoE-Modelle mit Ollama ausführen

Jedes Modell der Tabelle startet mit einem Befehl: ollama run gpt-oss:20b, ollama run qwen3-coder:30b, ollama run glm-4.7-flash, ollama run qwen3.6:35b, ollama run qwen3-coder-next und ollama run gpt-oss:120b.

Ollama verteilt Layer auf GPU und Arbeitsspeicher, wenn ein Modell den VRAM übersteigt. In llama.cpp lässt sich das für MoE-Modelle steuern: Die Optionen --cpu-moe und --n-cpu-moe halten Experten-Gewichte im Arbeitsspeicher, während Attention auf der GPU bleibt. So läuft ein 19–24-GB-Modell auf einer 16-GB-Karte mit geringerer Geschwindigkeit. PromptQuorum hat die Geschwindigkeit nicht gemessen.

Ein häufiger Fehler ist, den Speicherbedarf an den aktiven Parametern festzumachen: Ein Modell mit „3B aktiv“ ist kein 3B-großer Download. Prüfen Sie die Dateigröße auf der Ollama-Seite des Modells, bevor Sie es laden.

Dense-Alternativen für jede VRAM-Stufe finden Sie im Leitfaden zu den besten lokalen LLMs für Coding.

Verwandte Leitfäden

Quellen

Schnelle Antworten zu MoE-Modellen für Coding

Was ist ein MoE-Modell und warum ist es für lokales Coding relevant?▾
MoE steht für Mixture of Experts. Das Modell enthält viele Experten-Subnetze, aktiviert aber pro Token nur wenige. Die Generierungsgeschwindigkeit entspricht daher einem viel kleineren Dense-Modell, während die volle Parameterzahl breites Wissen über Sprachen und Frameworks liefert.
Welches MoE-Modell ist am besten für 16 GB VRAM?▾
gpt-oss-20b. Es hat 21B Gesamt- und 3,6B aktive Parameter, ist auf Ollama 14 GB groß und steht unter Apache 2.0. Die 19-GB-Modelle (Qwen3-Coder-30B-A3B, GLM-4.7-Flash) brauchen eine 24-GB-GPU oder CPU-Offload.
Was ist das beste kleine MoE-Modell?▾
Nach aktiven Parametern sind GLM-4.7-Flash (3B), Qwen3-Coder-30B-A3B (3,3B) und gpt-oss-20b (3,6B) hier am kleinsten. Nach Speicherbedarf ist gpt-oss-20b mit 14 GB am kleinsten; die beiden anderen brauchen 19 GB.
Braucht ein MoE-Modell weniger VRAM als ein Dense-Modell?▾
Nein. Alle Experten müssen geladen werden, der Speicherbedarf folgt also den Gesamtparametern. Der Vorteil ist die Geschwindigkeit: Pro Token werden nur die aktiven Parameter berechnet.
Welche MoE-Coding-Modelle gibt es auf Ollama?▾
Ollama führt qwen3.6:35b, qwen3-coder:30b, glm-4.7-flash, gpt-oss:20b, qwen3-coder-next und gpt-oss:120b, mit Downloadgrößen von etwa 24, 19, 19, 14, 52 und 65 GB.
Ist ein MoE-Modell für Coding besser als ein Dense-Modell?▾
Nicht automatisch. MoE tauscht Speicher gegen Geschwindigkeit. Ein Dense-Modell ähnlicher Dateigröße wie qwen3.6:27b (18–19 GB) ist pro Token womöglich langsamer; testen Sie beide an Ihren eigenen Repositories, bevor Sie sich entscheiden.
Warum kommen Mixtral 8x22B und DeepSeek-V2 auf dieser Seite nicht mehr vor?▾
Beide stammen aus 2024 und wurden für lokales Coding von neueren MoE-Releases abgelöst. Eine frühere Version dieser Seite nannte zudem falsche Speicherwerte: Mixtral 8x22B hat 141B Gesamtparameter (46,7B gehören zu Mixtral 8x7B), DeepSeek-V2 hat 236B Gesamtparameter — weit mehr, als 16 GB fassen.
MCP