Beste MoE-Modelle für lokales Coding?
Von Hans Kuepper · Gründer von PromptQuorum · Entdeckungsplattform für Open-Weight- und Open-Source-KI
Wichtigste Erkenntnisse
- ✓MoE-Modelle laden alle Experten in den Speicher, berechnen aber pro Token nur 3–5B aktive Parameter — sie laufen schneller als Dense-Modelle gleicher Dateigröße, brauchen aber nicht weniger Speicher
- ✓gpt-oss-20b (14 GB auf Ollama) ist die MoE-Wahl für 16 GB; Qwen3-Coder-30B-A3B und GLM-4.7-Flash (je 19 GB) passen auf eine 24-GB-GPU
- ✓Qwen3.6-35B-A3B (~24 GB) nennt auf seiner Model Card 73,4 bei SWE-bench Verified, den höchsten Wert der hier verglichenen Modelle, und eignet sich für 32 GB Speicher
- ✓Qwen3-Coder-Next (52 GB) und gpt-oss-120b (65 GB) brauchen 64–80 GB Unified Memory oder VRAM

Schnelle Antwort
Qwen3.6-35B-A3B hat den höchsten herstellerseitig gemeldeten SWE-bench-Verified-Wert der hier verglichenen Modelle und passt zu 32 GB Speicher, Qwen3-Coder-30B-A3B passt auf eine 24-GB-GPU und gpt-oss-20b auf 16 GB. MoE-Modelle berechnen pro Token nur 3–5B aktive Parameter und laufen daher schnell, benötigen aber weiterhin Speicher für alle Experten.
- ▸16 GB: gpt-oss-20b (21B gesamt, 3,6B aktiv, 14 GB auf Ollama)
- ▸24 GB: Qwen3-Coder-30B-A3B oder GLM-4.7-Flash (je 19 GB)
- ▸32 GB+: Qwen3.6-35B-A3B (~24 GB); 64–80 GB: Qwen3-Coder-Next, gpt-oss-120b
MoE-Modelle brauchen Speicher für alle Parameter, nicht nur die aktiven
Ein Mixture-of-Experts-Modell (MoE) leitet jeden Token durch einige Experten-Subnetze: Die Geschwindigkeit folgt den aktiven Parametern, der Speicherbedarf den Gesamtparametern. Qwen3.6-35B-A3B hat laut Hugging-Face-Model-Card 256 Experten und aktiviert pro Token 8 geroutete plus 1 geteilten Experten (3B von 35B Parametern).
Ein MoE mit 3B aktiven Parametern generiert Tokens daher ungefähr zum Aufwand eines kleinen Dense-Modells, doch der Download von 14–24 GB muss trotzdem in VRAM oder schnellen Unified Memory passen. Die Größen in der Tabelle sind Ollama-Downloads; rechnen Sie Spielraum für den Kontext-Cache ein.
Benchmark-Werte auf Model Cards stammen von den Herstellern und aus unterschiedlichen Agent-Setups: SWE-bench Verified liegt bei 73,4 für Qwen3.6-35B-A3B, 70,6 für Qwen3-Coder-Next und 59,2 für GLM-4.7-Flash. Verstehen Sie sie als Orientierung, nicht als direkten Vergleich; PromptQuorum hat sie nicht erneut gemessen.
| Modell | Gesamt / aktiv | Ollama-Größe | Speicherstufe |
|---|---|---|---|
| Qwen3.6-35B-A3B | 35B / 3B | ~24 GB | 32 GB |
| Qwen3-Coder-30B-A3B | 30B / 3.3B | 19 GB | 24 GB |
| GLM-4.7-Flash | 30B / 3B | 19 GB | 24 GB |
| gpt-oss-20b | 21B / 3.6B | 14 GB | 16 GB |
| Qwen3-Coder-Next | 80B / 3B | 52 GB | 64 GB |
| gpt-oss-120b | 117B / 5.1B | 65 GB | 80 GB |
Das MoE-Modell passend zum eigenen Speicher wählen
Für 16 GB VRAM eignet sich gpt-oss-20b: 21B gesamt, 3,6B aktiv, 14 GB auf Ollama. Auf einer 16-GB-Karte bleiben etwa 2 GB für den Kontext, halten Sie das Kontextfenster daher moderat.
Für eine 24-GB-GPU eignen sich Qwen3-Coder-30B-A3B (19 GB, 256K Kontext, auf Code abgestimmt) oder GLM-4.7-Flash (19 GB, MIT-Lizenz). Beide sind 30B-A3B-MoE-Modelle mit 3–3,3B aktiven Parametern.
Für eine 32-GB-GPU eignet sich Qwen3.6-35B-A3B (etwa 24 GB, 256K Kontext, Apache 2.0); auf einem Mac planen Sie 48 GB Unified Memory ein, weil macOS etwa 8 GB belegt. Auf einer 24-GB-GPU wird es knapp: Teile des Modells landen im Arbeitsspeicher und die Geschwindigkeit sinkt.
Für 64–80 GB passt Qwen3-Coder-Next (80B gesamt, 3B aktiv, 52 GB bei Q4_K_M) auf einen 64-GB-Rechner; gpt-oss-120b (117B gesamt, 5,1B aktiv, 65 GB) zielt laut OpenAI-Model-Card auf eine einzelne 80-GB-GPU.
Unter 16 GB sind MoE-Modelle kaum praktikabel; Dense-Alternativen finden Sie bei den besten 14B-Modellen für Coding.
MoE-Modelle mit Ollama ausführen
Jedes Modell der Tabelle startet mit einem Befehl: ollama run gpt-oss:20b, ollama run qwen3-coder:30b, ollama run glm-4.7-flash, ollama run qwen3.6:35b, ollama run qwen3-coder-next und ollama run gpt-oss:120b.
Ollama verteilt Layer auf GPU und Arbeitsspeicher, wenn ein Modell den VRAM übersteigt. In llama.cpp lässt sich das für MoE-Modelle steuern: Die Optionen --cpu-moe und --n-cpu-moe halten Experten-Gewichte im Arbeitsspeicher, während Attention auf der GPU bleibt. So läuft ein 19–24-GB-Modell auf einer 16-GB-Karte mit geringerer Geschwindigkeit. PromptQuorum hat die Geschwindigkeit nicht gemessen.
Ein häufiger Fehler ist, den Speicherbedarf an den aktiven Parametern festzumachen: Ein Modell mit „3B aktiv“ ist kein 3B-großer Download. Prüfen Sie die Dateigröße auf der Ollama-Seite des Modells, bevor Sie es laden.
Dense-Alternativen für jede VRAM-Stufe finden Sie im Leitfaden zu den besten lokalen LLMs für Coding.
Verwandte Leitfäden
- ▸Beste 14B-Modelle für Coding -- Dense-Coding-Modelle für 10–16 GB
- ▸Beste lokale LLMs für Coding -- Coding-Modelle nach VRAM-Stufe
- ▸Continue.dev von Cursor übernommen: Einstellung und Alternativen -- coding tool comparison
Quellen
- ▸Qwen3.6-35B-A3B Model Card — Architektur, Experten, Lizenz und SWE-bench-Verified-Wert.
- ▸Qwen3-Coder-Next Model Card — 80B gesamt, 3B aktiv, SWE-bench-Verified-Wert.
- ▸GLM-4.7-Flash Model Card — 30B-A3B-MoE, MIT-Lizenz, SWE-bench-Verified-Wert.
- ▸gpt-oss-120b Model Card — Gesamt- und aktive Parameter sowie Speicherziele für gpt-oss-120b und gpt-oss-20b.
- ▸Ollama-Bibliothek: qwen3-coder — Tags und Downloadgrößen; siehe auch gpt-oss, glm-4.7-flash, qwen3.6 und qwen3-coder-next.
Schnelle Antworten zu MoE-Modellen für Coding
Was ist ein MoE-Modell und warum ist es für lokales Coding relevant?▾
Welches MoE-Modell ist am besten für 16 GB VRAM?▾
Was ist das beste kleine MoE-Modell?▾
Braucht ein MoE-Modell weniger VRAM als ein Dense-Modell?▾
Welche MoE-Coding-Modelle gibt es auf Ollama?▾
qwen3.6:35b, qwen3-coder:30b, glm-4.7-flash, gpt-oss:20b, qwen3-coder-next und gpt-oss:120b, mit Downloadgrößen von etwa 24, 19, 19, 14, 52 und 65 GB.Ist ein MoE-Modell für Coding besser als ein Dense-Modell?▾
qwen3.6:27b (18–19 GB) ist pro Token womöglich langsamer; testen Sie beide an Ihren eigenen Repositories, bevor Sie sich entscheiden.