Bestes lokales Coding-LLM für AMD 5700X + RTX 3070 Ti?
Von Hans Kuepper · Gründer von PromptQuorum · Entdeckungsplattform für Open-Weight- und Open-Source-KI
Wichtigste Erkenntnisse
- ✓Qwen3 8B (5,2 GB) ist das beste Einzelmodell für Coding auf einer RTX 3070 Ti mit 8 GB; Qwen2.5-Coder 7B (4,7 GB) ist die Wahl für Editor-Autovervollständigung. Beide passen komplett in den VRAM
- ✓14B-Coder (qwen2.5-coder:14b hat 9,0 GB, qwen3:14b 9,3 GB) überschreiten 8 GB und laufen nur mit teilweisem CPU-Offload, was die Generierung stark bremst
- ✓Qwen3-Coder 30B ist ein 19-GB-Download (Mixture-of-Experts); bei 8 GB VRAM liegt das meiste im Arbeitsspeicher. Betrachten Sie es als Experiment mit 32 GB RAM, nicht als Alltagsmodell
- ✓Der Ryzen 7 5700X ist hier nicht die Grenze, sondern der VRAM. Halten Sie den Kontext bei 8K bis 16K Token und bleiben Sie für Code bei Q4 oder höher

Schnelle Antwort
Auf einer RTX 3070 Ti mit 8 GB VRAM laufen Qwen3 8B (qwen3:8b, 5,2 GB Download) für Coding-Chat und Erklärungen sowie Qwen2.5-Coder 7B (qwen2.5-coder:7b, 4,7 GB) für die Autovervollständigung im Editor. Beide passen komplett in den VRAM. Der Ryzen 7 5700X ist nicht der Engpass, sondern die 8 GB VRAM: 14B-Coding-Modelle (rund 9 GB) passen nicht vollständig auf die GPU.
- ▸Qwen3 8B: 5,2 GB Download, 40K Kontext, bestes Einzelmodell für Coding-Chat mit 8 GB
- ▸Qwen2.5-Coder 7B: 4,7 GB Download, für Fill-in-the-Middle-Autovervollständigung trainiert
- ▸14B-Coder und Qwen3-Coder 30B brauchen auf dieser Karte CPU-Offload und laufen deutlich langsamer
Qwen3 8B und Qwen2.5-Coder 7B passen auf eine 8-GB-Karte
Zum Programmieren auf einer RTX 3070 Ti (8 GB) nutzen Sie Qwen3 8B für Chat, Erklärungen und Refactoring und Qwen2.5-Coder 7B für die Inline-Autovervollständigung. Beide gibt es bei Ollama in der Standard-Quantisierung Q4: qwen3:8b hat 5,2 GB Download und 40K Kontext, qwen2.5-coder:7b 4,7 GB und 32K. Beide lassen von den 8 GB etwa 2 bis 3 GB für den KV-Cache und Ihren Desktop.
Qwen2.5-Coder ist auf Fill-in-the-Middle (FIM) trainiert, den Vervollständigungsmodus, den Editor-Plugins wie Continue für Tab-Autovervollständigung nutzen. Qwen3 8B ist der stärkere Allround-Denker und hat einen Denkmodus, den Sie mit /no_think abschalten, wenn Sie schnellere Antworten wollen. Wenn Sie nur ein Modell möchten, beginnen Sie mit Qwen3 8B. Downloadgrößen und Kontextfenster entsprechen den Angaben auf ollama.com; wir haben genau diese Konfiguration nicht gemessen, daher nennen wir keine Geschwindigkeitswerte.
Für größere GPUs und mehr Coding-Modelle siehe den Leitfaden beste lokale LLMs für Coding.
| Modell | Ollama-Tag | Download | Passt in 8 GB? | Am besten für |
|---|---|---|---|---|
| Qwen3 8B | qwen3:8b | 5.2 GB | Ja, komplett im VRAM | Chat, Erklärungen, Refactoring |
| Qwen2.5-Coder 7B | qwen2.5-coder:7b | 4.7 GB | Ja, komplett im VRAM | Editor-Autovervollständigung (FIM) |
| Qwen2.5-Coder 1.5B | qwen2.5-coder:1.5b | 986 MB | Ja, mit viel Reserve | Leichte Autovervollständigung neben einem Chat-Modell |
| Qwen2.5-Coder 14B | qwen2.5-coder:14b | 9.0 GB | Nein, braucht CPU-Offload | Größerer Coder, nur mit Offload |
| Qwen3-Coder 30B | qwen3-coder:30b | 19 GB | Nein, meist im Arbeitsspeicher | Agentisches Coding ab 32 GB RAM, langsam |
Was nicht passt: 14B, 30B und langer Kontext
Ein Modell muss samt KV-Cache in den VRAM passen, und 8 GB sind schneller voll, als die Downloadgröße vermuten lässt. Wenn Schichten in den Arbeitsspeicher auslagern, läuft Ollama weiter, aber die Generierung bricht ein, weil DDR4 viel langsamer ist als die 608 GB/s GDDR6X der Karte. Die 8 Zen-3-Kerne des 5700X verkraften Offload besser als eine 4-Kern-CPU, doch Offload ist ein Notbehelf, kein Plan.
Qwen3-Coder 30B ist bei Ollama mit 19 GB und 256K Kontext gelistet. Es ist ein Mixture-of-Experts-Modell mit rund 3B aktiven Parametern und kann daher mit dem Großteil der Gewichte im Arbeitsspeicher laufen, aber auf einer 8-GB-Karte liegt genau dort der Hauptteil. Bei agentischer Nutzung mit nur 8 GB VRAM sind langsame Antworten zu erwarten; die Ergebnisse hängen von RAM und Einstellungen ab. Betrachten Sie es als Experiment mit 32 GB RAM.
Langer Kontext vergrößert den KV-Cache. Halten Sie den Kontext auf dieser Karte bei 8K bis 16K Token und erhöhen Sie ihn nur, wenn nvidia-smi freien VRAM zeigt. Für Code bleiben Sie bei Q4 oder höher; Q3 und darunter kann subtile Syntaxfehler verursachen.
Chat und Autovervollständigung in VS Code einrichten
Installieren Sie Ollama, laden Sie die beiden Modelle und richten Sie eine Editor-Erweiterung wie Continue auf http://localhost:11434 aus: qwen3:8b für Chat, qwen2.5-coder:7b für Autovervollständigung. Prüfen Sie mit ollama ps die Spalte PROCESSOR. 100% GPU heißt, das Modell passt; eine CPU/GPU-Aufteilung heißt, dass Modell plus Kontext nicht mehr in 8 GB passen. Auf dieser Karte kann Ollama ein 7B- bis 8B-Modell entladen, um das andere zu laden; für Autovervollständigung neben dem Chat-Modell nehmen Sie daher das 986 MB große qwen2.5-coder:1.5b.
ollama pull qwen3:8b
ollama pull qwen2.5-coder:7b
ollama psGPU upgraden, nicht die CPU
Wenn Sie 14B-Coding-Modelle in voller Geschwindigkeit wollen, ist die GPU das Upgrade-Ziel. Eine 12-GB-Karte wie die RTX 3060 12 GB oder RTX 4070 führt einen rund 9 GB großen Q4-Coder wie qwen2.5-coder:14b komplett im VRAM aus. Siehe bestes Coding-LLM für 12 GB VRAM und bestes 14B-Modell für Coding.
Der 5800X3D ist das beste AM4-CPU-Upgrade, doch sein 3D-V-Cache hilft bei Gaming und CPU-lastigen Aufgaben; die LLM-Inferenz auf der GPU wird von der VRAM-Bandbreite begrenzt, und der 5700X ist nicht die Grenze.
Den vollständigen GPU-Ratgeber finden Sie unter beste GPUs für lokale LLMs.