Zum Hauptinhalt springen
PromptQuorumFür Menschen gemacht. Strukturiert für KI.

Bestes lokales Coding-LLM für AMD 5700X + RTX 3070 Ti?

Von · Gründer von PromptQuorum · Entdeckungsplattform für Open-Weight- und Open-Source-KI

Wichtigste Erkenntnisse

  • ✓Qwen3 8B (5,2 GB) ist das beste Einzelmodell für Coding auf einer RTX 3070 Ti mit 8 GB; Qwen2.5-Coder 7B (4,7 GB) ist die Wahl für Editor-Autovervollständigung. Beide passen komplett in den VRAM
  • ✓14B-Coder (qwen2.5-coder:14b hat 9,0 GB, qwen3:14b 9,3 GB) überschreiten 8 GB und laufen nur mit teilweisem CPU-Offload, was die Generierung stark bremst
  • ✓Qwen3-Coder 30B ist ein 19-GB-Download (Mixture-of-Experts); bei 8 GB VRAM liegt das meiste im Arbeitsspeicher. Betrachten Sie es als Experiment mit 32 GB RAM, nicht als Alltagsmodell
  • ✓Der Ryzen 7 5700X ist hier nicht die Grenze, sondern der VRAM. Halten Sie den Kontext bei 8K bis 16K Token und bleiben Sie für Code bei Q4 oder höher
Bestes lokales Coding-LLM für AMD 5700X + RTX 3070 Ti?

Schnelle Antwort

Auf einer RTX 3070 Ti mit 8 GB VRAM laufen Qwen3 8B (qwen3:8b, 5,2 GB Download) für Coding-Chat und Erklärungen sowie Qwen2.5-Coder 7B (qwen2.5-coder:7b, 4,7 GB) für die Autovervollständigung im Editor. Beide passen komplett in den VRAM. Der Ryzen 7 5700X ist nicht der Engpass, sondern die 8 GB VRAM: 14B-Coding-Modelle (rund 9 GB) passen nicht vollständig auf die GPU.

  • ▸Qwen3 8B: 5,2 GB Download, 40K Kontext, bestes Einzelmodell für Coding-Chat mit 8 GB
  • ▸Qwen2.5-Coder 7B: 4,7 GB Download, für Fill-in-the-Middle-Autovervollständigung trainiert
  • ▸14B-Coder und Qwen3-Coder 30B brauchen auf dieser Karte CPU-Offload und laufen deutlich langsamer
Hardware-Specific

Qwen3 8B und Qwen2.5-Coder 7B passen auf eine 8-GB-Karte

Zum Programmieren auf einer RTX 3070 Ti (8 GB) nutzen Sie Qwen3 8B für Chat, Erklärungen und Refactoring und Qwen2.5-Coder 7B für die Inline-Autovervollständigung. Beide gibt es bei Ollama in der Standard-Quantisierung Q4: qwen3:8b hat 5,2 GB Download und 40K Kontext, qwen2.5-coder:7b 4,7 GB und 32K. Beide lassen von den 8 GB etwa 2 bis 3 GB für den KV-Cache und Ihren Desktop.

Qwen2.5-Coder ist auf Fill-in-the-Middle (FIM) trainiert, den Vervollständigungsmodus, den Editor-Plugins wie Continue für Tab-Autovervollständigung nutzen. Qwen3 8B ist der stärkere Allround-Denker und hat einen Denkmodus, den Sie mit /no_think abschalten, wenn Sie schnellere Antworten wollen. Wenn Sie nur ein Modell möchten, beginnen Sie mit Qwen3 8B. Downloadgrößen und Kontextfenster entsprechen den Angaben auf ollama.com; wir haben genau diese Konfiguration nicht gemessen, daher nennen wir keine Geschwindigkeitswerte.

Für größere GPUs und mehr Coding-Modelle siehe den Leitfaden beste lokale LLMs für Coding.

ModellOllama-TagDownloadPasst in 8 GB?Am besten für
Qwen3 8Bqwen3:8b5.2 GBJa, komplett im VRAMChat, Erklärungen, Refactoring
Qwen2.5-Coder 7Bqwen2.5-coder:7b4.7 GBJa, komplett im VRAMEditor-Autovervollständigung (FIM)
Qwen2.5-Coder 1.5Bqwen2.5-coder:1.5b986 MBJa, mit viel ReserveLeichte Autovervollständigung neben einem Chat-Modell
Qwen2.5-Coder 14Bqwen2.5-coder:14b9.0 GBNein, braucht CPU-OffloadGrößerer Coder, nur mit Offload
Qwen3-Coder 30Bqwen3-coder:30b19 GBNein, meist im ArbeitsspeicherAgentisches Coding ab 32 GB RAM, langsam

Was nicht passt: 14B, 30B und langer Kontext

Ein Modell muss samt KV-Cache in den VRAM passen, und 8 GB sind schneller voll, als die Downloadgröße vermuten lässt. Wenn Schichten in den Arbeitsspeicher auslagern, läuft Ollama weiter, aber die Generierung bricht ein, weil DDR4 viel langsamer ist als die 608 GB/s GDDR6X der Karte. Die 8 Zen-3-Kerne des 5700X verkraften Offload besser als eine 4-Kern-CPU, doch Offload ist ein Notbehelf, kein Plan.

Qwen3-Coder 30B ist bei Ollama mit 19 GB und 256K Kontext gelistet. Es ist ein Mixture-of-Experts-Modell mit rund 3B aktiven Parametern und kann daher mit dem Großteil der Gewichte im Arbeitsspeicher laufen, aber auf einer 8-GB-Karte liegt genau dort der Hauptteil. Bei agentischer Nutzung mit nur 8 GB VRAM sind langsame Antworten zu erwarten; die Ergebnisse hängen von RAM und Einstellungen ab. Betrachten Sie es als Experiment mit 32 GB RAM.

Langer Kontext vergrößert den KV-Cache. Halten Sie den Kontext auf dieser Karte bei 8K bis 16K Token und erhöhen Sie ihn nur, wenn nvidia-smi freien VRAM zeigt. Für Code bleiben Sie bei Q4 oder höher; Q3 und darunter kann subtile Syntaxfehler verursachen.

Chat und Autovervollständigung in VS Code einrichten

Installieren Sie Ollama, laden Sie die beiden Modelle und richten Sie eine Editor-Erweiterung wie Continue auf http://localhost:11434 aus: qwen3:8b für Chat, qwen2.5-coder:7b für Autovervollständigung. Prüfen Sie mit ollama ps die Spalte PROCESSOR. 100% GPU heißt, das Modell passt; eine CPU/GPU-Aufteilung heißt, dass Modell plus Kontext nicht mehr in 8 GB passen. Auf dieser Karte kann Ollama ein 7B- bis 8B-Modell entladen, um das andere zu laden; für Autovervollständigung neben dem Chat-Modell nehmen Sie daher das 986 MB große qwen2.5-coder:1.5b.

ollama pull qwen3:8b
ollama pull qwen2.5-coder:7b
ollama ps

GPU upgraden, nicht die CPU

Wenn Sie 14B-Coding-Modelle in voller Geschwindigkeit wollen, ist die GPU das Upgrade-Ziel. Eine 12-GB-Karte wie die RTX 3060 12 GB oder RTX 4070 führt einen rund 9 GB großen Q4-Coder wie qwen2.5-coder:14b komplett im VRAM aus. Siehe bestes Coding-LLM für 12 GB VRAM und bestes 14B-Modell für Coding.

Der 5800X3D ist das beste AM4-CPU-Upgrade, doch sein 3D-V-Cache hilft bei Gaming und CPU-lastigen Aufgaben; die LLM-Inferenz auf der GPU wird von der VRAM-Bandbreite begrenzt, und der 5700X ist nicht die Grenze.

Den vollständigen GPU-Ratgeber finden Sie unter beste GPUs für lokale LLMs.

Schnelle Antworten zu Coding-LLMs für AMD 5700X + RTX 3070 Ti

Welche LLM-Modelle für Coder kann ich lokal auf AMD 5700X und RTX 3070 Ti nutzen?▾
Qwen3 8B (qwen3:8b, 5,2 GB) für Chat und Erklärungen und Qwen2.5-Coder 7B (qwen2.5-coder:7b, 4,7 GB) für Editor-Autovervollständigung. Beide passen komplett in die 8 GB VRAM der 3070 Ti.
Kann ich ein 14B-Coding-Modell auf einer RTX 3070 Ti 8 GB ausführen?▾
Nicht vollständig auf der GPU: qwen2.5-coder:14b hat 9,0 GB Download und liegt über dem 8-GB-Limit. Mit teilweisem CPU-Offload läuft es, aber deutlich langsamer. Eine 12-GB-Karte führt es komplett im VRAM aus.
Ist der Ryzen 7 5700X ein Engpass für lokale LLMs?▾
Nein. Passt das Modell in den VRAM, bestimmt die GPU die Generierungsgeschwindigkeit. Die CPU zählt nur für Schichten, die in den Arbeitsspeicher ausgelagert sind.
Kann eine RTX 3070 Ti Qwen3-Coder 30B ausführen?▾
Nur, wenn der Großteil des 19-GB-Modells im Arbeitsspeicher liegt. Es ist ein Mixture-of-Experts-Modell mit rund 3B aktiven Parametern, startet also, antwortet aber bei agentischer Nutzung langsam. Planen Sie 32 GB RAM ein und betrachten Sie es als Experiment.
Welches Modell nehme ich für Autovervollständigung, welches für Chat?▾
Nutzen Sie Qwen2.5-Coder 7B (oder die 1.5B-Version) für Tab-Autovervollständigung, weil es auf Fill-in-the-Middle trainiert ist, und Qwen3 8B für Chat, Erklärungen und Refactoring.
Spielt die RAM-Geschwindigkeit beim CPU-Offload eine Rolle?▾
Ja, als Nebenfaktor. Schnelleres DDR4 erhöht den Durchsatz für Schichten im Arbeitsspeicher, aber die GPU bleibt die Hauptgrenze für Schichten, die in den VRAM passen.
MCP