Zum Hauptinhalt springen
PromptQuorumFür Menschen gemacht. Strukturiert für KI.

Bestes lokales LLM für Coding mit 12 GB VRAM?

Von · Gründer von PromptQuorum · Entdeckungsplattform für Open-Weight- und Open-Source-KI

Wichtigste Erkenntnisse

  • ✓Gemma 4 12B (Google, Apache 2.0): 7,7–8,0 GB Download, 256K Kontext, 72,0 % LiveCodeBench v6 (Herstellerangabe) — die beste Coding-Wahl für jede 12-GB-GPU
  • ✓Qwen2.5-Coder 14B Q4_K_M (~9 GB) bleibt eine solide, auf Code spezialisierte Option, stammt aber aus 2024; neuere Qwen-Coder wie Qwen3.8 27B (18 GB) brauchen mehr als 12 GB
  • ✓Devstral Small 2 (24B, 15 GB) und Qwen3.8 27B (18 GB) laufen auf 12 GB nur mit CPU-Offload, was die Generierung stark verlangsamt
  • ✓Erhöhen Sie das Kontextfenster fürs Coding auf mindestens 8192 — das Standardfenster kürzt echte Quelldateien — und prüfen Sie mit ollama ps, dass das Modell vollständig auf der GPU liegt
Bestes lokales LLM für Coding mit 12 GB VRAM?

Schnelle Antwort

Gemma 4 12B ist das beste Coding-Modell für eine GPU mit 12 GB VRAM: Der Ollama-Download umfasst 7,7–8,0 GB, und Google nennt 72,0 % auf LiveCodeBench v6 für das 12B-Modell. Qwen2.5-Coder 14B (~9 GB) ist die auf Code spezialisierte Alternative. Qwen3.8 27B (18 GB) und Devstral Small 2 (15 GB) passen nicht in 12 GB.

  • ▸Gemma 4 12B: 7,7–8,0 GB Download, 256K Kontext, Apache 2.0
  • ▸Qwen2.5-Coder 14B Q4_K_M: ~9 GB, auf Code spezialisiert, unterstützt Fill-in-the-Middle
  • ▸Ornith 9B: 5,6 GB, MIT-Lizenz, für agentisches Coding entwickelt
Hardware-Specific

Die Coding-Wahl für 12 GB

Gemma 4 12B ist das beste Coding-Modell für eine GPU mit 12 GB VRAM: Der Ollama-Download umfasst 7,7–8,0 GB, was etwa 4 GB für den KV-Cache lässt, und Google nennt 72,0 % auf LiveCodeBench v6 sowie ein Codeforces-Elo von 1659 für das 12B-Modell. Es steht unter Apache 2.0, unterstützt ein Kontextfenster von 256K und nimmt Bilder entgegen, sodass Sie einen Screenshot eines Fehlers oder UI-Problems einfügen können. Die Benchmark-Werte stammen vom Hersteller; wir haben keine eigenen Messungen durchgeführt.

Qwen2.5-Coder 14B Q4_K_M (~9 GB) passt weiterhin und bleibt die auf Code spezialisierte Wahl mit Fill-in-the-Middle-Unterstützung, ist aber ein Modell von 2024. Ornith 9B (5,6 GB, MIT-Lizenz) zielt auf agentisches Coding und lässt am meisten Platz für langen Kontext. Devstral Small 2 (24B, 15 GB) und Qwen3.8 27B (18 GB) überschreiten 12 GB und laufen nur mit CPU-Offload.

Wenn Sie stattdessen eine 8-GB-Karte haben, finden Sie im Beitrag zu den besten LLMs für AMD 5700X + RTX 3070 Ti Kompromisslösungen für 8 GB.

ModellDownload-GrößeAm besten für
Gemma 4 12B7,7–8,0 GBBeste Wahl: Coding, Bilder, 256K Kontext
Qwen2.5-Coder 14B Q4_K_M~9 GBCode-spezialisiert, Fill-in-the-Middle
Ornith 9B5,6 GBAgentisches Coding, Platz für langen Kontext
Devstral Small 2 24B15 GBPasst nicht; braucht CPU-Offload
Qwen3.8 27B18 GBPasst nicht; braucht 18 GB+ Speicher

Einstellungen, die beim Coding zählen

Stellen Sie das Kontextfenster fürs Coding auf mindestens 8k — ein kurzes Standardfenster kürzt Quelldateien mit einigen hundert Zeilen. Die ~8 GB Gewichte von Gemma 4 12B lassen auf einer 12-GB-Karte etwa 4 GB für KV-Cache und Laufzeit; Qwen2.5-Coder 14B mit ~9 GB lässt weniger, halten Sie dort den Kontext moderat. Setzen Sie ihn mit OLLAMA_CONTEXT_LENGTH=8192 vor dem Start des Servers oder mit /set parameter num_ctx 8192 in ollama run und prüfen Sie mit ollama ps, dass das Modell auf der GPU liegt und nicht mit der CPU geteilt wird.

Aktivieren Sie Flash Attention (OLLAMA_FLASH_ATTENTION=1) und setzen Sie bei Bedarf OLLAMA_KV_CACHE_TYPE=q8_0; das halbiert den KV-Cache-Speicher gegenüber dem Standard-f16-Cache ungefähr, bei geringem Qualitätsverlust. Die Umgebungsvariablen lassen sich in einem Start kombinieren.

Das vollständige Ranking über 12 GB hinaus finden Sie im Leitfaden zu den besten lokalen LLMs fürs Coding.

ollama pull gemma4:12b
ollama run gemma4:12b

# code-specialised alternative
ollama pull qwen2.5-coder:14b-instruct-q4_K_M
Die Speicherbandbreite, nicht die VRAM-Größe, bestimmt die Generierungsgeschwindigkeit: Die RTX 3080 Ti 12 GB (912 GB/s) erzeugt Token spürbar schneller als die RTX 3060 12 GB (360 GB/s), obwohl beide dieselben Modelle fassen. Für diese Seite haben wir keine Token pro Sekunde gemessen.

Verwandte Leitfäden

Schnelle Antworten zu Coding-LLMs für 12 GB VRAM

Was ist das beste Coding-Modell für 12 GB VRAM?▾
Gemma 4 12B. Der Ollama-Download umfasst 7,7–8,0 GB, es unterstützt ein Kontextfenster von 256K, und Google nennt 72,0 % auf LiveCodeBench v6 und ein Codeforces-Elo von 1659. Qwen2.5-Coder 14B Q4_K_M (~9 GB) ist die Alternative, wenn Sie ein reines Code-Modell mit Fill-in-the-Middle-Unterstützung wollen.
Was ist das beste lokale LLM für 12 GB VRAM allgemein?▾
Wieder Gemma 4 12B: Es ist ein multimodales Allzweckmodell (Text- und Bildeingabe) unter Apache 2.0, ein 8-GB-Download deckt also Chat, Coding und Screenshots ab. Ollama listet außerdem eine leichtere E4B-Variante für einen kleineren Speicherbedarf.
Passen Qwen3.8 27B und Devstral Small 2 in 12 GB VRAM?▾
Nein. Ollama listet qwen3.8:27b mit 18 GB und devstral-small-2:24b mit 15 GB. Beide laufen mit teilweiser Auslagerung in den Arbeitsspeicher, doch die Generierung wird stark langsamer, sobald Layer die GPU verlassen; sie passen besser zu Karten mit 16–24 GB.
Sollte ich auf 12 GB Q4_K_M oder eine höhere Quantisierung nutzen?▾
Nutzen Sie Q4_K_M für Modelle der 14B-Klasse — es ist die größte Standard-Quantisierung, die auf 12 GB noch Platz für Kontext lässt. Kleinere Modelle wie Ornith 9B (5,6 GB Standard) lassen Spielraum, ein höher aufgelöster Tag ist möglich, wenn die Modellseite einen anbietet.
Kann ich Fill-in-the-Middle (FIM) für Autovervollständigung mit diesen Modellen in Ollama nutzen?▾
Qwen2.5-Coder 14B unterstützt FIM. Ollama nimmt den Text nach dem Cursor im Feld suffix von /api/generate entgegen, sofern das Template des Modells es unterstützt. Prüfen Sie die Ollama-Seite jedes Modells auf Insert-Unterstützung, bevor Sie es in einen Editor einbinden; für Autovervollständigung ist Qwen2.5-Coder die sicherere Wahl.
MCP