Bestes lokales LLM für 6 GB VRAM?
Von Hans Kuepper · Gründer von PromptQuorum · Entdeckungsplattform für Open-Weight- und Open-Source-KI
Wichtigste Erkenntnisse
- ✓Qwen3.5 4B Q4_K_M (3,3 GB) passt am besten zu 6 GB VRAM: Es läuft komplett auf der GPU und lässt Platz für Kontext
- ✓Qwen3 8B Q4_K_M (5,2 GB) ist leistungsfähiger, lässt aber unter 1 GB für Kontext — halten Sie Prompts kurz
- ✓Nicht in 6 GB: Qwen3.5 9B (6,6 GB), Ministral 3 8B (6,0 GB) und Gemma 4 E4B (ab 6,1 GB) überschreiten die Grenze schon vor dem Kontext

Schnelle Antwort
Für 6 GB VRAM passt Qwen3.5 4B Q4_K_M am besten: ein 3,3-GB-Download, der rund 2,7 GB für den Kontext übrig lässt. Qwen3 8B Q4_K_M (5,2 GB) ist leistungsfähiger, aber knapp, und Phi-4-mini (2,5 GB) ist die leichteste Option.
- ▸Qwen3.5 4B Q4_K_M: beste Passform für 6 GB (3,3 GB, Text- und Bildeingabe)
- ▸Qwen3 8B Q4_K_M: leistungsfähiger, aber knapp (5,2 GB, nur kurzer Kontext)
- ▸Phi-4-mini Q4_K_M: leichteste Option (2,5 GB, meiste Kontext-Reserve)
Top 3 Modelle für 6 GB VRAM
Wählen Sie bei 6 GB VRAM ein Modell mit etwa 4 GB Dateigröße oder weniger, damit Kontext-Cache und Desktop noch auf die Karte passen. Die Größen unten sind Download-Größen aus der Ollama-Bibliothek; das Kontextfenster braucht zusätzlichen Speicher, und Windows reserviert VRAM für die Anzeige.
Qwen3.5 4B ist ein Release von 2026 mit Text- und Bildeingabe, Tool-Aufrufen und einem Denkmodus, der standardmäßig aktiv ist (er erzeugt vor der Antwort zusätzliche Tokens). PromptQuorum hat diese Modelle nicht auf 6-GB-Karten gemessen; die Geschwindigkeit hängt von Ihrer GPU ab — kleinere Dateien erzeugen in der Regel schneller.
| Modell | Größe | Ollama-Tag | Anwendungsbereich |
|---|---|---|---|
| Qwen3.5 4B Q4_K_M | 3,3 GB | qwen3.5:4b | Chat, Coding, Bilder |
| Qwen3 8B Q4_K_M | 5,2 GB | qwen3:8b | Max. Qualität, kurzer Kontext |
| Phi-4-mini Q4_K_M | 2,5 GB | phi4-mini | Leichtgewicht, langer Kontext |
Welche GPUs 6 GB haben und was passt
Gängige 6-GB-Karten sind GTX 1060 6 GB, GTX 1660 Super, RTX 2060 (6-GB-Version), RTX 3050 6 GB, RTX 3060 Laptop und RTX 4050 Laptop. Ollama läuft auf allen über CUDA; ältere Karten wie die GTX 1060 funktionieren, erzeugen aber langsamer, weil ihnen Tensor-Kerne fehlen.
Passt ein Modell nicht, verlagert Ollama einzelne Schichten in den Arbeitsspeicher und auf die CPU. Das Modell läuft weiter, aber die Erzeugung wird deutlich langsamer — Qwen3 8B auf einer 6-GB-Karte ist also ein Kompromiss, kein kostenloses Upgrade. Mit ollama ps sehen Sie die GPU/CPU-Aufteilung.
Apple Silicon ist ein anderer Fall: Ein Mac teilt Unified Memory zwischen CPU und GPU, und macOS lässt die GPU bei 16 GB standardmäßig etwa zwei Drittel davon nutzen — macOS selbst benötigt jedoch mindestens 8 GB, sodass einem MacBook mit 16 GB etwa 8 GB für ein Modell bleiben, etwas mehr als bei einer GPU mit 6 GB. Siehe bestes lokales LLM für einen Laptop mit 16 GB RAM.
Der Wechsel von 6 GB auf 8 GB lässt Qwen3 8B Q4_K_M mit Platz für Kontext laufen. Für 12-GB-Optionen und 14B-Modelle siehe beste Ollama-Modelle für RTX 3060 12 GB. Die vollständige VRAM-Referenz finden Sie unter wie viel VRAM ein lokales LLM benötigt.
Bestes Coding-Modell für 6 GB VRAM
Qwen3.5 4B Q4_K_M ist der Ausgangspunkt für Coding mit 6 GB VRAM; Qwen2.5-Coder 7B Q4_K_M (4,7 GB) ist die Spezialistenoption für Code-Vervollständigung. Die Modellkarte von Qwen3.5 4B nennt 55,8 bei LiveCodeBench v6 (Herstellerangabe, Denkmodus). Qwen2.5-Coder ist eine Familie von 2024 mit 32K-Kontextfenster, daher lässt die 7B-Datei wenig Platz für lange Prompts.
LM Studio lädt dieselben GGUF-Dateien, und Aider oder ein Editor-Plugin kann ein Ollama-Modell über die lokale API nutzen. Erhöhen Sie das Kontextfenster über den Standard — etwa mit /set parameter num_ctx 8192 im Ollama-Prompt —, denn Code-Prompts sind lang und abgeschnittener Kontext führt zu falschen Antworten.
| Modell | Größe | Einsatz |
|---|---|---|
| Qwen3.5 4B Q4_K_M | 3,3 GB | Coding + Chat, Tool-Aufrufe |
| Qwen2.5-Coder 7B Q4_K_M | 4,7 GB | Vervollständigung, kurzer Kontext |
| Qwen2.5-Coder 3B Q4_K_M | 1,9 GB | Schnelle Autovervollständigung |
Verwandte Leitfäden
- ▸Kann man RAG mit 2 GB RAM ausführen? -- RAG on low RAM
- ▸Beste Quantisierung für 6 GB VRAM -- Q4_K_M vs. Q5_K_M
- ▸Bestes lokales LLM für einen Laptop mit 16 GB RAM -- Laptop-Klasse
Häufige Fragen zu 6-GB-VRAM-Modellen
Reichen 6 GB VRAM für lokale LLMs?▾
Passt Qwen3 8B in 6 GB VRAM?▾
/set parameter num_ctx 2048 oder nutzen Sie Qwen3.5 4B (3,3 GB). Mit ollama ps prüfen Sie, ob das Modell zu 100 % auf der GPU liegt.Passen Ministral 8B, Gemma 4 oder Qwen3.5 9B in 6 GB?▾
gemma4:e2b-it-qat, 4,3 GB) passt.Was ist das beste Coding-Modell für 6 GB VRAM?▾
ollama_chat/ nutzen.Welche GPUs haben 6 GB VRAM?▾
Was, wenn ich 6 GB Arbeitsspeicher habe, nicht VRAM?▾
qwen3.5:2b, 1,9 GB) und halten Sie den Kontext kurz.