Beste Ollama-Modelle für 4 GB VRAM?
Von Hans Kuepper · Gründer von PromptQuorum · Entdeckungsplattform für Open-Weight- und Open-Source-KI
Wichtigste Erkenntnisse
- ✓Phi-4 Mini und Qwen3 4B (je 2,5 GB) sind die größten Modelle, die auf einer 4-GB-GPU Reserve lassen
- ✓Die meisten Standard-Tags in Ollama sind bereits 4-Bit (Q4_K_M); entscheidend ist die Downloadgröße, nicht die Parameterzahl
- ✓Llama 3.1 8B (4,9 GB) und Gemma 4 E2B (4,6 GB) passen nicht
- ✓Bei nur 4 GB Arbeitsspeicher: unter etwa 1,5 GB bleiben, etwa Qwen3 0.6B, Gemma 3 1B, Llama 3.2 1B

Was in 4 GB VRAM passt
Auf einer 4-GB-GPU passen Modelle bis etwa 4 Milliarden Parameter bei 4-Bit-Quantisierung; maßgeblich ist die Ollama-Downloadgröße. Ein Modell braucht seine Dateigröße plus Platz für den Kontext-Cache (KV-Cache), der mit dem Gesprächsverlauf wächst. Als Faustregel sollte die Datei höchstens etwa 3 GB groß sein, damit das ganze Modell auf der GPU bleibt.
Phi-4 Mini und Qwen3 4B sind mit je 2,5 GB die größten Modelle der Tabelle, die diese Reserve lassen. Qwen3.5 2B ist die neueste Familie und verarbeitet neben Text auch Bilder. Gemma 3 1B und Qwen3 1.7B eignen sich für kleine Dateien mit langem Kontext. Die Dateigrößen stammen aus der Ollama-Modellbibliothek; die Geschwindigkeit hängt von Ihrer GPU ab, daher nennen wir keine Tokens-pro-Sekunde-Werte. Neuere Generationen ersetzen sie in dieser Größe nicht: Qwen3.6 beginnt bei 27B (17 GB), und kein Gemma-4-Download ist kleiner als 4,3 GB.
| Modell | Ollama-Tag | Dateigröße | Hinweise |
|---|---|---|---|
| Phi-4 Mini | phi4-mini | 2,5 GB | 3,8 Mrd. Parameter, 128K Kontext |
| Qwen3 4B | qwen3:4b | 2,5 GB | 4 Mrd. Parameter, Denkmodus |
| Llama 3.2 3B | llama3.2:3b | 2,0 GB | 3 Mrd. Parameter, Llama-Familie |
| Qwen3.5 2B | qwen3.5:2b-q4_K_M | 1,9 GB | Text- und Bildeingabe |
| Qwen3 1.7B | qwen3:1.7b | 1,4 GB | Lässt den Großteil des VRAM frei |
| Gemma 3 1B | gemma3:1b | 0,8 GB | Kleinste Option in dieser Tabelle |
📍 In einem Satz
Mit 4 GB VRAM passen Phi-4 Mini (2,5 GB), Qwen3 4B (2,5 GB), Llama 3.2 3B (2,0 GB), Qwen3.5 2B (1,9 GB) und Gemma 3 1B (0,8 GB) in 4-Bit; Llama 3.1 8B (4,9 GB) passt nicht.
💬 In einfachen Worten
Hat Ihre GPU 4 GB, wählen Sie ein Modell mit etwa 3 GB Download oder weniger und beginnen Sie mit phi4-mini oder qwen3:4b. 8B-Modelle brauchen eine Karte mit 6 GB oder mehr.
Was nicht in 4 GB passt
Diese Modelle werden häufig angefragt, ihr Standard-Download bei Ollama liegt aber nahe an oder über 4 GB:
Eine 6-GB-Karte macht 8B-Modelle wie Llama 3.1 8B praktikabel. Siehe beste lokale LLMs für 6 GB VRAM. Für einen vollständigen Hardware-Vergleich siehe schnellste lokale LLMs für Low-End-PCs.
- ▸Llama 3.1 8B (llama3.1:8b) — 4,9 GB Download, kein Platz mehr für den Kontext
- ▸Gemma 4 E2B (gemma4:e2b-it-q4_K_M) — 4,6 GB Download trotz „2B“ im Namen
- ▸Gemma 4 E4B (gemma4:e4b-it-q4_K_M) — 6,6 GB Download
- ▸Qwen3.5 4B (qwen3.5:4b-q4_K_M) und Gemma 3 4B (gemma3:4b) — 3,3 und 3,4 GB; grenzwertig, ein langer Kontext verlagert Schichten in den Arbeitsspeicher
Welche Ollama-Modelle sind 4-Bit?
Die meisten Standard-Tags bei Ollama sind bereits 4-Bit: phi4-mini, qwen3:1.7b, gemma3:4b und llama3.1:8b haben denselben Datei-Hash wie der Eintrag q4_K_M, eine 4-Bit-Quantisierung. Die Bibliotheksseite nennt die Quantisierung beim Standard-Tag oft nicht; für Gewissheit laden Sie den Tag mit der Quantisierung im Namen, zum Beispiel ollama run qwen3:4b-q4_K_M.
Nicht jedes kleine Modell nutzt standardmäßig 4-Bit, und der Standard kann deutlich größer sein als die 4-Bit-Datei:
- ▸gemma2:2b — Standard ist q4_0 (1,6 GB)
- ▸smollm2:1.7b — Standard ist q8_0 (1,8 GB); die q4_K_M-Datei hat 1,1 GB
- ▸qwen3.5:2b — Standard hat 2,7 GB; qwen3.5:2b-q4_K_M hat 1,9 GB
- ▸llama3.2:1b — Standard entspricht q8_0 (1,3 GB)