Zum Hauptinhalt springen
PromptQuorumFür Menschen gemacht. Strukturiert für KI.

Beste Ollama-Modelle für 4 GB VRAM?

Von · Gründer von PromptQuorum · Entdeckungsplattform für Open-Weight- und Open-Source-KI

Wichtigste Erkenntnisse

  • ✓Phi-4 Mini und Qwen3 4B (je 2,5 GB) sind die größten Modelle, die auf einer 4-GB-GPU Reserve lassen
  • ✓Die meisten Standard-Tags in Ollama sind bereits 4-Bit (Q4_K_M); entscheidend ist die Downloadgröße, nicht die Parameterzahl
  • ✓Llama 3.1 8B (4,9 GB) und Gemma 4 E2B (4,6 GB) passen nicht
  • ✓Bei nur 4 GB Arbeitsspeicher: unter etwa 1,5 GB bleiben, etwa Qwen3 0.6B, Gemma 3 1B, Llama 3.2 1B
Beste Ollama-Modelle für 4 GB VRAM?
Quantization & VRAM

Was in 4 GB VRAM passt

Auf einer 4-GB-GPU passen Modelle bis etwa 4 Milliarden Parameter bei 4-Bit-Quantisierung; maßgeblich ist die Ollama-Downloadgröße. Ein Modell braucht seine Dateigröße plus Platz für den Kontext-Cache (KV-Cache), der mit dem Gesprächsverlauf wächst. Als Faustregel sollte die Datei höchstens etwa 3 GB groß sein, damit das ganze Modell auf der GPU bleibt.

Phi-4 Mini und Qwen3 4B sind mit je 2,5 GB die größten Modelle der Tabelle, die diese Reserve lassen. Qwen3.5 2B ist die neueste Familie und verarbeitet neben Text auch Bilder. Gemma 3 1B und Qwen3 1.7B eignen sich für kleine Dateien mit langem Kontext. Die Dateigrößen stammen aus der Ollama-Modellbibliothek; die Geschwindigkeit hängt von Ihrer GPU ab, daher nennen wir keine Tokens-pro-Sekunde-Werte. Neuere Generationen ersetzen sie in dieser Größe nicht: Qwen3.6 beginnt bei 27B (17 GB), und kein Gemma-4-Download ist kleiner als 4,3 GB.

ModellOllama-TagDateigrößeHinweise
Phi-4 Miniphi4-mini2,5 GB3,8 Mrd. Parameter, 128K Kontext
Qwen3 4Bqwen3:4b2,5 GB4 Mrd. Parameter, Denkmodus
Llama 3.2 3Bllama3.2:3b2,0 GB3 Mrd. Parameter, Llama-Familie
Qwen3.5 2Bqwen3.5:2b-q4_K_M1,9 GBText- und Bildeingabe
Qwen3 1.7Bqwen3:1.7b1,4 GBLässt den Großteil des VRAM frei
Gemma 3 1Bgemma3:1b0,8 GBKleinste Option in dieser Tabelle

📍 In einem Satz

Mit 4 GB VRAM passen Phi-4 Mini (2,5 GB), Qwen3 4B (2,5 GB), Llama 3.2 3B (2,0 GB), Qwen3.5 2B (1,9 GB) und Gemma 3 1B (0,8 GB) in 4-Bit; Llama 3.1 8B (4,9 GB) passt nicht.

💬 In einfachen Worten

Hat Ihre GPU 4 GB, wählen Sie ein Modell mit etwa 3 GB Download oder weniger und beginnen Sie mit phi4-mini oder qwen3:4b. 8B-Modelle brauchen eine Karte mit 6 GB oder mehr.

Was nicht in 4 GB passt

Diese Modelle werden häufig angefragt, ihr Standard-Download bei Ollama liegt aber nahe an oder über 4 GB:

Eine 6-GB-Karte macht 8B-Modelle wie Llama 3.1 8B praktikabel. Siehe beste lokale LLMs für 6 GB VRAM. Für einen vollständigen Hardware-Vergleich siehe schnellste lokale LLMs für Low-End-PCs.

  • ▸Llama 3.1 8B (llama3.1:8b) — 4,9 GB Download, kein Platz mehr für den Kontext
  • ▸Gemma 4 E2B (gemma4:e2b-it-q4_K_M) — 4,6 GB Download trotz „2B“ im Namen
  • ▸Gemma 4 E4B (gemma4:e4b-it-q4_K_M) — 6,6 GB Download
  • ▸Qwen3.5 4B (qwen3.5:4b-q4_K_M) und Gemma 3 4B (gemma3:4b) — 3,3 und 3,4 GB; grenzwertig, ein langer Kontext verlagert Schichten in den Arbeitsspeicher

Welche Ollama-Modelle sind 4-Bit?

Die meisten Standard-Tags bei Ollama sind bereits 4-Bit: phi4-mini, qwen3:1.7b, gemma3:4b und llama3.1:8b haben denselben Datei-Hash wie der Eintrag q4_K_M, eine 4-Bit-Quantisierung. Die Bibliotheksseite nennt die Quantisierung beim Standard-Tag oft nicht; für Gewissheit laden Sie den Tag mit der Quantisierung im Namen, zum Beispiel ollama run qwen3:4b-q4_K_M.

Nicht jedes kleine Modell nutzt standardmäßig 4-Bit, und der Standard kann deutlich größer sein als die 4-Bit-Datei:

  • ▸gemma2:2b — Standard ist q4_0 (1,6 GB)
  • ▸smollm2:1.7b — Standard ist q8_0 (1,8 GB); die q4_K_M-Datei hat 1,1 GB
  • ▸qwen3.5:2b — Standard hat 2,7 GB; qwen3.5:2b-q4_K_M hat 1,9 GB
  • ▸llama3.2:1b — Standard entspricht q8_0 (1,3 GB)

Verwandte Leitfäden

Schnelle Antworten zu 4-GB-VRAM-Modellen

Reichen 4 GB VRAM für ein nützliches LLM?▾
Ja, für grundlegende Aufgaben. Ein Modell mit 2–4 Mrd. Parametern wie Phi-4 Mini oder Qwen3 4B bewältigt Q&A, kurze Zusammenfassungen und leichte Coding-Hilfe. Lange Dokumente, mehrstufige Agenten und große Kontexte werden vom Kontext-Cache begrenzt; 6 GB oder mehr sind komfortabler.
Welches Ollama-Modell hat 4-Bit-Quantisierung?▾
Die meisten. Standard-Tags wie phi4-mini und gemma3:4b haben denselben Hash wie der Eintrag q4_K_M (4-Bit). Einige Standards weichen ab: smollm2 ist q8_0, gemma2:2b ist q4_0. Laden Sie den Tag mit q4_K_M im Namen, um sicherzugehen.
Kann ich Llama 3 mit 4 GB VRAM ausführen?▾
Das 8B-Modell nicht: llama3.1:8b ist ein Download von 4,9 GB. Llama 3.2 3B passt mit 2,0 GB, wenn es unbedingt eine Llama-Variante sein soll. Siehe den vollständigen Leitfaden zum VRAM-Bedarf.
Welche GPU hat 4 GB VRAM?▾
RTX 3050 und 3050 Ti (Notebook-Versionen), GTX 1650 Super und AMD RX 6500 XT haben 4 GB. NVIDIA-Karten brauchen Compute Capability 5.0 oder höher. Die RX 6500 XT steht nicht auf Ollamas ROCm-Liste; prüfen Sie vor dem Kauf die Ollama-GPU-Dokumentation.
Kann der CPU-Modus das 4-GB-VRAM-Limit umgehen?▾
Teilweise. Ist ein Modell größer als der VRAM, teilt Ollama die Schichten zwischen GPU und Arbeitsspeicher auf; das läuft, aber langsamer. Ohne GPU läuft alles auf der CPU, und die Geschwindigkeit hängt von RAM und Prozessor ab.
Was läuft mit nur 4 GB Arbeitsspeicher?▾
Als Faustregel unter etwa 1,5 GB bleiben: qwen3:0.6b (0,5 GB), gemma3:1b (0,8 GB), llama3.2:1b (1,3 GB) oder qwen3:1.7b (1,4 GB). Betriebssystem und Ollama brauchen einen Teil der 4 GB, größere Modelle beginnen daher, auf die Festplatte auszulagern.
Was sind die Mindestanforderungen für Ollama?▾
Es gibt kein festes Minimum: Maßgeblich sind die Dateigröße des Modells plus der Kontext-Cache. Die kleinsten Modelle (Gemma 3 270M mit 0,3 GB, Qwen3 0.6B mit 0,5 GB) laufen auf fast jedem Rechner; Modelle mit 3–4 Mrd. Parametern brauchen etwa 3 GB freien VRAM oder RAM.
Passen Gemma 4 und Qwen3.5 in 4 GB?▾
Qwen3.5 0.8B und 2B passen bequem, die 4B-Version (q4_K_M, 3,3 GB) ist grenzwertig. Gemma 4 E2B passt nicht: Die q4_K_M-Datei hat 4,6 GB.
MCP