Q4_K_M vs. Q8_0: Was sollten Sie wählen?
Von Hans Kuepper · Gründer von PromptQuorum · Entdeckungsplattform für Open-Weight- und Open-Source-KI
Q4_K_M und Q8_0 sind zwei Quantisierungsformate von llama.cpp: Bei Llama 3 8B liegt Q8_0 bei der Perplexity auf dem Niveau von f16 (+0,02 %), Q4_K_M liegt +2,8 % darüber, braucht aber nur eine 4,58-GiB-Datei statt 7,96 GiB (Llama 3.1 8B: 7,95 GiB).
Wichtigste Erkenntnisse
- ✓Bis 8 GB VRAM: Q4_K_M (4,58 GiB); Q8_0 (7,95 GiB) passt mit KV-Cache nicht mehr
- ✓12+ GB VRAM: Q8_0 lohnt sich für nahezu f16-nahe Ausgaben, ist aber langsamer: 50,93 gegenüber 71,93 Tokens/s bei Llama 3.1 8B laut llama.cpp-Quantize-README
- ✓Für die meisten Benutzer, die Ollama täglich nutzen, ist Q4_K_M die richtige Wahl

Schnelle Antwort
Verwenden Sie Q4_K_M bei 8 GB VRAM oder weniger und Q8_0 bei 12+ GB. Bei Llama 3 8B ist Q4_K_M 4,58 GiB und Q8_0 7,96 GiB groß; Q8_0 bleibt näher an der vollen Präzision.
- ▸Q4_K_M: 4,58 GiB für Llama 3.1 8B, etwa 5,1 GiB mit 4k-KV-Cache (berechnet)
- ▸Q8_0: 7,95 GiB für Llama 3.1 8B, etwa 8,5 GiB mit 4k-KV-Cache (berechnet)
- ▸Perplexität vs. f16 bei Llama 3 8B: Q4_K_M +2,8 %, Q8_0 +0,02 % (llama.cpp, berechnet)
Das schnelle Fazit
Bei Llama 3 8B ist Q8_0 laut Perplexität praktisch identisch mit f16, Q4_K_M erhöht sie leicht. Der Perplexitätstest von llama.cpp auf wikitext ergibt 6,2332 für f16, 6,2343 für Q8_0 und 6,4071 für Q4_K_M ohne Importance-Matrix: +0,02 % bzw. +2,8 % (berechnet; llama.cpp-Perplexity-README). Perplexität ist ein Sprachmodell-Maß, kein Aufgaben-Benchmark; sie zeigt daher nicht, wie stark sich eine bestimmte Chat-, Coding- oder Zusammenfassungsaufgabe ändert.
Q4_K_M ist der übliche Standard, weil die Datei von Llama 3.1 8B nur 4,58 statt 7,95 GiB groß ist und in diesem Test nah an f16 bleibt. Wählen Sie Q8_0, wenn Speicher nicht der Engpass ist. Wir haben die Aufgabenqualität nicht selbst gemessen; wenn eine Aufgabe für Sie wichtig ist, testen Sie beide Quantisierungen damit.
Wenn Ihre Ergebnisse mit Q4_K_M schlecht wirken, sind Modellgröße und Prompt-Struktur ein naheliegender erster Prüfpunkt: Die von llama.cpp gemessene Perplexitätslücke zu f16 ist klein.
Direkter Vergleich
Die Tabelle nutzt Dateigrößen von Llama 3.1 8B aus dem llama.cpp-Quantize-README, einen berechneten KV-Cache (32 Schichten, 8 Key-Value-Köpfe, Kopfdimension 128, f16: 0,5 GiB für 4.096 Tokens) und die Perplexität von Llama 3 8B aus dem llama.cpp-Perplexity-README. Beide Formate funktionieren mit Ollama, LM Studio und llama.cpp ohne spezielle Konfiguration.
Für Kontext zu Q4_K_M und K-Quant-Kompression, siehe den Q4_K_M Erklärungsleitfaden. Für die vollständige Quantisierungsreferenz, siehe Quantisierungsstufen verglichen.
Keine der obigen Quellen testet Abruf aus langen Dokumenten, mehrstufige Mathematik oder lange Code-Generierung; diese Seite trifft dazu daher keine Aussage. Q8_0 hat eine niedrigere Perplexität als Q4_K_M; wenn Sie den Speicher haben, ist es nach diesem Maß die risikoärmere Wahl. Testen Sie bei Aufgaben, in denen kleine Fehler zählen, beide. Zur Auffrischung siehe was Q4_K_M bedeutet.
| Metrik | Q4_K_M | Q8_0 |
|---|---|---|
| Dateigröße (Llama 3.1 8B) | 4,58 GiB | 7,95 GiB |
| VRAM mit 4k-KV-Cache (berechnet, ohne Laufzeit-Overhead) | ~5,1 GiB | ~8,5 GiB |
| Perplexität, Llama 3 8B (f16: 6,23) | 6,41 (+2,8 %) | 6,23 (+0,02 %) |
| Tokens/s, Llama 3.1 8B (README) | 71,93 | 50,93 |
| Am besten für | 6–8 GB VRAM | 12+ GB VRAM |
Schnelle Antworten zu Q4_K_M vs. Q8_0
Ist Q8_0 merklich besser als Q4_K_M?▾
Ist Q8_0 schneller als Q4_K_M?▾
Kann ich für verschiedene Aufgaben zwischen Q4_K_M und Q8_0 wechseln?▾
ollama pull llama3:8b-instruct-q4_K_M und ollama pull llama3:8b-instruct-q8_0 sind separate Downloads. Sie wechseln, indem Sie den Tag in ollama run angeben.