Was ist Q4_K_M-Quantisierung?
Von Hans Kuepper · Gründer von PromptQuorum · Entdeckungsplattform für Open-Weight- und Open-Source-KI
Q4_K_M ist ein k-Quant-Format von llama.cpp: 4-Bit-Quantisierung mit einer mittelgroßen Mischung aus Tensortypen. Bei Llama 3 8B erreicht es eine Perplexität von 6,41 gegenüber 6,70 bei Q4_0, bei einer um 0,24 GiB größeren Datei.
Wichtigste Erkenntnisse
- ✓Q4_K_M = 4-Bit-Quantisierung mit K-Quant-Kompression auf mittlerem Qualitätsniveau — niedrigere Perplexität als Q4_0 bei etwas größerer Datei
- ✓Llama 3.1 8B bei Q4_K_M ist 4,58 GiB groß; mit 4k-Token-KV-Cache (etwa 0,5 GiB, berechnet) braucht es etwa 5,1 GiB VRAM vor Laufzeit-Overhead
- ✓Verwenden Sie Q4_K_M als Standard — im Llama-3-8B-Test erhöht es die Perplexität gegenüber f16 um unter 3 % bei etwa 58 % der Dateigröße von Q8_0

Schnelle Antwort
Q4_K_M = 4-Bit-Quantisierung mit K-Quant-Kompression auf mittlerem Qualitätsniveau. Niedrigere Perplexität als Q4_0, kleiner als Q8_0. Verwenden Sie es als Standard.
- ▸Q = quantisiert, 4 = 4 Bit, K = K-Quant, M = mittel
- ▸Niedrigere Perplexität als Q4_0 (6,41 vs. 6,70 bei Llama 3 8B) bei einer um 0,24 GiB größeren Datei
- ▸Q4_K_M als Standard-Quantisierung verwenden
Was jeder Buchstabe in Q4_K_M bedeutet
Q4_K_M existiert, weil das ältere 4-Bit-Format Q4_0 mehr Qualität verliert als nötig. Bei Llama 3 8B ergibt der Perplexitätstest von llama.cpp 6,41 für Q4_K_M und 6,70 für Q4_0 (niedriger ist besser; f16 liegt bei 6,23), bei einer um 0,24 GiB größeren Datei (4,58 vs. 4,34 GiB). Quelle: llama.cpp-Perplexity-README.
Das "K" steht für die K-Quant-Familie aus llama.cpp Pull Request #1684. Q4_K_M mischt zwei Tensor-Typen: 6-Bit-Q6_K für die Hälfte der Tensoren attention.wv und feed_forward.w2 sowie für output.weight und 4-Bit-Q4_K für die übrigen Tensoren. Bei Llama 3.1 8B ergibt das im Mittel 4,89 Bit pro Gewicht (llama.cpp-Quantize-README), also mehr als nominell 4.
Das "M" ist die Größenvariante innerhalb der Familie. Q4_K_S (small) nutzt Q4_K für jeden Tensor: 4,36 GiB gegenüber 4,58 GiB bei Q4_K_M (Llama 3.1 8B), mit höherer Perplexität (6,50 vs. 6,41 bei Llama 3 8B ohne Importance-Matrix). Q5_K_M ist die nächste Stufe mit 5,33 GiB.
K-Quant arbeitet mit Blöcken von Gewichten. Q4_K fasst 32 Gewichte zu einem Block und 8 Blöcke zu einem Super-Block zusammen und speichert Block-Skalen und -Minima mit 6 Bit, das sind 4,5 Bit pro Gewicht (Pull Request #1684). Q4_K_M liegt wegen seiner Q6_K-Tensoren bei 4,89 und damit in der Größe zwischen Q4_K_S (4,67) und Q5_K_M (5,70). Wenn die M-Stufe nicht reicht, siehe Q4_K_M vs. Q8_0.
Wie Q4_K_M im Vergleich zu anderen Quantisierungen abschneidet
Die Tabelle zeigt den Perplexitätstest von llama.cpp für Llama 3 8B (wikitext, ohne Importance-Matrix; niedriger ist besser). Die Prozentwerte sind gegenüber f16 (6,2332) berechnet. Q4_K_M erhöht die Perplexität um unter 3 % bei 4,58 GiB, etwa 58 % der Dateigröße von Q8_0 (berechnet: 4,58 / 7,96).
Für einen direkten Vergleich von Q4_K_M vs. Q8_0, siehe den Q4_K_M vs. Q8_0 Entscheidungsleitfaden. Für die vollständige Quantisierungsreferenz, siehe den Quantisierungsstufen-Vergleich.
| Format | Größe, Llama 3 8B (GiB) | Perplexität (Änderung vs. f16) |
|---|---|---|
| Q4_0 | 4,34 | 6,70 (+7,5 %) |
| Q4_K_M | 4,58 | 6,41 (+2,8 %) |
| Q5_K_M | 5,33 | 6,29 (+0,9 %) |
| Q8_0 | 7,96 | 6,23 (+0,02 %) |
Schnelle Antworten zur Quantisierung
Ist Q4_K_M dasselbe wie Q4_0?▾
Welche Quantisierung sollte ich für 8 GB VRAM verwenden?▾
Wofür steht das "M" in Q4_K_M?▾
Welche Modelle auf Ollama verwenden standardmäßig Q4_K_M?▾
llama3.1:8b-instruct-q5_K_M oder llama3.1:8b-instruct-q8_0.