Zum Hauptinhalt springen
PromptQuorumFür Menschen gemacht. Strukturiert für KI.

Was ist Q4_K_M-Quantisierung?

Von · Gründer von PromptQuorum · Entdeckungsplattform für Open-Weight- und Open-Source-KI

Q4_K_M ist ein k-Quant-Format von llama.cpp: 4-Bit-Quantisierung mit einer mittelgroßen Mischung aus Tensortypen. Bei Llama 3 8B erreicht es eine Perplexität von 6,41 gegenüber 6,70 bei Q4_0, bei einer um 0,24 GiB größeren Datei.

Wichtigste Erkenntnisse

  • ✓Q4_K_M = 4-Bit-Quantisierung mit K-Quant-Kompression auf mittlerem Qualitätsniveau — niedrigere Perplexität als Q4_0 bei etwas größerer Datei
  • ✓Llama 3.1 8B bei Q4_K_M ist 4,58 GiB groß; mit 4k-Token-KV-Cache (etwa 0,5 GiB, berechnet) braucht es etwa 5,1 GiB VRAM vor Laufzeit-Overhead
  • ✓Verwenden Sie Q4_K_M als Standard — im Llama-3-8B-Test erhöht es die Perplexität gegenüber f16 um unter 3 % bei etwa 58 % der Dateigröße von Q8_0
Was ist Q4_K_M-Quantisierung?

Schnelle Antwort

Q4_K_M = 4-Bit-Quantisierung mit K-Quant-Kompression auf mittlerem Qualitätsniveau. Niedrigere Perplexität als Q4_0, kleiner als Q8_0. Verwenden Sie es als Standard.

  • ▸Q = quantisiert, 4 = 4 Bit, K = K-Quant, M = mittel
  • ▸Niedrigere Perplexität als Q4_0 (6,41 vs. 6,70 bei Llama 3 8B) bei einer um 0,24 GiB größeren Datei
  • ▸Q4_K_M als Standard-Quantisierung verwenden
Quantization & VRAM

Was jeder Buchstabe in Q4_K_M bedeutet

Q4_K_M existiert, weil das ältere 4-Bit-Format Q4_0 mehr Qualität verliert als nötig. Bei Llama 3 8B ergibt der Perplexitätstest von llama.cpp 6,41 für Q4_K_M und 6,70 für Q4_0 (niedriger ist besser; f16 liegt bei 6,23), bei einer um 0,24 GiB größeren Datei (4,58 vs. 4,34 GiB). Quelle: llama.cpp-Perplexity-README.

Das "K" steht für die K-Quant-Familie aus llama.cpp Pull Request #1684. Q4_K_M mischt zwei Tensor-Typen: 6-Bit-Q6_K für die Hälfte der Tensoren attention.wv und feed_forward.w2 sowie für output.weight und 4-Bit-Q4_K für die übrigen Tensoren. Bei Llama 3.1 8B ergibt das im Mittel 4,89 Bit pro Gewicht (llama.cpp-Quantize-README), also mehr als nominell 4.

Das "M" ist die Größenvariante innerhalb der Familie. Q4_K_S (small) nutzt Q4_K für jeden Tensor: 4,36 GiB gegenüber 4,58 GiB bei Q4_K_M (Llama 3.1 8B), mit höherer Perplexität (6,50 vs. 6,41 bei Llama 3 8B ohne Importance-Matrix). Q5_K_M ist die nächste Stufe mit 5,33 GiB.

K-Quant arbeitet mit Blöcken von Gewichten. Q4_K fasst 32 Gewichte zu einem Block und 8 Blöcke zu einem Super-Block zusammen und speichert Block-Skalen und -Minima mit 6 Bit, das sind 4,5 Bit pro Gewicht (Pull Request #1684). Q4_K_M liegt wegen seiner Q6_K-Tensoren bei 4,89 und damit in der Größe zwischen Q4_K_S (4,67) und Q5_K_M (5,70). Wenn die M-Stufe nicht reicht, siehe Q4_K_M vs. Q8_0.

Wie Q4_K_M im Vergleich zu anderen Quantisierungen abschneidet

Die Tabelle zeigt den Perplexitätstest von llama.cpp für Llama 3 8B (wikitext, ohne Importance-Matrix; niedriger ist besser). Die Prozentwerte sind gegenüber f16 (6,2332) berechnet. Q4_K_M erhöht die Perplexität um unter 3 % bei 4,58 GiB, etwa 58 % der Dateigröße von Q8_0 (berechnet: 4,58 / 7,96).

Für einen direkten Vergleich von Q4_K_M vs. Q8_0, siehe den Q4_K_M vs. Q8_0 Entscheidungsleitfaden. Für die vollständige Quantisierungsreferenz, siehe den Quantisierungsstufen-Vergleich.

FormatGröße, Llama 3 8B (GiB)Perplexität (Änderung vs. f16)
Q4_04,346,70 (+7,5 %)
Q4_K_M4,586,41 (+2,8 %)
Q5_K_M5,336,29 (+0,9 %)
Q8_07,966,23 (+0,02 %)

Schnelle Antworten zur Quantisierung

Ist Q4_K_M dasselbe wie Q4_0?▾
Nein. Bei Llama 3 8B erreicht Q4_K_M eine Perplexität von 6,41 gegenüber 6,70 bei Q4_0, bei einer um 0,24 GiB größeren Datei (4,58 vs. 4,34 GiB; llama.cpp, ohne Importance-Matrix). Bevorzugen Sie Q4_K_M gegenüber Q4_0. Siehe den Q4_K_M vs. Q8_0 Leitfaden, wenn Sie höher gehen wollen.
Welche Quantisierung sollte ich für 8 GB VRAM verwenden?▾
Q4_K_M für 8B-Modelle: Die Datei von Llama 3.1 8B ist 4,58 GiB groß, mit 4k-Token-KV-Cache etwa 5,1 GiB (berechnet, vor Laufzeit-Overhead). Q5_K_M ist 5,33 GiB groß, mit demselben Cache etwa 5,8 GiB (berechnet), und senkt den Perplexitätsanstieg gegenüber f16 bei Llama 3 8B von +2,8 % auf +0,9 %. Bei 4k Kontext passen beide vor dem Laufzeit-Overhead in 8 GB; Q8_0 (7,95-GiB-Datei) nicht.
Wofür steht das "M" in Q4_K_M?▾
Medium (mittel) — die Größenvariante innerhalb der K-Quant-Familie. Q4_K_S (small) ist kleiner (4,36 GiB vs. 4,58 GiB bei Llama 3.1 8B) mit höherer Perplexität, Q4_K_M (medium) ist der übliche Standard. Das Quantize-Tool von llama.cpp hat keinen Typ Q4_K_L; die nächste Stufe ist Q5_K_M.
Welche Modelle auf Ollama verwenden standardmäßig Q4_K_M?▾
Mehrere. Bei Llama 3.1 8B, Qwen3 8B, Mistral 7B und Phi-4 mini hat der Standard-Tag in der Ollama-Bibliothek denselben Digest wie ein Tag mit q4_K_M im Namen (bei Mistral 7B: der v0.3-Tag) (geprüft am 2026-11-06); die Bibliotheksseiten nennen die Standard-Quantisierung nicht ausdrücklich, und andere Modelle können abweichen, prüfen Sie daher die Tag-Liste des Modells. Andere Quantisierungen sind eigene Tags, deren Namen je nach Modell variieren, zum Beispiel llama3.1:8b-instruct-q5_K_M oder llama3.1:8b-instruct-q8_0.
MCP