跳转到主要内容
PromptQuorum为人类设计。 为AI结构化。

Q4_K_M量化是什么?

作者 · PromptQuorum创始人 · 开放权重与开源AI发现引擎

Q4_K_M是llama.cpp的K-Quant格式,即中等(M)规模的4位量化。在Llama 3 8B上困惑度为6.41,低于Q4_0的6.70。

关键要点

  • ✓Q4_K_M = 采用K-Quant压缩的中等质量4位量化 — 困惑度低于Q4_0,文件略大
  • ✓Llama 3.1 8B的Q4_K_M磁盘文件为4.58 GiB;加上4k token的KV缓存(约0.5 GiB,计算值),在不含运行时开销的情况下约需5.1 GiB显存
  • ✓将Q4_K_M作为默认格式——在Llama 3 8B测试中,相对f16的困惑度增加不到3%,文件大小约为Q8_0的58%
Q4_K_M量化是什么?

快速回答

Q4_K_M表示使用K-Quant(K)压缩的4位量化,品质为中等(M)。这是大多数模型常用的默认选择:困惑度低于Q4_0,文件大小小于Q8_0。

  • ▸Q=量化,4=4位,K=K-Quant,M=中等
  • ▸困惑度低于Q4_0(Llama 3 8B上为6.41对6.70),文件大0.24 GiB
  • ▸将Q4_K_M作为默认量化格式使用
Quantization & VRAM

Q4_K_M中每个字母的含义

Q4_K_M之所以存在,是因为较早的4位格式Q4_0损失了不必要的质量。在Llama 3 8B上,llama.cpp的困惑度测试中Q4_K_M为6.41,Q4_0为6.70(越低越好;f16为6.23),文件大0.24 GiB(4.58对4.34 GiB)。来源:llama.cpp perplexity README。

“K”表示llama.cpp拉取请求#1684引入的k-quant系列。Q4_K_M混合了两种张量类型:attention.wv和feed_forward.w2张量的一半以及output.weight使用6位Q6_K,其余张量使用4位Q4_K。在Llama 3.1 8B上,平均每个权重为4.89位(llama.cpp quantize README),高于名义上的4位。

“M”是该系列内的大小变体。Q4_K_S(small)对所有张量使用Q4_K:在Llama 3.1 8B上为4.36 GiB,Q4_K_M为4.58 GiB,困惑度更高(Llama 3 8B、无重要性矩阵时为6.50对6.41)。再往上一级是Q5_K_M,为5.33 GiB。

K-quant以权重块为单位工作。Q4_K把32个权重组成一个块,8个块组成一个超级块,块的缩放因子和最小值用6位存储,合计每个权重4.5位(拉取请求#1684)。Q4_K_M因含有Q6_K张量而达到4.89位,所以其大小介于Q4_K_S(4.67)和Q5_K_M(5.70)之间。M等级不够用时,请参阅Q4_K_M vs Q8_0。

Q4_K_M与其他量化格式的比较

该表展示llama.cpp在Llama 3 8B上的困惑度测试(wikitext,无重要性矩阵;越低越好)。百分比是相对f16(6.2332)计算得出。Q4_K_M在4.58 GiB下困惑度增加不到3%,约为Q8_0文件大小的58%(计算值:4.58 / 7.96)。

关于Q4_K_M与Q8_0的直接比较,请参阅Q4_K_M vs Q8_0决策指南。完整的量化参考请查看量化级别比较。

格式大小,Llama 3 8B(GiB)困惑度(相对f16的变化)
Q4_04.346.70(+7.5%)
Q4_K_M4.586.41(+2.8%)
Q5_K_M5.336.29(+0.9%)
Q8_07.966.23(+0.02%)

关于量化的常见问题

Q4_K_M和Q4_0是一样的吗?▾
不是。在Llama 3 8B上,Q4_K_M的困惑度为6.41,Q4_0为6.70,文件大0.24 GiB(4.58对4.34 GiB;llama.cpp,无重要性矩阵)。请优先选择Q4_K_M而不是Q4_0。何时升级请参阅Q4_K_M vs Q8_0指南。
8 GB显存应该使用哪种量化?▾
8B模型选Q4_K_M:Llama 3.1 8B的文件为4.58 GiB,加上4k token的KV缓存约为5.1 GiB(计算值,不含运行时开销)。Q5_K_M为5.33 GiB,同样缓存下约5.8 GiB(计算值),并把Llama 3 8B相对f16的困惑度增幅从+2.8%降到+0.9%。在4k上下文下,两者在计入运行时开销之前都能放进8 GB;Q8_0(文件7.95 GiB)放不下。
Q4_K_M中的"M"代表什么?▾
Medium(中等)——k-quant系列内的大小变体。Q4_K_S(small)更小(Llama 3.1 8B上为4.36 GiB对4.58 GiB),困惑度更高;Q4_K_M(medium)是常用默认选项。llama.cpp的quantize工具没有Q4_K_L类型,再往上一级是Q5_K_M。
Ollama上哪些模型默认使用Q4_K_M?▾
有几个。Llama 3.1 8B、Qwen3 8B、Mistral 7B和Phi-4 mini在Ollama库中的默认标签,与名称含q4_K_M的某个标签共享同一摘要(digest)(Mistral 7B对应v0.3标签)(2026-11-06核对);库页面并未明确标注默认量化,其他模型可能不同,请查看该模型的标签列表。其他量化是单独的标签,名称因模型而异,例如llama3.1:8b-instruct-q5_K_M或llama3.1:8b-instruct-q8_0。
MCP