Q4_K_M量化是什么?
Hans Kuepper 作者 · PromptQuorum创始人 · 开放权重与开源AI发现引擎
Q4_K_M是llama.cpp的K-Quant格式,即中等(M)规模的4位量化。在Llama 3 8B上困惑度为6.41,低于Q4_0的6.70。
关键要点
- ✓Q4_K_M = 采用K-Quant压缩的中等质量4位量化 — 困惑度低于Q4_0,文件略大
- ✓Llama 3.1 8B的Q4_K_M磁盘文件为4.58 GiB;加上4k token的KV缓存(约0.5 GiB,计算值),在不含运行时开销的情况下约需5.1 GiB显存
- ✓将Q4_K_M作为默认格式——在Llama 3 8B测试中,相对f16的困惑度增加不到3%,文件大小约为Q8_0的58%

快速回答
Q4_K_M表示使用K-Quant(K)压缩的4位量化,品质为中等(M)。这是大多数模型常用的默认选择:困惑度低于Q4_0,文件大小小于Q8_0。
- ▸Q=量化,4=4位,K=K-Quant,M=中等
- ▸困惑度低于Q4_0(Llama 3 8B上为6.41对6.70),文件大0.24 GiB
- ▸将Q4_K_M作为默认量化格式使用
Q4_K_M中每个字母的含义
Q4_K_M之所以存在,是因为较早的4位格式Q4_0损失了不必要的质量。在Llama 3 8B上,llama.cpp的困惑度测试中Q4_K_M为6.41,Q4_0为6.70(越低越好;f16为6.23),文件大0.24 GiB(4.58对4.34 GiB)。来源:llama.cpp perplexity README。
“K”表示llama.cpp拉取请求#1684引入的k-quant系列。Q4_K_M混合了两种张量类型:attention.wv和feed_forward.w2张量的一半以及output.weight使用6位Q6_K,其余张量使用4位Q4_K。在Llama 3.1 8B上,平均每个权重为4.89位(llama.cpp quantize README),高于名义上的4位。
“M”是该系列内的大小变体。Q4_K_S(small)对所有张量使用Q4_K:在Llama 3.1 8B上为4.36 GiB,Q4_K_M为4.58 GiB,困惑度更高(Llama 3 8B、无重要性矩阵时为6.50对6.41)。再往上一级是Q5_K_M,为5.33 GiB。
K-quant以权重块为单位工作。Q4_K把32个权重组成一个块,8个块组成一个超级块,块的缩放因子和最小值用6位存储,合计每个权重4.5位(拉取请求#1684)。Q4_K_M因含有Q6_K张量而达到4.89位,所以其大小介于Q4_K_S(4.67)和Q5_K_M(5.70)之间。M等级不够用时,请参阅Q4_K_M vs Q8_0。
Q4_K_M与其他量化格式的比较
该表展示llama.cpp在Llama 3 8B上的困惑度测试(wikitext,无重要性矩阵;越低越好)。百分比是相对f16(6.2332)计算得出。Q4_K_M在4.58 GiB下困惑度增加不到3%,约为Q8_0文件大小的58%(计算值:4.58 / 7.96)。
关于Q4_K_M与Q8_0的直接比较,请参阅Q4_K_M vs Q8_0决策指南。完整的量化参考请查看量化级别比较。
| 格式 | 大小,Llama 3 8B(GiB) | 困惑度(相对f16的变化) |
|---|---|---|
| Q4_0 | 4.34 | 6.70(+7.5%) |
| Q4_K_M | 4.58 | 6.41(+2.8%) |
| Q5_K_M | 5.33 | 6.29(+0.9%) |
| Q8_0 | 7.96 | 6.23(+0.02%) |
关于量化的常见问题
Q4_K_M和Q4_0是一样的吗?▾
8 GB显存应该使用哪种量化?▾
Q4_K_M中的"M"代表什么?▾
Ollama上哪些模型默认使用Q4_K_M?▾
llama3.1:8b-instruct-q5_K_M或llama3.1:8b-instruct-q8_0。