Q4_K_M与Q8_0:该如何选择?
Hans Kuepper 作者 · PromptQuorum创始人 · 开放权重与开源AI发现引擎
Q4_K_M与Q8_0是llama.cpp的量化格式。在Llama 3 8B上,Q8_0的困惑度(perplexity)与f16基本持平(+0.02%),Q4_K_M的困惑度比f16高2.8%,但文件仅4.58 GiB。
关键要点
- ✓显存8 GB或更少:使用Q4_K_M——其8B文件为4.58 GiB,而Q8_0(7.95 GiB)加上KV缓存后就放不下了
- ✓显存12 GB以上:想要接近f16的输出时Q8_0值得选,但速度更慢:llama.cpp quantize README中Llama 3.1 8B为50.93对71.93 tokens/秒
- ✓对于大多数日常使用Ollama的用户,Q4_K_M是正确的选择

快速回答
显存为8 GB或更少时使用Q4_K_M,12 GB以上时使用Q8_0。在Llama 3 8B上,Q4_K_M为4.58 GiB,Q8_0为7.96 GiB;Q8_0更接近完整精度。
- ▸Q4_K_M:Llama 3.1 8B为4.58 GiB,含4k KV缓存约5.1 GiB(计算值)
- ▸Q8_0:Llama 3.1 8B为7.95 GiB,含4k KV缓存约8.5 GiB(计算值)
- ▸Llama 3 8B相对f16的困惑度:Q4_K_M +2.8%,Q8_0 +0.02%(llama.cpp,计算值)
快速结论
在Llama 3 8B上,按困惑度衡量Q8_0与f16几乎相同,而Q4_K_M略有上升。llama.cpp在wikitext上的困惑度测试中,f16为6.2332,Q8_0为6.2343,Q4_K_M(无重要性矩阵)为6.4071,即分别高出0.02%和2.8%(计算值;llama.cpp perplexity README)。困惑度是语言建模指标,不是任务基准,因此无法说明某个具体的聊天、编程或摘要任务会变化多少。
Q4_K_M是常用默认选项,因为Llama 3.1 8B的文件为4.58 GiB而非7.95 GiB,并且在该测试中仍接近f16。内存不是限制时选择Q8_0。我们没有自行测量任务质量;如果某项任务对你很重要,请用两种量化分别试一下。
如果用Q4_K_M时结果不理想,模型大小和提示词结构很可能是最先该检查的地方:llama.cpp实测的与f16的困惑度差距很小。
并排对比
该表使用llama.cpp quantize README中Llama 3.1 8B的文件大小、计算得出的KV缓存(32层、8个键值头、头维度128、f16下4,096个token为0.5 GiB),以及llama.cpp perplexity README中Llama 3 8B的困惑度。两种格式都可与Ollama、LM Studio和llama.cpp配合使用,无需特殊配置。
关于Q4_K_M的含义和k-quant压缩原理,请参阅Q4_K_M详解指南。完整量化参考请查看量化级别比较。
上述来源均未测试长文档回忆、多步数学或长代码生成,因此本页对这些场景不作断言。Q8_0的困惑度低于Q4_K_M,所以如果内存足够,按该指标它是风险更低的选择;对于小误差也很重要的任务,请两者都试一下。回顾请见Q4_K_M的含义。
| 指标 | Q4_K_M | Q8_0 |
|---|---|---|
| 文件大小(Llama 3.1 8B) | 4.58 GiB | 7.95 GiB |
| 含4k KV缓存的显存(计算值,不含运行时开销) | 约5.1 GiB | 约8.5 GiB |
| 困惑度,Llama 3 8B(f16:6.23) | 6.41(+2.8%) | 6.23(+0.02%) |
| Tokens/秒,Llama 3.1 8B(README) | 71.93 | 50.93 |
| 最适合 | 6–8 GB显存 | 12+ GB显存 |
关于Q4_K_M与Q8_0的常见问题
Q8_0明显优于Q4_K_M吗?▾
Q8_0比Q4_K_M快吗?▾
我能在不同任务间切换Q4_K_M和Q8_0吗?▾
ollama pull llama3:8b-instruct-q4_K_M和ollama pull llama3:8b-instruct-q8_0是独立的下载。通过在ollama run中指定标签来切换。