跳转到主要内容
PromptQuorum为人类设计。 为AI结构化。

Q4_K_M与Q8_0:该如何选择?

作者 · PromptQuorum创始人 · 开放权重与开源AI发现引擎

Q4_K_M与Q8_0是llama.cpp的量化格式。在Llama 3 8B上,Q8_0的困惑度(perplexity)与f16基本持平(+0.02%),Q4_K_M的困惑度比f16高2.8%,但文件仅4.58 GiB。

关键要点

  • ✓显存8 GB或更少:使用Q4_K_M——其8B文件为4.58 GiB,而Q8_0(7.95 GiB)加上KV缓存后就放不下了
  • ✓显存12 GB以上:想要接近f16的输出时Q8_0值得选,但速度更慢:llama.cpp quantize README中Llama 3.1 8B为50.93对71.93 tokens/秒
  • ✓对于大多数日常使用Ollama的用户,Q4_K_M是正确的选择
Q4_K_M与Q8_0:该如何选择?

快速回答

显存为8 GB或更少时使用Q4_K_M,12 GB以上时使用Q8_0。在Llama 3 8B上,Q4_K_M为4.58 GiB,Q8_0为7.96 GiB;Q8_0更接近完整精度。

  • ▸Q4_K_M:Llama 3.1 8B为4.58 GiB,含4k KV缓存约5.1 GiB(计算值)
  • ▸Q8_0:Llama 3.1 8B为7.95 GiB,含4k KV缓存约8.5 GiB(计算值)
  • ▸Llama 3 8B相对f16的困惑度:Q4_K_M +2.8%,Q8_0 +0.02%(llama.cpp,计算值)
Quantization & VRAM

快速结论

在Llama 3 8B上,按困惑度衡量Q8_0与f16几乎相同,而Q4_K_M略有上升。llama.cpp在wikitext上的困惑度测试中,f16为6.2332,Q8_0为6.2343,Q4_K_M(无重要性矩阵)为6.4071,即分别高出0.02%和2.8%(计算值;llama.cpp perplexity README)。困惑度是语言建模指标,不是任务基准,因此无法说明某个具体的聊天、编程或摘要任务会变化多少。

Q4_K_M是常用默认选项,因为Llama 3.1 8B的文件为4.58 GiB而非7.95 GiB,并且在该测试中仍接近f16。内存不是限制时选择Q8_0。我们没有自行测量任务质量;如果某项任务对你很重要,请用两种量化分别试一下。

如果用Q4_K_M时结果不理想,模型大小和提示词结构很可能是最先该检查的地方:llama.cpp实测的与f16的困惑度差距很小。

并排对比

该表使用llama.cpp quantize README中Llama 3.1 8B的文件大小、计算得出的KV缓存(32层、8个键值头、头维度128、f16下4,096个token为0.5 GiB),以及llama.cpp perplexity README中Llama 3 8B的困惑度。两种格式都可与Ollama、LM Studio和llama.cpp配合使用,无需特殊配置。

关于Q4_K_M的含义和k-quant压缩原理,请参阅Q4_K_M详解指南。完整量化参考请查看量化级别比较。

上述来源均未测试长文档回忆、多步数学或长代码生成,因此本页对这些场景不作断言。Q8_0的困惑度低于Q4_K_M,所以如果内存足够,按该指标它是风险更低的选择;对于小误差也很重要的任务,请两者都试一下。回顾请见Q4_K_M的含义。

指标Q4_K_MQ8_0
文件大小(Llama 3.1 8B)4.58 GiB7.95 GiB
含4k KV缓存的显存(计算值,不含运行时开销)约5.1 GiB约8.5 GiB
困惑度,Llama 3 8B(f16:6.23)6.41(+2.8%)6.23(+0.02%)
Tokens/秒,Llama 3.1 8B(README)71.9350.93
最适合6–8 GB显存12+ GB显存

关于Q4_K_M与Q8_0的常见问题

Q8_0明显优于Q4_K_M吗?▾
可能,但这些来源并未显示差异出现在哪里。Q8_0的量化误差更小:在Llama 3 8B上相对f16的困惑度为+0.02%,而Q4_K_M为+2.8%(llama.cpp,计算值)。困惑度并不直接衡量聊天、编程或摘要的质量,请在自己的任务上试用两者。
Q8_0比Q4_K_M快吗?▾
不。Q8_0更大,每个token需要更多内存带宽。llama.cpp quantize README给出Llama 3.1 8B上Q4_K_M为71.93 tokens/秒,Q8_0为50.93 tokens/秒(速度取决于硬件)。根本原因请见Q4_K_M的含义。
我能在不同任务间切换Q4_K_M和Q8_0吗?▾
只能通过拉取和运行不同的模型标签来实现。在Ollama中:ollama pull llama3:8b-instruct-q4_K_M和ollama pull llama3:8b-instruct-q8_0是独立的下载。通过在ollama run中指定标签来切换。
Q4_K_S怎么样——值得用它代替Q4_K_M吗?▾
Q4_K_S比Q4_K_M小0.22 GiB(Llama 3.1 8B上为4.36对4.58 GiB),困惑度更高(Llama 3 8B、无重要性矩阵时为6.50对6.41)。只有在Q4_K_M放不下时才使用Q4_K_S;否则Q4_K_M是更好的选择。
MCP