Q4_K_M vs Q8_0:どちらを選ぶべきですか?
Hans Kuepper 著 · PromptQuorum創設者 · オープンウェイト/オープンソースAIの発見エンジン
Q4_K_MとQ8_0はllama.cppの量子化形式です。Llama 3 8Bでは、Q8_0のパープレキシティはf16とほぼ同じ(+0.02%)、Q4_K_Mは+2.8%で、ファイルは4.58 GiBです。
重要なポイント
- ✓VRAM 8 GB以下:Q4_K_Mを使用 — 8Bファイルは4.58 GiBで、Q8_0(7.95 GiB)はKVキャッシュを加えると収まりません
- ✓VRAM 12 GB以上:f16に近い出力が必要ならQ8_0に価値がありますが、速度は遅くなります。llama.cppのquantize READMEではLlama 3.1 8Bで50.93対71.93 tokens/sです
- ✓Ollamaを毎日使用するほとんどのユーザーにとって、Q4_K_Mが正しい選択です

クイック回答
VRAMが8 GB以下ならQ4_K_M、12 GB以上ならQ8_0を使用してください。Llama 3 8BではQ4_K_Mが4.58 GiB、Q8_0が7.96 GiBで、Q8_0のほうが完全精度に近い結果になります。
- ▸Q4_K_M:Llama 3.1 8Bで4.58 GiB、4k KVキャッシュ込みで約5.1 GiB(計算値)
- ▸Q8_0:Llama 3.1 8Bで7.95 GiB、4k KVキャッシュ込みで約8.5 GiB(計算値)
- ▸Llama 3 8Bのf16比パープレキシティ:Q4_K_M +2.8%、Q8_0 +0.02%(llama.cpp、計算値)
簡潔な結論
Llama 3 8Bでは、パープレキシティ上Q8_0はf16とほぼ同一で、Q4_K_Mはわずかに増加します。llama.cppのwikitextパープレキシティテストでは、f16が6.2332、Q8_0が6.2343、Q4_K_M(重要度行列なし)が6.4071で、それぞれ+0.02%と+2.8%です(計算値、llama.cpp perplexity README)。パープレキシティは言語モデリングの指標でありタスクのベンチマークではないため、特定のチャット・コーディング・要約タスクがどれだけ変わるかは示しません。
Q4_K_Mが標準的なデフォルトなのは、Llama 3.1 8Bのファイルが7.95 GiBではなく4.58 GiBで済み、このテストでf16に近い値を保つためです。メモリが制約でない場合はQ8_0を選んでください。当サイトではタスク品質を自前で測定していません。重要なタスクがある場合は、両方の量子化で試してください。
Q4_K_Mで結果がおかしいと感じる場合は、まずモデルサイズとプロンプト構造を確認するのが有力です。llama.cppが測定したf16とのパープレキシティ差は小さいです。
並列比較
この表は、llama.cpp quantize READMEのLlama 3.1 8Bのファイルサイズ、計算によるKVキャッシュ(32層、キー・バリューヘッド8、ヘッド次元128、f16で4,096トークンあたり0.5 GiB)、llama.cpp perplexity READMEのLlama 3 8Bのパープレキシティを使用しています。両フォーマットは特別な設定なしにOllama、LM Studio、llama.cppで動作します。
Q4_K_Mとk-quant圧縮について理解するには、Q4_K_M解説ガイドを参照してください。完全な量子化リファレンスは量子化レベル比較を参照してください。
上記の出典のいずれも、長文書の想起、複数ステップの数学、長いコード生成を検証していないため、本ページはそれらについて主張しません。Q8_0はQ4_K_Mよりパープレキシティが低いため、メモリに余裕があるならその指標ではリスクの低い選択です。小さな誤差が重要なタスクでは、両方を試してください。おさらいはQ4_K_Mの意味を参照してください。
| 指標 | Q4_K_M | Q8_0 |
|---|---|---|
| ファイルサイズ(Llama 3.1 8B) | 4.58 GiB | 7.95 GiB |
| 4k KVキャッシュ込みVRAM(計算値、実行時オーバーヘッド除く) | 約5.1 GiB | 約8.5 GiB |
| パープレキシティ、Llama 3 8B(f16:6.23) | 6.41(+2.8%) | 6.23(+0.02%) |
| Tokens/s、Llama 3.1 8B(README) | 71.93 | 50.93 |
| 最適な対象 | 6–8 GB VRAM | 12+ GB VRAM |
Q4_K_M vs Q8_0に関するよくある質問
Q8_0はQ4_K_Mより明らかに優れていますか?▾
Q8_0はQ4_K_Mより速いですか?▾
異なるタスクでQ4_K_MとQ8_0を切り替えられますか?▾
ollama pull llama3:8b-instruct-q4_K_Mとollama pull llama3:8b-instruct-q8_0は別々のダウンロードです。ollama runでタグを指定して切り替えます。