メインコンテンツへスキップ
PromptQuorum人のために設計。 AI向けに構造化。

Q4_K_M vs Q8_0:どちらを選ぶべきですか?

著 · PromptQuorum創設者 · オープンウェイト/オープンソースAIの発見エンジン

Q4_K_MとQ8_0はllama.cppの量子化形式です。Llama 3 8Bでは、Q8_0のパープレキシティはf16とほぼ同じ(+0.02%)、Q4_K_Mは+2.8%で、ファイルは4.58 GiBです。

重要なポイント

  • ✓VRAM 8 GB以下:Q4_K_Mを使用 — 8Bファイルは4.58 GiBで、Q8_0(7.95 GiB)はKVキャッシュを加えると収まりません
  • ✓VRAM 12 GB以上:f16に近い出力が必要ならQ8_0に価値がありますが、速度は遅くなります。llama.cppのquantize READMEではLlama 3.1 8Bで50.93対71.93 tokens/sです
  • ✓Ollamaを毎日使用するほとんどのユーザーにとって、Q4_K_Mが正しい選択です
Q4_K_M vs Q8_0:どちらを選ぶべきですか?

クイック回答

VRAMが8 GB以下ならQ4_K_M、12 GB以上ならQ8_0を使用してください。Llama 3 8BではQ4_K_Mが4.58 GiB、Q8_0が7.96 GiBで、Q8_0のほうが完全精度に近い結果になります。

  • ▸Q4_K_M:Llama 3.1 8Bで4.58 GiB、4k KVキャッシュ込みで約5.1 GiB(計算値)
  • ▸Q8_0:Llama 3.1 8Bで7.95 GiB、4k KVキャッシュ込みで約8.5 GiB(計算値)
  • ▸Llama 3 8Bのf16比パープレキシティ:Q4_K_M +2.8%、Q8_0 +0.02%(llama.cpp、計算値)
Quantization & VRAM

簡潔な結論

Llama 3 8Bでは、パープレキシティ上Q8_0はf16とほぼ同一で、Q4_K_Mはわずかに増加します。llama.cppのwikitextパープレキシティテストでは、f16が6.2332、Q8_0が6.2343、Q4_K_M(重要度行列なし)が6.4071で、それぞれ+0.02%と+2.8%です(計算値、llama.cpp perplexity README)。パープレキシティは言語モデリングの指標でありタスクのベンチマークではないため、特定のチャット・コーディング・要約タスクがどれだけ変わるかは示しません。

Q4_K_Mが標準的なデフォルトなのは、Llama 3.1 8Bのファイルが7.95 GiBではなく4.58 GiBで済み、このテストでf16に近い値を保つためです。メモリが制約でない場合はQ8_0を選んでください。当サイトではタスク品質を自前で測定していません。重要なタスクがある場合は、両方の量子化で試してください。

Q4_K_Mで結果がおかしいと感じる場合は、まずモデルサイズとプロンプト構造を確認するのが有力です。llama.cppが測定したf16とのパープレキシティ差は小さいです。

並列比較

この表は、llama.cpp quantize READMEのLlama 3.1 8Bのファイルサイズ、計算によるKVキャッシュ(32層、キー・バリューヘッド8、ヘッド次元128、f16で4,096トークンあたり0.5 GiB)、llama.cpp perplexity READMEのLlama 3 8Bのパープレキシティを使用しています。両フォーマットは特別な設定なしにOllama、LM Studio、llama.cppで動作します。

Q4_K_Mとk-quant圧縮について理解するには、Q4_K_M解説ガイドを参照してください。完全な量子化リファレンスは量子化レベル比較を参照してください。

上記の出典のいずれも、長文書の想起、複数ステップの数学、長いコード生成を検証していないため、本ページはそれらについて主張しません。Q8_0はQ4_K_Mよりパープレキシティが低いため、メモリに余裕があるならその指標ではリスクの低い選択です。小さな誤差が重要なタスクでは、両方を試してください。おさらいはQ4_K_Mの意味を参照してください。

指標Q4_K_MQ8_0
ファイルサイズ(Llama 3.1 8B)4.58 GiB7.95 GiB
4k KVキャッシュ込みVRAM(計算値、実行時オーバーヘッド除く)約5.1 GiB約8.5 GiB
パープレキシティ、Llama 3 8B(f16:6.23)6.41(+2.8%)6.23(+0.02%)
Tokens/s、Llama 3.1 8B(README)71.9350.93
最適な対象6–8 GB VRAM12+ GB VRAM

Q4_K_M vs Q8_0に関するよくある質問

Q8_0はQ4_K_Mより明らかに優れていますか?▾
あり得ますが、これらの出典ではどこで差が出るかは分かりません。Q8_0は量子化誤差が小さく、Llama 3 8Bのf16比パープレキシティは+0.02%で、Q4_K_Mの+2.8%より小さいです(llama.cpp、計算値)。パープレキシティはチャット・コーディング・要約の品質を直接測るものではないため、ご自身のタスクで両方を試してください。
Q8_0はQ4_K_Mより速いですか?▾
いいえ。Q8_0はより大きく、トークンあたりより多くのメモリ帯域幅を必要とします。llama.cppのquantize READMEでは、Llama 3.1 8BでQ4_K_Mが71.93 tokens/s、Q8_0が50.93 tokens/sと記載されています(速度はハードウェアによって異なります)。基本的な理由についてはQ4_K_Mの意味を参照してください。
異なるタスクでQ4_K_MとQ8_0を切り替えられますか?▾
異なるモデルタグをプルして実行することでのみ可能です。Ollamaでは:ollama pull llama3:8b-instruct-q4_K_Mとollama pull llama3:8b-instruct-q8_0は別々のダウンロードです。ollama runでタグを指定して切り替えます。
Q4_K_Sはどうですか — Q4_K_Mの代わりに使う価値はありますか?▾
Q4_K_SはQ4_K_Mより0.22 GiB小さく(Llama 3.1 8Bで4.36対4.58 GiB)、パープレキシティは高くなります(Llama 3 8B、重要度行列なしで6.50対6.41)。Q4_K_Mが収まらない場合にのみQ4_K_Sを使用してください。それ以外はQ4_K_Mが良い選択です。
MCP