メインコンテンツへスキップ
PromptQuorum人のために設計。 AI向けに構造化。

Q4_K_M量子化とは何ですか?

著 · PromptQuorum創設者 · オープンウェイト/オープンソースAIの発見エンジン

Q4_K_Mはllama.cppのK-Quant形式で、中程度(M)の規模の4ビット量子化です。Llama 3 8Bのパープレキシティは6.41で、Q4_0の6.70より低くなります。

重要なポイント

  • ✓Q4_K_M = K-Quant圧縮による中程度品質の4ビット量子化 — Q4_0よりパープレキシティが低く、ファイルはやや大きい
  • ✓Llama 3.1 8BのQ4_K_Mはディスク上で4.58 GiB。4kトークンのKVキャッシュ(約0.5 GiB、計算値)を加えると、実行時オーバーヘッドを除いて約5.1 GiBのVRAMが必要です
  • ✓Q4_K_Mをデフォルトとして使用 — Llama 3 8Bのテストでは、f16に対するパープレキシティの増加は3%未満で、ファイルサイズはQ8_0の約58%です
Q4_K_M量子化とは何ですか?

クイック回答

Q4_K_MはK-Quant(K)圧縮を使用した4ビット量子化で、品質は中程度(M)です。ほとんどのモデルで一般的なデフォルトです:Q4_0よりパープレキシティが低く、Q8_0より小さいです。

  • ▸Q=量子化済み、4=4ビット、K=K-Quant、M=中程度
  • ▸Q4_0よりパープレキシティが低い(Llama 3 8Bで6.41対6.70)、ファイルは0.24 GiB大きい
  • ▸Q4_K_Mをデフォルトの量子化として使用する
Quantization & VRAM

Q4_K_Mの各文字の意味

Q4_K_Mが存在するのは、旧来の4ビット形式Q4_0が必要以上に品質を失うためです。Llama 3 8Bでは、llama.cppのパープレキシティテストでQ4_K_Mが6.41、Q4_0が6.70(低いほど良い。f16は6.23)で、ファイルは0.24 GiB大きくなります(4.58対4.34 GiB)。出典:llama.cpp perplexity README。

「K」はllama.cpp プルリクエスト #1684で導入されたk-quantファミリーを示します。Q4_K_Mは2種類のテンソル型を混ぜています。attention.wvとfeed_forward.w2テンソルの半分およびoutput.weightには6ビットのQ6_K、残りのテンソルには4ビットのQ4_Kを使います。Llama 3.1 8Bでは平均で1重みあたり4.89ビット(llama.cpp quantize README)となり、名目上の4を上回ります。

「M」はファミリー内のサイズ違いです。Q4_K_S(small)はすべてのテンソルにQ4_Kを使います。Llama 3.1 8Bで4.36 GiB対Q4_K_Mの4.58 GiBで、パープレキシティは高くなります(Llama 3 8B、重要度行列なしで6.50対6.41)。次の段階はQ5_K_Mで5.33 GiBです。

K-quantは重みのブロック単位で動作します。Q4_Kは32個の重みを1ブロック、8ブロックを1スーパーブロックにまとめ、ブロックのスケールと最小値を6ビットで保存します。これは1重みあたり4.5ビットです(プルリクエスト #1684)。Q4_K_MはQ6_Kテンソルを含むため4.89ビットとなり、サイズはQ4_K_S(4.67)とQ5_K_M(5.70)の間に位置します。Mでは足りない場合はQ4_K_M vs Q8_0を参照してください。

Q4_K_Mと他の量子化の比較

この表は、llama.cppのLlama 3 8Bパープレキシティテスト(wikitext、重要度行列なし。低いほど良い)を示しています。割合はf16(6.2332)に対する計算値です。Q4_K_Mは4.58 GiBでパープレキシティの増加は3%未満で、Q8_0のファイルサイズの約58%です(計算値:4.58 / 7.96)。

Q4_K_MとQ8_0の直接比較については、Q4_K_M vs Q8_0決定ガイドを参照してください。完全な量子化リファレンスについては、量子化レベル比較を参照してください。

フォーマットサイズ、Llama 3 8B(GiB)パープレキシティ(f16との差)
Q4_04.346.70(+7.5%)
Q4_K_M4.586.41(+2.8%)
Q5_K_M5.336.29(+0.9%)
Q8_07.966.23(+0.02%)

量子化に関するよくある質問

Q4_K_MはQ4_0と同じですか?▾
いいえ。Llama 3 8Bでは、Q4_K_MのパープレキシティはQ4_0の6.70に対して6.41で、ファイルは0.24 GiB大きくなります(4.58対4.34 GiB、llama.cpp、重要度行列なし)。Q4_0よりQ4_K_Mを選んでください。さらに上げるタイミングはQ4_K_M vs Q8_0ガイドを参照してください。
8 GB VRAMにはどの量子化を使うべきですか?▾
8BモデルならQ4_K_Mです。Llama 3.1 8Bのファイルは4.58 GiBで、4kトークンのKVキャッシュを加えると約5.1 GiB(計算値、実行時オーバーヘッドを除く)です。Q5_K_Mは5.33 GiB、同じキャッシュで約5.8 GiB(計算値)となり、Llama 3 8Bのf16に対するパープレキシティ増加を+2.8%から+0.9%に抑えます。4kコンテキストなら、どちらも実行時オーバーヘッドを除いて8 GBに収まりますが、Q8_0(ファイル7.95 GiB)は収まりません。
Q4_K_Mの「M」は何を意味しますか?▾
Medium(中程度)です。k-quantファミリー内のサイズ違いを表します。Q4_K_S(small)はより小さく(Llama 3.1 8Bで4.36 GiB対4.58 GiB)パープレキシティは高く、Q4_K_M(medium)が通常のデフォルトです。llama.cppのquantizeツールにはQ4_K_Lという型はなく、次の段階はQ5_K_Mです。
OllamaのどのモデルがデフォルトでQ4_K_Mを使用していますか?▾
複数あります。Llama 3.1 8B、Qwen3 8B、Mistral 7B、Phi-4 miniでは、Ollamaライブラリのデフォルトタグが、名前にq4_K_Mを含むタグとダイジェストを共有しています(Mistral 7Bの場合はv0.3のタグ)(2026-11-06確認)。ライブラリのページにはデフォルトの量子化が明記されておらず、他のモデルは異なる場合があるため、モデルのタグ一覧で確認してください。他の量子化は別タグで、名前はモデルごとに異なります。例:llama3.1:8b-instruct-q5_K_M、llama3.1:8b-instruct-q8_0。
MCP