Q4_K_M量子化とは何ですか?
Hans Kuepper 著 · PromptQuorum創設者 · オープンウェイト/オープンソースAIの発見エンジン
Q4_K_Mはllama.cppのK-Quant形式で、中程度(M)の規模の4ビット量子化です。Llama 3 8Bのパープレキシティは6.41で、Q4_0の6.70より低くなります。
重要なポイント
- ✓Q4_K_M = K-Quant圧縮による中程度品質の4ビット量子化 — Q4_0よりパープレキシティが低く、ファイルはやや大きい
- ✓Llama 3.1 8BのQ4_K_Mはディスク上で4.58 GiB。4kトークンのKVキャッシュ(約0.5 GiB、計算値)を加えると、実行時オーバーヘッドを除いて約5.1 GiBのVRAMが必要です
- ✓Q4_K_Mをデフォルトとして使用 — Llama 3 8Bのテストでは、f16に対するパープレキシティの増加は3%未満で、ファイルサイズはQ8_0の約58%です

クイック回答
Q4_K_MはK-Quant(K)圧縮を使用した4ビット量子化で、品質は中程度(M)です。ほとんどのモデルで一般的なデフォルトです:Q4_0よりパープレキシティが低く、Q8_0より小さいです。
- ▸Q=量子化済み、4=4ビット、K=K-Quant、M=中程度
- ▸Q4_0よりパープレキシティが低い(Llama 3 8Bで6.41対6.70)、ファイルは0.24 GiB大きい
- ▸Q4_K_Mをデフォルトの量子化として使用する
Q4_K_Mの各文字の意味
Q4_K_Mが存在するのは、旧来の4ビット形式Q4_0が必要以上に品質を失うためです。Llama 3 8Bでは、llama.cppのパープレキシティテストでQ4_K_Mが6.41、Q4_0が6.70(低いほど良い。f16は6.23)で、ファイルは0.24 GiB大きくなります(4.58対4.34 GiB)。出典:llama.cpp perplexity README。
「K」はllama.cpp プルリクエスト #1684で導入されたk-quantファミリーを示します。Q4_K_Mは2種類のテンソル型を混ぜています。attention.wvとfeed_forward.w2テンソルの半分およびoutput.weightには6ビットのQ6_K、残りのテンソルには4ビットのQ4_Kを使います。Llama 3.1 8Bでは平均で1重みあたり4.89ビット(llama.cpp quantize README)となり、名目上の4を上回ります。
「M」はファミリー内のサイズ違いです。Q4_K_S(small)はすべてのテンソルにQ4_Kを使います。Llama 3.1 8Bで4.36 GiB対Q4_K_Mの4.58 GiBで、パープレキシティは高くなります(Llama 3 8B、重要度行列なしで6.50対6.41)。次の段階はQ5_K_Mで5.33 GiBです。
K-quantは重みのブロック単位で動作します。Q4_Kは32個の重みを1ブロック、8ブロックを1スーパーブロックにまとめ、ブロックのスケールと最小値を6ビットで保存します。これは1重みあたり4.5ビットです(プルリクエスト #1684)。Q4_K_MはQ6_Kテンソルを含むため4.89ビットとなり、サイズはQ4_K_S(4.67)とQ5_K_M(5.70)の間に位置します。Mでは足りない場合はQ4_K_M vs Q8_0を参照してください。
Q4_K_Mと他の量子化の比較
この表は、llama.cppのLlama 3 8Bパープレキシティテスト(wikitext、重要度行列なし。低いほど良い)を示しています。割合はf16(6.2332)に対する計算値です。Q4_K_Mは4.58 GiBでパープレキシティの増加は3%未満で、Q8_0のファイルサイズの約58%です(計算値:4.58 / 7.96)。
Q4_K_MとQ8_0の直接比較については、Q4_K_M vs Q8_0決定ガイドを参照してください。完全な量子化リファレンスについては、量子化レベル比較を参照してください。
| フォーマット | サイズ、Llama 3 8B(GiB) | パープレキシティ(f16との差) |
|---|---|---|
| Q4_0 | 4.34 | 6.70(+7.5%) |
| Q4_K_M | 4.58 | 6.41(+2.8%) |
| Q5_K_M | 5.33 | 6.29(+0.9%) |
| Q8_0 | 7.96 | 6.23(+0.02%) |
量子化に関するよくある質問
Q4_K_MはQ4_0と同じですか?▾
8 GB VRAMにはどの量子化を使うべきですか?▾
Q4_K_Mの「M」は何を意味しますか?▾
OllamaのどのモデルがデフォルトでQ4_K_Mを使用していますか?▾
llama3.1:8b-instruct-q5_K_M、llama3.1:8b-instruct-q8_0。