GGUF vs GPTQ vs AWQ: どの量子化フォーマットを使うべき?
クイック回答
ローカル用途にはOllamaやllama.cpp経由でGGUFを使ってください — 追加要件なしでCPUとGPU両方で動作します。vLLMやTGIで本番サービングする場合は、同じビット幅でより品質を保つため、GPTQよりAWQを使ってください。
- ▸GGUF: llama.cppのネイティブフォーマット — CPU+GPUのハイブリッド推論、OllamaとLM Studioのデフォルト。
- ▸GPTQ: GPU専用、キャリブレーションベースのトレーニング後量子化 — 効率的な4ビットサービングの初期標準。
- ▸AWQ(Activation-aware Weight Quantization): GPU専用、一般にGPTQよりビットあたりの品質が優れ、vLLM/TGIの本番サービングで一般的。
更新: 2026-07
重要なポイント
- ✓GGUF: ローカル用途に正しいデフォルト — llama.cpp/Ollama経由でCPUとGPU両方で動作、CUDA専用要件なし
- ✓GPTQ: GPU専用、4ビットサービングの初期標準で、ExLlamaやvLLMで依然サポート
- ✓AWQ: GPU専用、一般に同じビット幅でGPTQより品質を保つ — 本番サービングで好まれる
- ✓OllamaかLM Studioをローカルで動かしているなら、ほぼ確実にGPTQやAWQではなくGGUFが欲しいもの
ベストピック: ローカル用にGGUF、本番サービング用にAWQ
GGUFは、Ollama、LM Studio、あるいはllama.cppを直接使ってローカルでモデルを動かすほぼ全ての人にとって正しい量子化フォーマットです — 同じファイルからCPUとGPU両方の推論をサポートし、モデルがVRAMに完全に収まらない場合の部分的なCPUオフロードも含みます。この柔軟性こそが、GGUFがコンシューマー向けローカルLLMツールの標準フォーマットになった理由です: 強力なGPUがあっても、控えめなGPUでも、GPUが全くなくても機能します。
GPTQは、効率的なGPU推論のために広く採用された最初期の4ビット量子化手法の一つです。キャリブレーションデータセットを使ってトレーニング後量子化中の品質低下を最小化しますが、GPU専用です — 意味のあるCPUフォールバック経路はなく、一般的にビットあたりの品質では新しい手法に取って代わられています。
AWQ(Activation-aware Weight Quantization)は、GPTQに代わるより現代的なGPU専用の選択肢です。すべてを均一に量子化するのではなく、活性化の大きさにとって最も重要な重みを保護することで、AWQは一般に同じビット幅でより多くの品質を保持します。vLLMやTGIのような本番サービングスタックでよく選ばれ、そこではGPU専用動作が既に前提となっています。
一目でわかるGGUF vs GPTQ vs AWQ
Ollama、LM Studio、あるいはllama.cppをローカルで動かしているならGGUFを選んでください — 3つの中で実質的なCPUサポートと部分オフロードの柔軟性を持つ唯一のフォーマットです。既存のパイプラインやツール(古いExLlamaセットアップなど)がそれを特に想定している場合にのみGPTQを選んでください。本番のGPUサービングスタック(vLLM、TGI)にデプロイし、GPU専用オプションの中で最良のビットあたりの品質が欲しいならAWQを選んでください。
3つとも同じ元のモデルを低精度で表現しており、フォーマットが決めるのはどのツールがそれを読み込めるか、GPUメモリ不足をどれだけうまく扱うかであって、モデル本来の能力ではありません。
関連記事
- ▸Q4_K_M量子化とは? — GGUFの最も一般的なクオントレベルの解説
- ▸Q4_K_M vs Q8_0 — GGUFのクオントレベルの選び方
- ▸Ollama vs vLLM vs TGI — 各ツールがどのフォーマットと組み合うか
よくある質問
GPTQやAWQモデルをGGUFに変換できますか?▾
GPUではGGUFはGPTQやAWQより遅いですか?▾
GGUF内ではどのKクオントレベルを使うべきですか?▾
OllamaはGPTQやAWQモデルを直接サポートしていますか?▾
関連する Prompt Bites