GGUF 对比 GPTQ 对比 AWQ：应该使用哪种量化格式？

选择语言:

🇺🇸en 🇩🇪de 🇫🇷fr 🇯🇵ja 🇨🇳zh 🇪🇸es 🇧🇷pt 🇸🇦ar 🇰🇷ko

快速回答

本地使用通过 Ollama 或 llama.cpp 选择 GGUF——它在 CPU 和 GPU 上运行，无需额外要求。如果用 vLLM 或 TGI 进行生产服务部署，选择 AWQ 而非 GPTQ，因为它在相同位宽下能更好地保持质量。

▸GGUF：llama.cpp 的原生格式——CPU+GPU 混合推理，是 Ollama 和 LM Studio 的默认格式。
▸GPTQ：纯 GPU、基于校准的训练后量化——高效 4 位服务的早期标准。
▸AWQ（感知激活的权重量化）：纯 GPU，通常每位质量优于 GPTQ，常见于 vLLM/TGI 生产服务。

更新于: 2026-07

Quantization & VRAM中级

关键要点

✓GGUF：本地使用的正确默认选择——通过 llama.cpp/Ollama 在 CPU 和 GPU 上运行，无需纯 CUDA
✓GPTQ：纯 GPU，4 位服务的早期标准，ExLlama 和 vLLM 仍支持
✓AWQ：纯 GPU，通常在相同位宽下比 GPTQ 更好地保持质量——生产服务的首选
✓如果你在本地运行 Ollama 或 LM Studio，几乎肯定应该选 GGUF，而非 GPTQ 或 AWQ

最佳选择：本地使用选 GGUF，生产服务选 AWQ

对于几乎任何通过 Ollama、LM Studio 或直接使用 llama.cpp 在本地运行模型的人来说，GGUF 都是正确的量化格式——它支持从同一文件进行 CPU 和 GPU 推理，包括模型无法完全装入显存时的部分 CPU 卸载。正是这种灵活性让 GGUF 成为消费级本地 LLM 工具的标准格式：无论你拥有强大的 GPU、普通的 GPU，还是完全没有 GPU，它都能运行。

GPTQ 是最早被广泛采用的高效 GPU 推理 4 位量化方法之一。它使用校准数据集在训练后量化过程中最小化质量损失，但它是纯 GPU 的——没有有效的 CPU 回退路径——并且在每位质量方面通常已被更新的方法超越。

AWQ（感知激活的权重量化）是比 GPTQ 更现代的纯 GPU 替代方案。通过保护对激活幅度最重要的权重,而非统一量化所有权重，AWQ 通常在相同位宽下保留更多质量。它是 vLLM 和 TGI 等生产服务栈的常见选择,这些场景本来就默认使用纯 GPU 运行。

GGUF 对比 GPTQ 对比 AWQ 一览

如果你在本地运行 Ollama、LM Studio 或 llama.cpp，选择 GGUF——它是三者中唯一具备真正 CPU 支持和部分卸载灵活性的格式。只有在使用特别期望 GPTQ 的现有流程或工具（如较旧的 ExLlama 配置）时才选择 GPTQ。如果部署到生产 GPU 服务栈（vLLM、TGI）并希望在纯 GPU 选项中获得最佳每位质量，选择 AWQ。

三者都以降低精度表示同一底层模型——格式决定的是哪些工具能加载它、以及它如何优雅地应对显存不足，而非模型本身的底层能力。

常见问题

我能把 GPTQ 或 AWQ 模型转换成 GGUF 吗？▾

通常应该直接从原始全精度权重转换为 GGUF，而不是在两种已量化的格式之间转换——从一种量化格式转到另一种量化格式会叠加精度损失。如果你只有 GPTQ/AWQ 的检查点，应寻找原模型的全精度发行版来进行转换。

GGUF 在 GPU 上比 GPTQ 或 AWQ 慢吗？▾

在模型能完全装入显存的 GPU 上，经过良好优化的 GGUF 推理与 GPTQ/AWQ 相当。真正的差距出现在模型无法完全装入时——GGUF 能优雅地卸载到 CPU，而 GPTQ/AWQ 通常不能。

GGUF 内应该使用哪种 K-quant 级别？▾

Q4_K_M 是最常见的平衡默认选择。参见专门的 Q4_K_M 对比 Q8_0 对比，了解 GGUF 各量化级别在文件大小和质量之间的完整权衡。

Ollama 直接支持 GPTQ 或 AWQ 模型吗？▾

不支持——Ollama 专门围绕 GGUF 构建。要使用 GPTQ 或 AWQ 检查点，需要专为该格式设计的其他服务工具（vLLM、TGI 或 ExLlama）。

GGUF 对比 GPTQ 对比 AWQ：应该使用哪种量化格式？

最佳选择：本地使用选 GGUF，生产服务选 AWQ

GGUF 对比 GPTQ 对比 AWQ 一览

相关阅读

常见问题