GGUF vs GPTQ vs AWQ: Qual Formato de Quantização Você Deve Usar?

Ler em:

🇺🇸en 🇩🇪de 🇫🇷fr 🇯🇵ja 🇨🇳zh 🇪🇸es 🇧🇷pt 🇸🇦ar 🇰🇷ko

Resposta rápida

Use GGUF para uso local via Ollama ou llama.cpp — ele roda em CPU e GPU sem requisitos extras. Use AWQ em vez de GPTQ se for servir em produção com vLLM ou TGI, já que mantém a qualidade melhor na mesma largura de bits.

▸GGUF: o formato nativo do llama.cpp — inferência híbrida CPU+GPU, o padrão para Ollama e LM Studio.
▸GPTQ: somente GPU, quantização pós-treinamento baseada em calibração — um padrão inicial para servir eficiente em 4 bits.
▸AWQ (Quantização de Peso Consciente da Ativação): somente GPU, geralmente melhor qualidade-por-bit que o GPTQ, comum em servir em produção com vLLM/TGI.

Atualizado: 2026-07

Quantization & VRAMIntermediário

Pontos principais

✓GGUF: o padrão certo para uso local — roda em CPU e GPU via llama.cpp/Ollama, sem requisito exclusivo de CUDA
✓GPTQ: somente GPU, um padrão inicial para servir em 4 bits, ainda suportado pelo ExLlama e pelo vLLM
✓AWQ: somente GPU, geralmente mantém a qualidade melhor que o GPTQ na mesma largura de bits — preferido para servir em produção
✓Se você está rodando Ollama ou LM Studio localmente, quase certamente quer GGUF, não GPTQ ou AWQ

Melhor Escolha: GGUF para Uso Local, AWQ para Servir em Produção

O GGUF é o formato de quantização certo para praticamente qualquer pessoa rodando modelos localmente via Ollama, LM Studio ou llama.cpp diretamente — ele suporta inferência tanto em CPU quanto em GPU a partir do mesmo arquivo, incluindo offload parcial de CPU quando um modelo não cabe totalmente na VRAM. Essa flexibilidade é exatamente por que o GGUF se tornou o formato padrão para ferramentas de LLM local de consumo: funciona seja qual for a GPU que você tenha, potente, modesta ou nenhuma.

O GPTQ foi um dos primeiros métodos de quantização em 4 bits amplamente adotados para inferência eficiente em GPU. Ele usa um conjunto de dados de calibração para minimizar perda de qualidade durante a quantização pós-treinamento, mas é somente GPU — não há um caminho significativo de fallback para CPU — e geralmente foi superado em qualidade-por-bit por métodos mais novos.

O AWQ (Quantização de Peso Consciente da Ativação) é a alternativa somente GPU mais moderna ao GPTQ. Ao proteger os pesos que mais importam para a magnitude da ativação em vez de quantizar tudo uniformemente, o AWQ geralmente preserva mais qualidade na mesma largura de bits. É uma escolha comum para pilhas de servir em produção como o vLLM e o TGI, onde a operação somente GPU já é dada.

GGUF vs GPTQ vs AWQ em Resumo

Escolha GGUF se você está rodando Ollama, LM Studio ou llama.cpp localmente — é o único dos três com suporte real de CPU e flexibilidade de offload parcial. Escolha GPTQ apenas se você estiver trabalhando com um pipeline ou ferramenta existente (como configurações antigas do ExLlama) que especificamente o exige. Escolha AWQ se você está implantando em uma pilha de servir em produção com GPU (vLLM, TGI) e quer a melhor qualidade-por-bit entre as opções somente GPU.

Os três representam o mesmo modelo subjacente em precisão reduzida — o formato determina quais ferramentas conseguem carregá-lo e quão graciosamente ele lida com déficits de memória de GPU, não a capacidade subjacente do modelo.

Leitura Relacionada

▸O Que É a Quantização Q4_K_M? — o nível de quantização mais comum do GGUF explicado
▸Q4_K_M vs Q8_0 — escolhendo um nível de quantização GGUF
▸Ollama vs vLLM vs TGI — qual ferramenta de servir combina com qual formato

Perguntas Frequentes

Posso converter um modelo GPTQ ou AWQ para GGUF?▾

Geralmente você converte a partir dos pesos originais em precisão total para GGUF diretamente, em vez de converter entre dois formatos já quantizados — ir de quantizado para quantizado composta a perda de precisão. Se você só tem um checkpoint GPTQ/AWQ, procure o lançamento em precisão total do modelo original para converter a partir dele.

O GGUF é mais lento que o GPTQ ou AWQ em uma GPU?▾

Em uma GPU onde o modelo cabe totalmente na VRAM, uma inferência GGUF bem otimizada é competitiva com GPTQ/AWQ. A diferença que importa é quando um modelo não cabe totalmente — o GGUF faz offload gracioso para CPU, enquanto GPTQ/AWQ geralmente não conseguem.

Qual nível K-quant devo usar dentro do GGUF?▾

O Q4_K_M é o padrão equilibrado mais comum. Veja a comparação dedicada Q4_K_M vs Q8_0 para a troca completa entre tamanho de arquivo e qualidade nos níveis de quantização do GGUF.

O Ollama suporta modelos GPTQ ou AWQ diretamente?▾

Não — o Ollama é construído em torno do GGUF especificamente. Para usar um checkpoint GPTQ ou AWQ, você precisa de uma ferramenta de serviço diferente (vLLM, TGI ou ExLlama) projetada para esse formato.

Prompt Bites relacionados

← Voltar para Prompts em resumo