Q4_K_M vs Q8_0: qual escolher?

Ler em:

🇺🇸en 🇩🇪de 🇫🇷fr 🇯🇵ja 🇨🇳zh 🇪🇸es 🇧🇷pt 🇸🇦ar 🇰🇷ko

Resposta rápida

Use Q4_K_M com 8 GB de VRAM ou menos. Use Q8_0 com 12+ GB. Q4_K_M oferece 95% da qualidade do Q8_0 aproximadamente à metade do tamanho de arquivo.

▸Q4_K_M: ~5–6 GB para modelos 7B, ideal para 8 GB de VRAM
▸Q8_0: ~8–9 GB para modelos 7B, precisa de 12+ GB de VRAM
▸A diferença de qualidade é inferior a 5% no uso real

Atualizado: 2 de junho de 2026

Quantization & VRAM

Pontos principais

✓8 GB de VRAM ou menos: use Q4_K_M — oferece 95% da qualidade do Q8_0 aproximadamente à metade do tamanho de arquivo
✓12+ GB de VRAM: Q8_0 vale a pena para qualidade quase de precisão total sem penalidade de velocidade
✓Para a maioria dos usuários que usam Ollama diariamente, Q4_K_M é a escolha certa

O veredicto rápido

Em maio de 2026, Q8_0 representa ~99% da qualidade de precisão total. Q4_K_M representa ~92%. A diferença de 7 pontos é invisível em chat, codificação e resumo — três tarefas que cobrem 95% do uso de LLM local. Q8_0 só se sobressai em recuperação factual de documentos longos, matemática de múltiplas etapas e código que requer sintaxe exata em 500+ linhas.

Q4_K_M é a opção padrão correta porque a qualidade extra do Q8_0 só aparece em casos extremos: geração longa com recuperação factual exata ou raciocínio matemático que requer maior precisão. Para todo o resto, Q4_K_M equivale ao Q8_0 na prática.

Se você já está usando Q4_K_M e seus resultados parecem errados, o problema quase nunca é a quantização — é o tamanho do modelo ou a estrutura do prompt.

Comparação lado a lado

A tabela abaixo compara Q4_K_M e Q8_0 para um modelo 7B. Ambos os formatos funcionam com Ollama, LM Studio e llama.cpp sem nenhuma configuração especial.

Para contexto sobre o que Q4_K_M significa e como funciona a compressão k-quant, veja o guia explicativo do Q4_K_M. Para a referência completa de quantização, veja níveis de quantização comparados.

Três tarefas revelam a lacuna de qualidade do Q4_K_M: recuperação de documentos longos (50+ páginas), matemática de múltiplas etapas com estado intermediário e geração de código com 300+ linhas. Para essas tarefas, a precisão extra do Q8_0 evita os pequenos erros de deriva que se acumulam em saídas longas. Para todo o resto — chat, código com menos de 200 linhas, perguntas e respostas, resumo — a lacuna é invisível. Para uma revisão antes de decidir, veja o que Q4_K_M significa.

Métrica	Q4_K_M	Q8_0
Tamanho do arquivo (modelo 7B)	~4,1 GB	~7,7 GB
VRAM necessária (7B)	5–6 GB	8–9 GB
Qualidade vs precisão total	~92%	~99%
Melhor para	6–8 GB VRAM	12+ GB VRAM

Respostas rápidas sobre Q4_K_M vs Q8_0

Q8_0 é notavelmente melhor que Q4_K_M?▾

Apenas em casos extremos — matemática complexa de múltiplas etapas, recuperação de citações exatas em documentos longos ou saídas muito longas. Para chat, codificação e resumo (que cobrem 95% do uso), a maioria dos usuários não percebe a diferença.

Q8_0 é mais rápido que Q4_K_M?▾

Não. Q8_0 é maior e requer mais largura de banda de memória, tornando-o levemente mais lento por token que Q4_K_M. Velocidade e qualidade favorecem Q4_K_M para configurações com VRAM limitada. Veja o que Q4_K_M significa para o motivo subjacente.

Posso alternar entre Q4_K_M e Q8_0 para diferentes tarefas?▾

Apenas baixando e executando diferentes tags de modelo. No Ollama: ollama pull llama3:8b-q4_K_M e ollama pull llama3:8b-q8_0 são downloads separados. Você alterna especificando a tag em ollama run.

E Q4_K_S — vale a pena usar em vez de Q4_K_M?▾

Q4_K_S economiza cerca de 300 MB em relação ao Q4_K_M, mas oferece qualidade inferior. Use Q4_K_S apenas se sua VRAM for muito limitada e Q4_K_M não couber. Em quase todos os casos, Q4_K_M é a melhor escolha.

← Voltar para Prompts em resumo