O que é a quantização Q4_K_M?

Ler em:

🇺🇸en 🇩🇪de 🇫🇷fr 🇯🇵ja 🇨🇳zh 🇪🇸es 🇧🇷pt 🇸🇦ar 🇰🇷ko

Resposta rápida

Q4_K_M significa quantização de 4 bits com compressão k-quant (K) em qualidade média (M). É a melhor opção padrão para a maioria dos modelos: melhor qualidade que Q4_0, tamanho menor que Q8_0.

▸Q = quantizado, 4 = 4 bits, K = k-quant, M = médio
▸Melhor qualidade que Q4_0 no mesmo tamanho de arquivo
▸Use Q4_K_M como quantização padrão

Atualizado: 2 de junho de 2026

Quantization & VRAM

Pontos principais

✓Q4_K_M = quantização de 4 bits com compressão k-quant em qualidade média — melhor que Q4_0 no mesmo tamanho de arquivo
✓Um modelo 7B em Q4_K_M ocupa ~4,1 GB no disco e precisa de ~5,5 GB de VRAM para rodar
✓Use Q4_K_M como padrão — oferece a melhor relação qualidade por gigabyte para a maioria dos orçamentos de VRAM

O que cada letra em Q4_K_M significa

Em maio de 2026, Q4_K_M existe porque os formatos antigos de 4 bits (Q4_0) perdiam muita qualidade nos pesos críticos. A compressão k-quant resolve isso alocando mais bits para os pesos que mais afetam a saída e menos bits para os de menor impacto. Resultado: 5–8% mais qualidade que Q4_0 no mesmo tamanho de arquivo.

O "K" é o diferenciador principal. A compressão k-quant aplica alocação de bits não uniforme — pesos críticos recebem mais bits, os menos importantes recebem menos. Isso recupera 5–8% de qualidade em comparação com o formato Q4_0 mais antigo no mesmo tamanho de arquivo.

O "M" é a configuração de qualidade dentro do k-quant. Q4_K_S (small) é ligeiramente menor com qualidade menor. Q4_K_M (medium) é o melhor equilíbrio. Q4_K_L (large) é marginalmente melhor, mas raramente vale o tamanho extra.

K-quant funciona agrupando pesos e atribuindo bits com base na importância. Clusters de maior importância recebem 6 bits por peso. Clusters de nível médio recebem 4 bits. Clusters de baixa importância recebem 3 bits. O nível "M" tem uma média de 4,5 bits por peso em todo o modelo — explicando por que Q4_K_M fica entre Q4_K_S e Q5_K_M em tamanho e qualidade. Para quando o nível M não é suficiente, veja Q4_K_M vs Q8_0.

Como Q4_K_M se compara a outras quantizações

A tabela abaixo mostra os trade-offs para um modelo 7B. A qualidade é relativa ao baseline de precisão total Q8_0. A menos que você tenha 12+ GB de VRAM, Q4_K_M oferece a melhor relação qualidade por gigabyte.

Para uma comparação direta de Q4_K_M vs Q8_0, veja o guia de decisão Q4_K_M vs Q8_0. Para a referência completa de quantização, veja a comparação de níveis de quantização.

Formato	Tamanho do arquivo (7B)	Qualidade vs Q8_0
Q4_0	3,8 GB	Base (~87%)
Q4_K_M	4,1 GB	~92% (+5%)
Q5_K_M	5,0 GB	~95% (+3%)
Q8_0	7,7 GB	100% (referência)

Respostas rápidas sobre quantização

Q4_K_M é o mesmo que Q4_0?▾

Não. Q4_K_M usa compressão k-quant que recupera 5–8% de qualidade sobre Q4_0 na mesma profundidade de bits. Sempre prefira Q4_K_M a Q4_0. Veja o guia Q4_K_M vs Q8_0 para saber quando subir de nível.

Qual quantização devo usar com 8 GB de VRAM?▾

Q4_K_M para modelos 7B (5,5 GB de VRAM). Se quiser melhor qualidade e tiver margem, Q5_K_M usa 6,5 GB e adiciona ~3% de qualidade. Ambas cabem confortavelmente em 8 GB.

O que significa o 'M' em Q4_K_M?▾

Medium (médio) — refere-se ao nível de qualidade dentro da compressão k-quant. Q4_K_S é a variante pequena (qualidade menor), Q4_K_M é médio (recomendado) e Q4_K_L é grande (melhora marginal em relação ao M).

Quais modelos no Ollama usam Q4_K_M por padrão?▾

A maioria deles — Llama 3, Mistral, Qwen, Phi e Gemma usam tags Q4_K_M por padrão. Especifique :q5_K_M ou :q8_0 na tag do modelo para mudar a quantização.

← Voltar para Prompts em resumo