Melhor quantização para 6 GB de VRAM: qual nível cabe?
Resposta rápida
Q4_K_M é o ponto ideal — modelos 7B/8B em Q4_K_M usam 4,7–4,9 GB, deixando 1,1 GB para o cache KV. Q5_K_M cabe, mas exige limitar o contexto a 2k tokens. Evite Q6_K e superiores em placas de 6 GB.
- ▸Llama 3.3 8B / Mistral Small / Qwen 3 7B em Q4_K_M: 4,7–4,9 GB — cabe em 6 GB com contexto 4k
- ▸Q5_K_M usa ~5,7 GB — cabe, mas limite o contexto a 2k tokens para evitar OOM
- ▸Modelos 14B em Q4_K_M precisam de 9,3 GB — nenhuma quantização é viável em 6 GB
Atualizado: 21 de junho de 2026
Pontos principais
- ✓Para placas de 6 GB de VRAM (RTX 3060 6 GB, RTX 3050 6 GB, GTX 1660 Ti 6 GB): Q4_K_M é a quantização correta para modelos 7B e 8B
- ✓Q4_K_M deixa 1,1 GB livre — suficiente para um cache KV de 4k tokens no tamanho de contexto padrão do Ollama de 2048
- ✓Q5_K_M melhora a perplexidade em ~1 ponto, mas usa 5,7 GB; reduza `--ctx-size` para 2048 para evitar erros de falta de memória
- ✓Modelos 14B (Qwen 3 14B, Llama 3.3 13B) precisam de 9,3 GB em Q4_K_M — nenhum nível de quantização os torna viáveis em 6 GB
Uso de VRAM por nível de quantização para modelos 7B/8B em 6 GB
O nível de quantização controla diretamente quanto VRAM um modelo ocupa. Para modelos de 7B e 8B parâmetros — a maior classe que cabe em uma GPU de 6 GB — as opções práticas vão de Q3_K_M a Q5_K_M. Q2_K cabe, mas degrada a qualidade abaixo de níveis úteis; Q6_K e superiores ultrapassam o teto de 6 GB.
Q4_K_M é o padrão recomendado: um modelo 7B usa aproximadamente 4,7 GB e um modelo 8B usa 4,9 GB nessa quantização. Isso deixa 1,1 GB para o cache KV que o Ollama aloca para a janela de contexto. Com o contexto padrão de 2048 tokens, é suficiente. Aumentar o contexto para 4096 tokens requer aproximadamente 0,5 GB adicionais de cache KV em um modelo 7B — ainda dentro do orçamento na maioria das placas de 6 GB.
Q5_K_M é o próximo passo. Um modelo 8B em Q5_K_M usa aproximadamente 5,7 GB, deixando apenas 300 MB livres. É suficiente para contextos muito curtos (512–2048 tokens), mas causará erros OOM em conversas mais longas ou prompts de sistema. Use Q5_K_M apenas se mantiver `num_ctx` em 2048 ou menos.
| Quantização | VRAM 7B | VRAM 8B | Cabe em 6 GB? | Contexto máx. (aprox.) |
|---|---|---|---|---|
| Q2_K | ~2,8 GB | ~3,0 GB | ✓ (qualidade ruim) | 8k+ |
| Q3_K_M | ~3,5 GB | ~3,7 GB | ✓ (aceitável) | 8k+ |
| Q4_K_M | ~4,7 GB | ~4,9 GB | ✓ recomendado | 4k |
| Q5_K_M | ~5,5 GB | ~5,7 GB | ⚠ justo (apenas ctx 2k) | 2k |
| Q6_K | ~6,4 GB | ~6,6 GB | ✗ OOM | — |
| Q8_0 | ~7,5 GB | ~7,7 GB | ✗ OOM | — |
Melhores modelos para rodar em Q4_K_M com 6 GB de VRAM
Três modelos 7B/8B se destacam em Q4_K_M em uma placa de 6 GB. Qwen 3 7B Instruct é o melhor equilibrado — excelente em código (HumanEval ~60%), suporte multilíngue e arquitetura de contexto 128k (embora você opere em 4k por causa da VRAM). Execute com `ollama run qwen2.5:7b`.
Llama 3.3 8B é a opção mais rápida. Em Q4_K_M roda a aproximadamente 25 tokens por segundo em uma RTX 3060 6 GB e lida de forma confiável com chat geral e seguimento de instruções. Pontuação MMLU de 66,6% é inferior ao Qwen 3 7B, mas a vantagem em velocidade o torna a melhor escolha para sessões interativas.
Phi-4 Mini (3,8B) é a surpresa. Em Q8_0 ocupa aproximadamente 4,1 GB — confortavelmente dentro de 6 GB — e supera sua classe de tamanho em benchmarks de raciocínio. Use quando precisar de pegada abaixo de 5 GB com melhor raciocínio do que modelos 7B mais antigos. Execute com `ollama run phi4-mini`.
Não tente modelos 14B em 6 GB. Qwen 3 14B em Q4_K_M precisa de 9,3 GB. Q2_K o traz para aproximadamente 5,5 GB, mas a penalidade de perplexidade é severa — o modelo produz saídas notavelmente degradadas. Fique com 7B/8B em Q4_K_M ou 3B/4B em Q8_0.
Guias relacionados
- ▸Best Local LLM for 6 GB VRAM -- 6GB VRAM guide
- ▸Best Ollama Models for 4 GB VRAM -- 4GB VRAM models
- ▸Q4_K_M vs Q8_0: Which Quantization to Use? -- quantization comparison
- ▸What Is Q4_K_M Quantization? -- quantization explainer