Quanta RAM um modelo 7B precisa?
Resposta rápida
Um modelo 7B em quantização Q4 precisa de 5–6 GB de VRAM ou RAM para um desempenho de inferência eficiente. Regra: parâmetros do modelo em bilhões × 0,7 = GB aproximados em Q4. GPU oferece ~25 tok/s; CPU oferece ~5 tok/s com a mesma memória.
- ▸7B Q4: 5–6 GB de VRAM ou memória unificada
- ▸7B Q5: 6–7 GB de VRAM
- ▸7B Q8: 8–9 GB de VRAM
Atualizado: 21 de junho de 2026
Pontos principais
- ✓Um modelo 7B em Q4 precisa de 5–6 GB de VRAM — reserve 6 GB para incluir a sobrecarga da janela de contexto
- ✓Regra rápida: número de parâmetros em bilhões × 0,7 = GB aproximados necessários em Q4
- ✓Expandir a janela de contexto para 16K tokens adiciona ~4 GB além do peso do modelo
A regra rápida para CPU e GPU
Em maio de 2026, um modelo 7B em Q4 precisa de 5–6 GB de memória — seja RAM do sistema (inferência somente CPU) ou VRAM (inferência GPU). A quantidade é a mesma; o que muda é a velocidade. A inferência em CPU funciona a ~5 tokens por segundo em um processador moderno de 8 núcleos. A inferência em GPU funciona a 20–25 tokens por segundo em uma placa com VRAM adequada.
No modo somente CPU, divida a coluna de velocidade da GPU por 5× para uma estimativa de processador de 8 núcleos. Um modelo 7B em Q4 funciona a ~5 tok/s na CPU, ~25 na GPU. Essa diferença de 5× é a razão pela qual uma GPU de entrada vale a pena comprar para uso interativo.
| Tamanho do modelo | Memória Q4 | Velocidade GPU |
|---|---|---|
| 3B | ~2 GB | ~40 tok/s |
| 7B | ~5 GB | ~25 tok/s |
| 8B | ~5,5 GB | ~22 tok/s |
| 13B | ~9 GB | ~15 tok/s |
Quando escolher CPU vs GPU
Escolha somente CPU quando tiver 16+ GB de RAM do sistema e suas tarefas forem em lote ou em segundo plano (análise de documentos noturna, resumos programados). A taxa de ~5 tok/s é aceitável para trabalho não interativo e evita completamente os custos de GPU.
Escolha GPU quando precisar de chat ou codificação interativos. A diferença de velocidade de 5× importa no uso em tempo real. Até uma RTX 3050 de entrada com 6 GB oferece ~22 tok/s em Llama 3 8B Q4_K_M — rápido o suficiente para um chat que parece instantâneo.
Para o detalhamento completo de VRAM por nível de GPU, veja quanta VRAM um LLM local precisa. Para a referência de hardware completa, veja o guia completo de VRAM para LLMs locais.
Guias relacionados
- ▸Mistral Small 24B vs Qwen 14B vs Llama 8B: comparação -- Mistral Small 24B vs Qwen 14B vs Llama 8B comparison
- ▸Melhor SSD para carregamento rápido de modelos -- best SSD for fast model loading
- ▸Pode executar RAG com 2 GB de RAM? -- can you run RAG on 2 GB RAM?
Respostas rápidas sobre a RAM de modelos 7B
8 GB de RAM do sistema são suficientes para executar um modelo 7B sem GPU?▾
Quanta VRAM o Llama 3 8B precisa exatamente?▾
O que acontece quando um modelo excede a VRAM disponível?▾
--num-ctx 2048.