Quais modelos do Ollama suportam contexto de 128K?
Resposta rápida
Llama 3.1 8B suporta contexto de 128K no Ollama. O Qwen3-30B-A3B, um modelo mixture-of-experts, chega a 256K de contexto. Nota: executar o contexto completo aumenta drasticamente a VRAM — uma janela de 128K precisa de 3 a 4 vezes mais VRAM que a janela padrão de 4K.
- ▸Llama 3.1 8B: contexto de 128K, ~16 GB de VRAM com contexto completo
- ▸Qwen3-30B-A3B: contexto de 256K, 24+ GB de VRAM com contexto completo
- ▸Defina --num-ctx 4096 para uso normal e economize VRAM
Pontos principais
- ✓A maioria dos modelos 7B do Ollama anuncia contexto de 128K, mas a qualidade se degrada acima de 32K tokens
- ✓Llama 3.1 8B e Qwen3-30B-A3B são os dois modelos que oferecem 128K+ de contexto de forma confiável no Ollama
- ✓Uma janela de contexto de 128K pode quase triplicar o uso de VRAM — um modelo 7B Q4 precisa de ~15 GB com 128K frente a ~5,5 GB no padrão
- ✓Defina <code>--num-ctx 4096</code> para tarefas cotidianas; expanda o contexto apenas quando necessário
Quais modelos realmente alcançam 128K
A maioria dos modelos do Ollama anuncia contexto de 128K, mas poucos oferecem qualidade de saída útil nesse comprimento. O problema é o efeito "perdido no meio": modelos treinados em comprimentos típicos de documentos têm dificuldade em processar informações colocadas fundo em um contexto longo.
Dois modelos oferecem 128K+ de contexto de forma confiável no Ollama: Llama 3.1 8B (nativamente treinado a 128K) e Qwen3-30B-A3B (um modelo mixture-of-experts com janela de contexto de 256K na biblioteca oficial do Ollama, que ativa apenas cerca de 3 bilhões dos seus 30 bilhões de parâmetros por token). Os tamanhos densos menores do Qwen3 usam por padrão uma janela de contexto de 40K no Ollama, e para a maioria dos outros modelos de classe 7B, a qualidade de saída também se degrada notavelmente acima de 32K tokens.
Se sua tarefa envolve documentos com mais de 20.000 palavras, comece com Llama 3.1 8B. Se precisar da maior janela de contexto e tiver 20+ GB de VRAM, o Qwen3-30B-A3B é a melhor opção.
📍 Em uma frase
Os dois modelos do Ollama que oferecem 128K+ de contexto de forma confiável são o Llama 3.1 8B (128K, treinado nativamente) e o Qwen3-30B-A3B (256K, mixture-of-experts).
💬 Em termos simples
O Llama 3.1 8B foi treinado desde o início para lidar com 128K tokens de contexto, então sua qualidade de saída se mantém nesse comprimento. O Qwen3-30B-A3B é um modelo mixture-of-experts — ativa apenas cerca de 3 bilhões dos seus 30 bilhões de parâmetros por token — e o Ollama o lista com uma janela de contexto de 256K. A maioria dos outros modelos de classe 7B anuncia 128K, mas sua qualidade de saída cai visivelmente após 32K tokens.
O custo de VRAM do contexto longo
Expandir a janela de contexto aumenta significativamente o uso de VRAM. O KV-cache, que armazena o estado de atenção para todos os tokens no contexto, pode usar tanta VRAM quanto os próprios pesos do modelo com contexto de 128K.
A tabela abaixo mostra como a VRAM do KV-cache escala para um modelo 7B em Q4_K_M. Esses números assumem modelos usando grouped query attention (GQA) — modelos sem GQA usam significativamente mais KV-cache.
Para economizar VRAM em tarefas cotidianas, defina --num-ctx 4096 ao executar o Ollama. Expanda para 32K ou 128K apenas quando sua tarefa específica exigir. Para o guia completo sobre LLMs locais de contexto longo, consulte o guia de LLMs locais de contexto longo.
| Comprimento de contexto | KV-Cache (7B) | VRAM total (7B Q4) |
|---|---|---|
| 4K (padrão) | ~0,5 GB | ~5,5 GB |
| 16K | ~1,5 GB | ~6,5 GB |
| 32K | ~3 GB | ~8 GB |
| 128K | ~10 GB | ~15 GB |
Guias relacionados
- ▸Guia de LLMs locais de contexto longo -- seleção de modelo e divisão de RAM
- ▸Você pode executar Qwen 3 no Ollama? -- configuração e requisitos de VRAM
- ▸Quais modelos do Ollama suportam visão? -- modelos multimodais no Ollama
Respostas rápidas sobre os modelos de contexto longo
Como ativar o contexto de 128K no Ollama?▾
--num-ctx 131072 ao seu comando de execução: ollama run llama3.1:8b --num-ctx 131072. Sem essa opção, a especificação Modelfile do Ollama usa por padrão 2048 tokens, e mesmo o padrão de runtime escalonado por VRAM (4K abaixo de 24 GiB, 32K entre 24–48 GiB, 256K acima) pode ficar abaixo da capacidade máxima do modelo — defina num_ctx explicitamente para garanti-la.