Qual o Melhor LLM Local para Resumo de Documentos?
Resposta rápida
O Qwen3 14B e o Llama 3.3 8B são os melhores LLMs locais para resumo de documentos — ambos suportam contexto de 128K+ no Ollama, suficiente para resumir documentos longos sem fragmentação.
- ▸O Llama 3.3 8B suporta contexto de 128K+ no Ollama — uma opção menor e mais rápida para resumo de documentos longos.
- ▸O Qwen3 14B também suporta contexto de 128K+, e chega a até 1M de tokens em sua configuração estendida para casos excepcionais.
- ▸O contexto completo de 128K usa significativamente mais VRAM do que apenas o tamanho base do modelo — planeje-se de acordo.
Atualizado: 2026-07
Pontos principais
- ✓Melhor escolha: Llama 3.3 8B — contexto de 128K+ no Ollama, menor e mais rápido para a maioria dos documentos
- ✓Melhor para documentos muito longos: Qwen3 14B — mesma base de 128K+, estende até 1M de tokens
- ✓O contexto de comprimento completo usa muito mais VRAM do que apenas os pesos do modelo — planeje o hardware em torno disso
- ✓Fragmentação + um modelo de embedding continua sendo a abordagem certa para documentos além até de 1M de tokens
Melhor Escolha: Llama 3.3 8B (ou Qwen3 14B para Documentos Muito Longos)
O Llama 3.3 8B é o melhor LLM local para a maioria das tarefas de resumo de documentos, já que sua janela de contexto de 128K+ no Ollama cobre a grande maioria dos documentos do mundo real em uma única passagem, sem dividir o documento em fragmentos que arriscam perder contexto entre seções. Seu tamanho menor de 8B também mantém os requisitos de VRAM e a velocidade de inferência razoáveis em comparação com modelos maiores.
Para documentos excepcionalmente longos que excedem até os 128K tokens, o Qwen3 14B é a melhor escolha — ele compartilha a mesma base de 128K, mas pode se estender até 1M de tokens em sua configuração estendida, cobrindo documentos do tamanho de livros que o contexto padrão do Llama 3.3 8B não comporta.
Tenha em mente que rodar um modelo em seu comprimento de contexto máximo anunciado usa significativamente mais VRAM do que apenas os pesos do modelo base — o uso de memória do mecanismo de atenção escala com o comprimento do contexto, então uma sessão de resumo com contexto de 128K precisa de significativamente mais folga de VRAM do que uma troca curta de chat com o mesmo modelo.
Resumo de Contexto Completo vs Fragmentação
Alimentar um documento inteiro em um modelo de contexto longo de uma vez evita a perda de contexto entre fragmentos que pipelines tradicionais de fragmentar-e-resumir sofrem, ao custo de precisar de mais VRAM para a janela de contexto mais longa.
Para documentos além de até um teto de contexto de 1M de tokens, ou quando a VRAM é estritamente limitada, voltar a uma abordagem de fragmentação — dividir o documento, resumir cada fragmento, depois resumir os resumos — combinada com um modelo de embedding para recuperação de seções relevantes continua sendo a alternativa prática.
Leitura Relacionada
- ▸Quais Modelos do Ollama Suportam Contexto de 128K? — a lista completa de modelos de contexto longo
- ▸Melhor Modelo de Embedding para RAG Local — uma abordagem alternativa baseada em fragmentação
- ▸Quanta VRAM Você Precisa para um LLM Local? — dimensionando hardware para trabalho de contexto longo