Melhores LLMs locais pequenos 2026: top modelos 4B e o menor para rodar

Um LLM local pequeno é tipicamente um modelo com cerca de 4 bilhões de parâmetros ou menos. Com quantização de 4 bits, esses modelos têm download de aproximadamente 1-4 GB (o design de parâmetros efetivos do Gemma 4 é a exceção, veja abaixo) -- perfeitamente dentro dos limites de notebooks de entrada com 4-8 GB de memória total.

Os modelos pequenos são adequados para resumo, perguntas e respostas simples, explicação de trechos de código, traduções curtas, reescrita e classificação. Eles não são adequados para longas cadeias de raciocínio de várias etapas, geração de código em larga escala nem redação longa e coerente.

A diferença de qualidade entre um modelo de 4B e um de 7-9B ainda é real. Se a sua máquina tem 8 GB ou mais e folga, um modelo de 7-9B como o Qwen3.5 9B (6,6-7,6 GB no Ollama) costuma ser a melhor escolha. Consulte Melhores modelos LLM locais para iniciantes para recomendações de 7B.

O Qwen3.5 4B é o modelo mais forte da classe 4B nesta comparação, com MMLU-Pro 79,1, GPQA Diamond 76,2 e LiveCodeBench v6 55,8 na própria ficha do modelo da Qwen. Foi lançado como parte da série Qwen3.5 Small no início de 2026 sob Apache 2.0, aceita texto e imagens, suporta chamadas de ferramentas e tem janela de contexto nativa de 262.144 tokens.

Duas coisas a saber. Primeiro, os modelos Qwen3.5 raciocinam por padrão, o que melhora o raciocínio, mas é lento na CPU -- desative o raciocínio em tarefas simples. Segundo, a ficha do modelo não informa qual modo os benchmarks de destaque usam, e a configuração de avaliação da Qwen difere da do Google e da Microsoft, então compare os números de forma indicativa, não ponto a ponto.

O Google Gemma 4 E4B obtém 69,4% no MMLU-Pro, 52,0% no LiveCodeBench v6 e 58,6% no GPQA Diamond, segundo a ficha do modelo do Google. "E4B" significa 4,5B de parâmetros efetivos; incluindo os embeddings por camada, o modelo tem cerca de 8B de parâmetros, e por isso o download no Ollama é de 6,6-9,5 GB apesar do rótulo "4B". Aceita texto e imagens, tem janela de contexto de 128K e é lançado sob Apache 2.0.

Escolha o E4B em vez do Qwen3.5 4B se você quer o ecossistema do Google, bons resultados multilíngues (MMMLU 76,6%) ou uma pontuação agêntica Tau2 de 42,2%. Escolha o Qwen3.5 4B se quer a mesma classe de qualidade com cerca de metade do disco e da memória.

O Microsoft Phi-4 Mini obtém 67,3% no MMLU e 52,8% no MMLU-Pro segundo a ficha do modelo, em um download de 2,5 GB -- a menor pegada entre os modelos da classe 4B aqui. Tem licença MIT, janela de contexto de 128K e foi treinado com dados sintéticos curados, com foco em raciocínio.

Ele fica atrás do Qwen3.5 4B e do Gemma 4 E4B nos benchmarks de raciocínio (GPQA 25,2 vs 76,2 e 58,6), então escolha-o quando a memória for a restrição -- máquinas de 4-6 GB -- ou quando quiser a licença permissiva MIT.

O Qwen3.5 2B é a melhor escolha quando um modelo de 4B não cabe. A ficha do modelo da Qwen informa MMLU-Pro 55,3 no modo sem raciocínio e 66,5 no modo com raciocínio, e GPQA 51,6 no modo com raciocínio. O download é de 2,7-3,1 GB no Ollama, aceita imagens, tem janela de contexto de 256K e licença Apache 2.0.

Em comparação com o modelo de 0.8B, é muito mais confiável em seguir instruções (IFEval 61,2 vs 52,1 sem raciocínio) e é o menor modelo aqui que usaríamos para trabalho de verdade com resumo e perguntas e respostas.

O Google Gemma 4 E2B obtém 60,0% no MMLU Pro, 44,0% no LiveCodeBench v6 e 43,4% no GPQA Diamond, segundo a ficha do modelo do Google. Os parâmetros efetivos são 2,3B (5,1B incluindo os embeddings por camada). O número de parâmetros efetivos não significa um arquivo de 2 GB: o Ollama lista o download em 4,6-7,5 GB, então ele precisa de mais memória que o Qwen3.5 2B para resultados de classe semelhante.

Tem janela de contexto de 128K, aceita imagens e é Apache 2.0. A vazão na CPU varia conforme o hardware e a quantização (o Google informa ~7,6 tok/seg de decodificação em um Raspberry Pi 5; relatos independentes em x86 variam de 8 a 48 tok/seg). Escolha-o para dispositivos de borda em que você quer as ferramentas do Google; caso contrário, o Qwen3.5 2B é mais leve.

O Qwen3.5 0.8B é o menor modelo desta comparação: um download de 1,2-1,3 GB no Ollama, com janela de contexto de 256K e licença Apache 2.0. O MMLU-Pro informado pelo fabricante é 29,7 (sem raciocínio) e 42,3 (com raciocínio), e o GPQA é 11,9 -- suficiente para classificação, extração de palavras-chave e reescritas curtas, não para raciocínio de várias etapas nem respostas longas. Use-o apenas quando a RAM for realmente a restrição (menos de 3 GB disponíveis), em computadores de placa única ou como pré-filtro rápido em um pipeline.

Brasil / LGPD (ANPD) e UE / GDPR: Para profissionais brasileiros que rodam IA em hardware limitado -- trabalho de campo, ambientes isolados da rede, notebooks corporativos mais antigos -- os modelos locais pequenos podem executar a inferência inteiramente no dispositivo, sem chamadas a APIs na nuvem, desde que o runtime e os aplicativos estejam com telemetria e sincronização desativadas. Rodar o Qwen3.5 4B ou o Phi-4 Mini em um notebook corporativo comum mantém todo o texto processado no próprio aparelho, o que apoia o princípio da necessidade (minimização de dados) da LGPD, fiscalizada pela ANPD, e objetivos semelhantes do artigo 5 do GDPR para quem atende clientes europeus; se uma implantação específica está em conformidade ainda depende de toda a sua configuração. As licenças são permissivas: o Phi-4 Mini é MIT, e o Gemma 4 e o Qwen3.5 são Apache 2.0. As opções de origem europeia nesse tamanho são limitadas; confira a linha atual da Mistral se a origem europeia for um requisito.

Japão (METI): Para tarefas em japonês na faixa dos modelos pequenos, o Qwen3.5 e o Gemma 4 E4B registram pontuações MMMLU em torno de 76 nas respectivas fichas. Em uma máquina limitada, experimente `ollama run qwen3.5:2b` ou `ollama run qwen3.5:4b` para resumo ou tradução em japonês. A vantagem de velocidade dos modelos pequenos importa para o uso empresarial em hardware de escritório padrão, embora a velocidade real dependa da sua CPU e da quantização.

China: O Qwen3.5 (Alibaba, Apache 2.0) é a escolha natural para implantar modelos pequenos em chinês. Para implantações de IoT e edge sob a Lei de Segurança de Dados da China (数据安全法), `ollama run qwen3.5:2b` roda em um dispositivo Linux com cerca de 4 GB de RAM e processa o texto no próprio dispositivo, sem chamadas a APIs externas; confirme separadamente as suas próprias obrigações de conformidade.