Key Takeaways
- Melhor raciocínio em pequena escala: Phi-4 Mini 3.8B -- 68% MMLU, 70% HumanEval, funciona com 4 GB de RAM.
- Melhor modelo pequeno/edge: Gemma 4 E2B -- MMLU Pro 60%, contexto 128K, ~2 GB de RAM, Apache 2.0. Substitui o antigo Gemma 2 2B.
- Melhor modelo pequeno para código: Qwen2.5 3B -- 65% HumanEval com ~2 GB de RAM.
- Melhor 3B de uso geral: Llama 3.2 3B -- maior suporte da comunidade, contexto de 128K, 2,5 GB de RAM.
- Nenhum modelo sub-2B produz qualidade de saída adequada para tarefas profissionais. Use 3B ou mais para trabalho de verdade.
LLMs locais pequenos (1B-4B parâmetros) rodam em máquinas com 4-8 GB de RAM a 30-70 tokens/seg, com o Phi-4 Mini 3.8B liderando em raciocínio, o Gemma 4 E2B ideal para dispositivos pequenos/edge com contexto de 128K, o Qwen2.5 3B melhor para programação, e o Llama 3.2 3B melhor para uso geral.
Se o seu notebook tem apenas 4-8 GB de RAM, ainda dá para rodar modelos de IA -- só que menores. Esses modelos sub-4B são rápidos o suficiente para chat em tempo real e lidam bem com tarefas simples como resumir, perguntas e respostas básicas e traduzir textos curtos, mas têm dificuldade com raciocínio em várias etapas ou escrever documentos longos e coerentes. Ainda assim, para a maioria das tarefas, são uma boa opção para hardware de entrada.
O que é um LLM local "pequeno" e quando você deve usar um?
Um LLM local pequeno é tipicamente definido como um modelo com menos de 4 bilhões de parâmetros. Com quantização Q4_K_M, esses modelos exigem 1,5-3 GB de RAM -- perfeitamente dentro das limitações de notebooks de entrada com 4-8 GB de memória total.
Os modelos pequenos são adequados para: resumo rápido, perguntas e respostas simples, explicação de trechos de código, tradução de textos curtos e tarefas de classificação. Eles não são adequados para raciocínio de várias etapas, geração de código complexo nem redação de documentos longos e coerentes.
A diferença de qualidade entre um modelo 3B e um 7B é significativa -- aproximadamente equivalente à diferença entre GPT-4o mini e GPT-5.5. Para usuários com 8 GB de RAM, um modelo 7B com Q4_K_M é quase sempre a melhor opção se a máquina tiver folga. Consulte Melhores modelos LLM locais para iniciantes para recomendações de 7B.
Qual modelo você deve usar? Guia de decisão rápida
Phi-4 Mini 3.8B -- Melhor desempenho de raciocínio na classe sub-4B
O Microsoft Phi-4 Mini atinge 68% no MMLU e 70% no HumanEval -- pontuações que superam muitos modelos 7B lançados antes de 2025. Isso é possível porque o Phi-4 Mini foi treinado com um conjunto de dados sintético curado, focado em raciocínio e resolução de problemas, em vez de texto web genérico.
O Phi-4 Mini é a opção recomendada para usuários que precisam principalmente de raciocínio (matemática, lógica, explicações passo a passo) ou de assistência com código em hardware com 4-6 GB de RAM.
| Especificação | Valor |
|---|---|
| MMLU | 68% |
| HumanEval | 70% |
| RAM (Q4_K_M) | ~2,5 GB |
| Contexto | 128K tokens |
| Velocidade na CPU | 30-50 tok/seg |
| Comando Ollama | ollama run phi4-mini |
Gemma 4 E2B -- O melhor modelo local pequeno/edge
O Google Gemma 4 E2B é a geração atual de modelo pequeno, substituindo o antigo Gemma 2 2B. Obtém 60% no MMLU Pro (um benchmark mais exigente que o MMLU original), 44% no LiveCodeBench v6 e 43,4% no GPQA Diamond, segundo a própria ficha de modelo do Google. Tem 2,3B de parâmetros efetivos (5,1B incluindo embeddings) e cabe em ~2 GB de RAM.
A janela de contexto de 128K é uma grande melhoria em relação aos 8K do antigo Gemma 2 2B -- agora iguala Phi-4 Mini e Llama 3.2 3B. A velocidade na CPU varia conforme o hardware e a quantização (o Google reporta ~7,6 tok/seg em um Raspberry Pi 5; relatos independentes em CPUs x86 variam de 8 a 48 tok/seg) -- verifique números atuais para seu dispositivo. Licença Apache 2.0.
| Especificação | Valor |
|---|---|
| MMLU Pro | 60% |
| LiveCodeBench v6 | 44% |
| GPQA Diamond | 43,4% |
| RAM (Q4_K_M) | ~2 GB |
| Contexto | 128K tokens |
| Comando Ollama | ollama pull gemma4:e2b |
Qwen2.5 3B -- Melhor modelo pequeno para tarefas de código
O Qwen2.5 3B obtém 65% no HumanEval -- 5 pontos percentuais acima do Llama 3.2 3B -- tornando-o a melhor opção para tarefas de código em escala 3B. Inclui modo JSON e suporte a chamadas de função, e lida nativamente com 29 idiomas.
Para tarefas que não são de código em inglês, o Llama 3.2 3B e o Phi-4 Mini produzem prosa mais natural. Escolha o Qwen2.5 3B especificamente quando o código ou a saída multilíngue é o caso de uso principal.
| Especificação | Valor |
|---|---|
| MMLU | 62% |
| HumanEval | 65% |
| RAM (Q4_K_M) | ~2 GB |
| Contexto | 128K tokens |
| Velocidade na CPU | 25-40 tok/seg |
| Comando Ollama | ollama run qwen2.5:3b |
Llama 3.2 3B -- Melhor modelo pequeno de uso geral
O Meta Llama 3.2 3B é o modelo 3B mais documentado e com maior suporte da comunidade. Obtém 58% no MMLU e 60% no HumanEval -- um pouco abaixo do Phi-4 Mini em ambos -- mas tem o suporte de ferramentas mais amplo, mais fine-tunes disponíveis e a maior coleção de guias da comunidade.
A janela de contexto de 128K é a mesma dos modelos Llama 3.x maiores, o que o torna adequado para resumir documentos de comprimento médio. Para um primeiro modelo pequeno, o Llama 3.2 3B continua sendo a opção mais segura por causa do seu comportamento previsível e da documentação extensa.
| Especificação | Valor |
|---|---|
| MMLU | 58% |
| RAM (Q4_K_M) | ~2,5 GB |
| Contexto | 128K tokens |
| Velocidade na CPU | 25-45 tok/seg |
| Comando Ollama | ollama run llama3.2:3b |
Llama 3.2 1B -- Mínimo absoluto para qualquer saída útil
O Llama 3.2 1B é o menor modelo Llama que a Meta publica: exige apenas 1,3 GB de RAM e gera 60-90 tok/seg na CPU -- o modelo executável localmente mais rápido desta página. A qualidade da saída é marginal: dá conta de classificações muito simples e extração de palavras-chave, mas tem dificuldade com respostas coerentes de várias frases. Use o Llama 3.2 1B só quando a RAM for genuinamente a restrição principal (menos de 3 GB disponíveis) ou para testar integrações de ferramentas.
Comparativo completo: melhores LLMs locais pequenos de menos de 4B parâmetros
| Modelo | MMLU | HumanEval | RAM | Contexto | Melhor para |
|---|---|---|---|---|---|
| Phi-4 Mini 3.8B | 68% | 70% | 2,5 GB | 128K | Raciocínio, código |
| Qwen2.5 3B | 62% | 65% | 2 GB | 128K | Código, multilíngue |
| Llama 3.2 3B | 58% | 60% | 2,5 GB | 128K | Uso geral, primeiro modelo |
| Gemma 4 E2B | — | — | 2 GB | 128K | Edge (MMLU Pro 60%) |
| Llama 3.2 1B | 32% | 28% | 1,3 GB | 128K | RAM mínima absoluta |
Entendendo a quantização: equilíbrio entre RAM e qualidade
LLMs locais pequenos por região
UE / GDPR e Brasil / LGPD: Para profissionais que trabalham com hardware limitado -- trabalho de campo, ambientes isolados, notebooks empresariais mais antigos -- os modelos locais pequenos oferecem inferência em conformidade sem saída de dados. Um Phi-4 Mini 3.8B rodando em um notebook corporativo padrão (8 GB de RAM) mantém todo o texto processado no dispositivo, sob o Artigo 5 do GDPR (minimização de dados) e o princípio equivalente da LGPD brasileira. Phi-4 Mini (Microsoft, licença MIT) e Llama 3.2 3B (Meta, licença da comunidade Llama) fornecem identificadores de modelos versionados via suas tags do Ollama, satisfazendo os requisitos de documentação de ferramentas de IA. A Mistral não oferece atualmente um modelo sub-4B.
Japão (METI): Para tarefas em japonês em nível de modelo pequeno, o Qwen2.5 3B é o único modelo nesta comparação com tokenização nativa em japonês. O Llama 3.2 3B lida com o japonês, mas com menor eficiência de tokenização. Para resumo ou tradução para o japonês em hardware limitado: `ollama run qwen2.5:3b`. A vantagem de velocidade dos modelos pequenos é especialmente relevante para o uso empresarial japonês: 25-40 tok/seg na CPU oferece uma resposta em tempo real adequada para interfaces de chat em hardware de escritório padrão.
China: O Qwen2.5 3B (Alibaba, Apache 2.0) é a escolha natural para a implantação de modelos pequenos em chinês. A tokenização nativa em chinês processa texto em mandarim 30-40% mais eficientemente que o Llama com o mesmo número de parâmetros. Para implantações IoT e edge sob a Lei de Segurança de Dados da China (数据安全法): `ollama run qwen2.5:3b` funciona em qualquer dispositivo Linux com 4 GB de RAM e processa todo o texto no dispositivo sem chamadas a APIs externas.
Quais são os erros comuns ao rodar LLMs locais pequenos?
- Usar quantização Q8_0 em vez de Q4_K_M: O Q8_0 exige quase o dobro de RAM do Q4_K_M com uma melhora mínima de qualidade em pequena escala. Um modelo Llama 3.2 3B com Q8_0 precisa de ~3,8 GB de RAM ante ~2,5 GB com Q4_K_M. Em uma máquina de 4 GB, o Q8_0 pode acionar o uso de swap e deixar a inferência 3-5 vezes mais lenta. Use sempre Q4_K_M como padrão para modelos sub-4B.
- Rodar um modelo base em vez da variante instruct: Os modelos base (por exemplo, `llama3.2:3b-text`) são checkpoints anteriores ao fine-tuning, treinados para prever o próximo token no texto. Eles não seguem instruções. Quando você pergunta a um modelo base "Quanto é 2+2?", ele pode completar a frase como um quiz em vez de responder "4". Use sempre a variante instruct: `llama3.2:3b` (o Ollama usa instruct por padrão para os modelos com nome).
- Esperar qualidade de modelo 7B de um modelo 3B: Um modelo 3B com 68% no MMLU (Phi-4 Mini) tem desempenho semelhante ao GPT-4o mini de 2023 em tarefas gerais. As cadeias de raciocínio complexas, a escrita extensa e a geração de código sofisticado terão qualidade notavelmente inferior à de um modelo 7B. Se a qualidade da saída for insuficiente, faça upgrade para um modelo 7B -- a diferença de RAM é de ~2 GB (2,5 GB → 4,5 GB).
Perguntas comuns sobre os modelos LLM locais pequenos
Qual é o menor LLM local que produz resultados úteis?
O mínimo prático para resultados úteis é um modelo 3B com quantização Q4_K_M. Os modelos abaixo de 2B parâmetros (Llama 3.2 1B, Gemma 4 E2B) produzem frases coerentes, mas têm dificuldade com instruções de várias etapas, respostas mais longas e raciocínio complexo. Para tarefas como resumo e perguntas e respostas simples, o Gemma 4 E2B é usável. Para qualquer coisa mais complexa, comece com um modelo 3B.
Um modelo 3B pode rodar em um celular?
Sim -- Llama 3.2 1B e 3B são especificamente projetados para implantação móvel no dispositivo. A Meta fornece compilações otimizadas para iOS (via MLC LLM) e Android. A inferência em um celular moderno (Snapdragon 8 Gen 3 ou Apple A17 Pro) produz 15-30 tok/seg para modelos 1B. O LM Studio e o Ollama atualmente não rodam em iOS ou Android -- o mobile exige frameworks separados.
Os modelos pequenos são bons para resumo?
Sim -- o resumo é um dos casos de uso mais fortes para os modelos pequenos. O Gemma 4 E2B e o Llama 3.2 3B produzem resumos precisos de textos de até ~4.000 palavras (seu limite de contexto prático para saída de qualidade) de forma confiável. Para documentos mais longos, use um modelo com uma janela de contexto grande como o Phi-4 Mini ou o Llama 3.2 3B (ambos com 128K tokens).
Quanto mais rápido é um modelo 2B que um modelo 7B no mesmo hardware?
Depende muito do hardware e da quantização -- o Google reporta ~7,6 tok/seg (decodificação) para o Gemma 4 E2B em um Raspberry Pi 5, enquanto testes independentes em CPU x86 variam de 8 a 48 tok/seg. Em uma GPU, a vantagem de velocidade diminui porque a vazão da GPU é menos limitada pelo tamanho do modelo. A diferença de velocidade é mais notável em máquinas apenas com CPU.
Os modelos pequenos suportam chamadas de função?
Alguns sim. O Qwen2.5 3B suporta chamadas de função e modo JSON. O Llama 3.2 3B tem suporte básico ao uso de ferramentas. O Gemma 4 E2B não suporta chamadas de função. Consulte a documentação do modelo antes de criar um pipeline que dependa de saída estruturada.
Qual modelo pequeno é melhor para idiomas diferentes do inglês?
O Qwen2.5 3B suporta 29 idiomas nativamente, incluindo chinês, japonês, coreano e árabe. O Gemma 4 E2B e o Phi-4 Mini são otimizados principalmente para inglês. Para tarefas em outros idiomas em escala de modelo pequeno, o Qwen2.5 3B é a escolha clara. Consulte a comparação multilíngue Qwen vs Llama vs Mistral para uma comparação completa de idiomas.
Qual é a diferença entre Phi-4 Mini e Llama 3.2 3B para tarefas do dia a dia?
O Phi-4 Mini supera o Llama 3.2 3B em raciocínio, matemática e código (68% vs 58% no MMLU, 70% vs 60% no HumanEval) com RAM quase idêntica (2,5 GB cada). Para tarefas do dia a dia -- perguntas e respostas, resumo, explicações simples -- a diferença de qualidade é notável, mas não dramática. O Llama 3.2 3B tem maior suporte da comunidade e mais fine-tunes disponíveis. Escolha o Phi-4 Mini para raciocínio estruturado; o Llama 3.2 3B para chat geral e maior compatibilidade.
Posso rodar dois modelos pequenos simultaneamente?
Sim, se a RAM total permitir. Dois modelos 3B com Q4_K_M usam ~5 GB combinados -- viável em uma máquina de 8 GB com um sistema operacional leve. O Ollama carrega um modelo por vez por processo, por padrão. Rode duas instâncias do Ollama em portas diferentes (OLLAMA_HOST=:11434 e OLLAMA_HOST=:11435) para servir dois modelos em paralelo. Isso é útil para testes A/B de saídas.
Os modelos pequenos funcionam para RAG (geração aumentada por recuperação)?
Sim para RAG simples. O Llama 3.2 3B e o Phi-4 Mini conseguem responder perguntas sobre fragmentos de documentos recuperados de forma confiável. Para RAG sobre grandes bases de conhecimento que exigem raciocínio de múltiplos saltos, os modelos de 7B ou mais rendem de forma mais consistente. O recurso LocalDocs do GPT4All usa um modelo 3B para perguntas e respostas sobre documentos e funciona bem para coleções de documentos pessoais.
O Phi-4 Mini é melhor que o Llama 3.2 3B para código?
Sim. O Phi-4 Mini obtém 70% no HumanEval ante 60% do Llama 3.2 3B -- uma diferença significativa de 10 pontos nessa escala. Para assistência com código em máquinas de 4-6 GB de RAM, o Phi-4 Mini é a opção recomendada. Para código em vários idiomas (não Python), o Qwen2.5 3B com 65% no HumanEval é competitivo com o Phi-4 Mini e também suporta chamadas de função.
Usar quantização Q8_0 em vez de Q4_K_M
O Q8_0 exige quase o dobro de RAM do Q4_K_M com uma melhora mínima de qualidade em pequena escala. Um modelo Llama 3.2 3B com Q8_0 precisa de ~3,8 GB de RAM ante ~2,5 GB com Q4_K_M. Em uma máquina de 4 GB, o Q8_0 pode acionar o uso de swap e deixar a inferência 3-5 vezes mais lenta. Use sempre Q4_K_M como padrão para modelos sub-4B.
Rodar um modelo base em vez da variante instruct
Os modelos base (por exemplo, llama3.2:3b-text) são checkpoints anteriores ao fine-tuning, treinados para prever o próximo token no texto. Eles não seguem instruções. Quando você pergunta a um modelo base "Quanto é 2+2?", ele pode completar a frase como um quiz em vez de responder "4". Use sempre a variante instruct: llama3.2:3b (o Ollama usa instruct por padrão para os modelos com nome).
Esperar qualidade de modelo 7B de um modelo 3B
Um modelo 3B com 68% no MMLU (Phi-4 Mini) tem desempenho semelhante ao GPT-4o mini de 2023 em tarefas gerais. As cadeias de raciocínio complexas, a escrita extensa e a geração de código sofisticado terão qualidade notavelmente inferior à de um modelo 7B. Se a qualidade da saída for insuficiente, faça upgrade para um modelo 7B -- a diferença de RAM é de ~2 GB (2,5 GB → 4,5 GB).
Qual é o menor LLM local que é realmente usável?
Cerca de 1B de parâmetros é o piso para uma saída coerente, e o Llama 3.2 1B é o menor modelo desta lista que vale a pena rodar para trabalho de verdade. Abaixo disso, modelos minúsculos carregam e geram texto em quase qualquer hardware, mas o texto deixa de se manter coerente depois de poucas frases, então é melhor tratá-los como autocompletar do que como um assistente. Se sua restrição é disco e RAM em vez de qualidade, o menor LLM local usável com pegada reduzida é um modelo sub-2B em Q4; se você tem 4GB ou mais disponíveis, um modelo 4B representa um salto grande em coerência por muito pouca RAM extra.
Qual é o menor modelo de LLM que você pode rodar localmente?
O Llama 3.2 1B é o menor modelo Llama e a opção mais prática desta comparação -- precisa de apenas 1,3 GB de RAM e roda a 60-90 tok/seg na CPU, mais rápido que qualquer outro modelo desta página. Ele dá conta de tarefas curtas de classificação e extração de palavras-chave, mas falha em saídas mais longas e de várias etapas. Se você quer um modelo pequeno (às vezes chamado de "mini LLM") que seja realmente usável no dia a dia, trate o Llama 3.2 1B como o piso de hardware, não de qualidade -- suba para o Gemma 4 E2B ou um modelo 3B como Qwen2.5 3B ou Llama 3.2 3B para trabalho de verdade.
Fontes
- Hugging Face Open LLM Leaderboard -- open-llm-leaderboard.hf.space (pontuações MMLU e HumanEval)
- Microsoft Phi-4 Technical Report -- microsoft.com/en-us/research/publication/phi-4-technical-report/
- Meta Llama 3.2 Model Card -- huggingface.co/meta-llama/Llama-3.2-3B-Instruct
- Google Gemma 4 Model Card -- huggingface.co/google/gemma-4-e2b-it