Respostas rápidas para perguntas sobre LLMs locais

4 GB de VRAM suporta Phi-4 Mini e Gemma 2B confortavelmente com margem para expansão de contexto.

Q4_K_M significa quantização de 4 bits com compressão k-quant (K) em qualidade média (M).

Use Q4_K_M com 8 GB de VRAM ou menos.

Com 12 GB de VRAM, o melhor modelo de uso geral é Llama 3 8B em Q5_K_M, entregando 20–30 tokens por segundo com qualidade equilibrada.

4 GB de VRAM é justo mas utilizável com modelos pequenos como Phi-4 Mini Q4 (~3,2 GB), Gemma 2 2B (~1,5 GB) e SmolLM 1.7B (~1,0 GB).

Um modelo 7B em quantização Q4 precisa de 5–6 GB de VRAM ou RAM para um desempenho de inferência eficiente.

Um modelo 70B em Q4_K_M precisa de aproximadamente 40 GB de VRAM.

Com 6 GB de VRAM, o Llama 3 8B Q4_K_M é a melhor opção com ~5,5 GB, oferecendo excelentes capacidades de chat e programação a ~20 tok/s.

Q4_K_M é o ponto ideal — modelos 7B/8B em Q4_K_M usam 4,7–4,9 GB, deixando 1,1 GB para o cache KV.

Verifique ollama.com ou a página de lançamentos do GitHub do Ollama para a versão atual.

Em maio de 2026, o melhor modelo Ollama de uso geral é o Llama 3 8B.

Sem GPU, o Phi-4 Mini em Q4 oferece o melhor equilíbrio entre qualidade e velocidade na CPU.

Sim — Ollama suporta todos os tamanhos de modelos Qwen 3 de 0,6B a 72B.

Ollama suporta vários modelos de visão: LLaVA, Gemma 3 multimodal e Qwen-VL.

Llama 3.3 8B suporta contexto de 128K no Ollama.

Qwen 3 Coder vence em Python e TypeScript.

Se você usa terminal e desenvolve com APIs, escolha Ollama.

Jan é completamente código aberto com um sistema de extensões.

Os melhores apps Android para executar LLMs localmente são MLC Chat para configuração fácil com modelos pré-otimizados, Pocketpal para carregamento flexível de GGUF, e Termux com Ollama para controle total.

Open WebUI é o melhor frontend para Ollama para a maioria dos usuários, oferecendo acesso gratuito a uma interface rica em recursos com implantação via Docker e suporte a RAG.

No Apple Silicon, use MLX — roda ~65 tok/s versus ~35 tok/s do Ollama em um M5 Pro com um modelo 8B.

Você não pode converter modelos do Ollama diretamente para MLX.

Não.

Llama 3 8B cabe em 6 GB de VRAM e é mais rápido.

Qwen 3 Coder 14B é o melhor modelo de programação 14B para uso local, com 78,4% no HumanEval e 10 GB de VRAM em quantização Q4_K_M.

Três mini PCs se destacam para inferência local de LLMs: Mac Mini M4 entrega ~18 tok/s com memória unificada e sem gargalo de VRAM, Minisforum UM790 Pro escala até 64 GB DDR5 para modelos maiores, e Beelink SER8 oferece boa relação custo-benefício com ~8 tok/s e Ryzen 9 8845HS.

Mixtral 8x22B e DeepSeek V2 são os melhores modelos MoE de programação para uso local, ativando apenas uma fração dos parâmetros totais por token para oferecer melhor qualidade por VRAM do que modelos densos.

Escolha pelo VRAM: Llama 3.3 8B (4,9 GB), Qwen 3 14B (9,3 GB), Mistral Small 3.1 24B (14,4 GB).

O Qwen 3 Coder 14B Q4_K_M é o melhor modelo de programação para GPUs com 12 GB de VRAM como a RTX 3060.

Com uma RTX 3070 Ti (8 GB de VRAM), Llama 3 8B Q4_K_M e Mistral Small Q5_K_M são os melhores LLMs locais.

Sim.

Sim — mas apenas para conjuntos pequenos de documentos pessoais usando Llama 3.2 1B (~750 MB), embeddings MiniLM-L6-v2 (~80 MB) e um vector store em memória totalizando ~1,3–1,5 GB em um dispositivo de 2 GB.

CO-STAR é uma estrutura de prompt de 6 partes para outputs consistentes de LLM: Context (contexto), Objective (objetivo), Style (estilo de escrita), Tone (registro emocional), Audience (audiência), Response (formato de resposta).

Para tarefas de programação em cloud, Claude Opus 4.8 alcança 87,6% no SWE-Bench, enquanto GPT-5.5 Instant lidera chat geral com 52,5% menos alucinações.

O Qwen executado localmente no seu próprio hardware é compatível com o RGPD, porque nenhum dado de prompt sai da sua infraestrutura e nenhuma transferência para país terceiro segundo o Artigo 44 ocorre.

A API do DeepSeek apresenta o maior risco para o RGPD entre os principais LLMs, porque os servidores estão sujeitos à lei chinesa de acesso a dados (PIPL), não existe uma decisão de adequação da UE para a China, e os Termos de Serviço reservam explicitamente o direito de compartilhar dados com as autoridades chinesas.

Sim — executar um modelo de pesos abertos localmente elimina a transferência de dados para países terceiros do Artigo 44 que torna a IA em nuvem legalmente complexa sob o RGPD, o que significa que seus prompts e respostas nunca saem do seu servidor.