Melhores modelos Ollama somente para CPU?

A realidade da velocidade na CPU

Em maio de 2026, a inferência na CPU roda a 3–6 tokens por segundo em uma CPU desktop moderna de 8 núcleos — aproximadamente 5–10× mais lenta do que uma GPU de médio porte. Um modelo 7B em Q4 produz aproximadamente uma palavra a cada 200–300 milissegundos na CPU.

Essa velocidade é aceitável para dois casos de uso: processamento em lote noturno, como resumir documentos ou classificar dados, e consultas individuais onde uma espera de 30 segundos é aceitável. Para chat interativo ou completação de código em tempo real, a inferência na CPU é muito lenta para ser prática.

A restrição fundamental é a largura de banda de memória, não a velocidade de clock da CPU. CPUs de consumo leem a RAM a 40–80 GB/s. Uma GPU dedicada lê a VRAM a 400–900 GB/s. A inferência de LLM escala diretamente com a largura de banda de memória — por isso até uma GPU de médio porte produz inferência dramaticamente mais rápida do que uma CPU de alto desempenho.

Os 3 melhores modelos para uso somente com CPU

O modelo correto somente para CPU depende de se você prioriza qualidade ou velocidade. Phi-4 Mini Q4 oferece o melhor equilíbrio — entrega qualidade de raciocínio próxima ao Llama 3 8B precisando de apenas 4 GB de RAM e rodando notavelmente mais rápido.

Gemma 2B é a única opção viável quando a RAM está limitada a 2 GB. Alcança ~6 tok/s na CPU, mas produz respostas de qualidade notavelmente inferior em tarefas de raciocínio de várias etapas em comparação com o Phi-4 Mini.

Para a comparação completa de configurações somente com CPU, incluindo requisitos de RAM e otimizações no nível do sistema operacional, consulte o guia dos melhores LLMs somente para CPU.

Guias relacionados

• ▸Radeon 6800M para LLM local: Guia completo de configuração -- Radeon GPU guide
• ▸Strix Halo + Ollama + Vulkan: Guia de desempenho -- Strix Halo guide