Rodar LLM de 70B localmente em 2026: RAM, VRAM e velocidade

Um modelo 70B é um modelo de linguagem grande com cerca de 70 bilhões de parâmetros -- os pesos aprendidos que formam a rede. "B" significa bilhão. O Llama 3.3 70B tem 70,6 bilhões de parâmetros e o Qwen2.5 72B tem 72,7 bilhões.

A memória é o número de parâmetros multiplicado pelos bytes por peso: pesos de 16 bits ocupam 2 bytes cada (cerca de 141 GB), 8 bits (Q8_0) cerca de 1 byte (75 GB) e 4 bits Q4_K_M cerca de 0,6 byte (43 GB). É por isso que 70B é o tamanho em que o hardware de consumo passa a exigir 40+ GB de memória rápida, enquanto modelos de 7B-14B cabem em um notebook comum.

Você precisa de cerca de 43 GB de memória rápida para o modelo, mais 3-10 GB para o contexto, na VRAM da GPU, na memória unificada da Apple ou na RAM do sistema -- e quanto mais rápida for essa memória, mais rápido o modelo gera texto.

As velocidades abaixo são estimativas para chat de um único usuário com contexto curto, derivadas da largura de banda da memória (veja "Por que a largura de banda define a velocidade"). São tetos reduzidos a uma eficiência típica de 60-80%, não benchmarks executados pelo PromptQuorum; a exceção é o valor do DGX Spark, medido por terceiros.

Os tamanhos abaixo são os arquivos do Llama 3.3 70B na biblioteca do Ollama; outros modelos 70B diferem em alguns por cento. Considere apenas os pesos -- some a memória de contexto da próxima seção.

O contexto adiciona memória além dos pesos: o Llama 3.3 70B guarda cerca de 0,33 MB de KV cache por token em FP16, o que dá aproximadamente 2,7 GB com 8K tokens, 10,7 GB com 32K e 43 GB com 128K. O valor vem da arquitetura do modelo: 80 camadas x 8 cabeças key-value x 128 dimensões x 2 (chaves e valores) x 2 bytes = 327.680 bytes por token.

Cada sessão simultânea mantém seu próprio KV cache, enquanto os pesos são compartilhados. Um sistema multiagente com quatro agentes de 32K tokens cada precisa de cerca de 43 GB de pesos mais 43 GB de cache. Ativar flash attention e um KV cache de 8 bits no Ollama (OLLAMA_FLASH_ATTENTION=1 e OLLAMA_KV_CACHE_TYPE=q8_0) reduz o cache aproximadamente pela metade.

Cada token gerado lê todos os pesos do modelo uma vez, então a velocidade de decodificação é limitada pela largura de banda da memória dividida pelo tamanho do modelo. Um modelo Q4_K_M de 43 GB em 614 GB/s de largura de banda tem teto de cerca de 14 tokens/s; a velocidade real costuma ficar em 60-80% desse teto.

A mesma regra explica por que muita memória não significa memória rápida: o DGX Spark de 128 GB tem 273 GB/s, um teto de cerca de 6 tokens/s em Q4_K_M, e a LMSYS mediu 2,7 tokens/s para o Llama 3.1 70B em FP8 (cerca de 70 GB, teto de 3,9). A capacidade decide se o modelo roda; a largura de banda decide com que rapidez. O processamento do prompt (prefill) é limitado pela computação e se comporta de outra forma.

O Apple Silicon é a forma mais simples de manter um modelo 70B inteiro em memória acessível à GPU, porque CPU e GPU compartilham um único pool de memória unificada. Um Mac com 64 GB ou mais roda Q4_K_M sem layer offloading, em uma velocidade definida pela largura de banda do chip: aproximadamente 9-11 tokens/s em um M5 Max e 12-15 em um M2 Ultra usado (estimativas). Ainda não encontramos benchmarks publicados de 70B para os chips M5.

A Apple anunciou o Mac Studio com M5 Max e M5 Ultra em 25 de agosto de 2026; ambos começaram a ser entregues em 22 de setembro de 2026. O M5 Max começa em US$ 2.499 com 36 GB e vai até 128 GB, com até 614 GB/s -- configure 64 GB ou mais para 70B. O M5 Ultra começa em US$ 5.499 com 96 GB, vai até 512 GB com até 1,2 TB/s e roda Q8_0 com folga; a configuração de 512 GB constava como disponível no fim de outubro.

O Mac mini M5 Pro começa em US$ 1.699 com 24 GB, não com 64 GB. A configuração sob encomenda de 64 GB (307 GB/s, Thunderbolt 5) comporta um modelo 70B em Q4_K_M, mas gera apenas cerca de 4-5 tokens/s, e análises o situam em aproximadamente US$ 2.700-US$ 3.200, conforme CPU e armazenamento. O Mac mini M6 base (US$ 899) chega no máximo a 32 GB e 170 GB/s e não consegue rodar um modelo 70B em nenhuma quantização.

Por padrão, o macOS limita a memória endereçável pela GPU a cerca de 75% da RAM (aproximadamente 48 GB em um Mac de 64 GB). Para rodar Q5_K_M (50 GB), eleve o limite, por exemplo com sudo sysctl iogpu.wired_limit_mb=57344 em um Mac de 64 GB; a configuração é redefinida ao reiniciar e deixa para o sistema operacional só cerca de 8 GB.

O NVIDIA DGX Spark é um computador de IA compacto de mesa, com 128 GB de memória unificada LPDDR5x a 273 GB/s, baseado no GB10 Grace Blackwell Superchip e com suporte a CUDA. Ele carrega um modelo 70B até em Q8_0 (75 GB), mas a largura de banda limita a geração: a LMSYS mediu 2,7 tokens/s de decodificação para o Llama 3.1 70B em FP8, e execuções da comunidade com llama.cpp em Q4_K_M são reportadas na faixa de 4-5 tokens/s.

Os preços variaram bastante. A NVIDIA aumentou o preço da Founders Edition de US$ 3.999 para US$ 4.699 em fevereiro de 2026 por restrições no fornecimento de memória, e um preço de US$ 6.950 foi reportado em outubro de 2026, junto com uma versão de 64 GB a US$ 4.999 vendida por parceiros a partir de 23 de outubro de 2026. Confira os preços atuais antes de comprar.

Os mini PCs e notebooks com AMD Ryzen AI Max+ 395 ("Strix Halo") oferecem 128 GB de LPDDR5X a 256 GB/s, a mesma classe de largura de banda, e uma estimativa semelhante de cerca de 4-5 tokens/s para um modelo 70B denso. As duas plataformas combinam mais com modelos mixture-of-experts (veja abaixo) e com trabalho em CUDA ou fine-tuning do que com chat usando um 70B denso.

Ollama e llama.cpp dividem o modelo entre a VRAM da GPU e a RAM do sistema: camadas na VRAM rodam na velocidade da GPU, camadas na RAM rodam na velocidade de memória da CPU, e a parte lenta domina. Com uma RTX 4090 (24 GB), cerca de 55% de um modelo 70B em Q4_K_M cabe na GPU e o restante é lido da DDR5 a aproximadamente 90 GB/s, o que limita a geração a cerca de 2-4 tokens/s. Uma RTX 5090 (32 GB) comporta cerca de 70% e chega a uma estimativa de 4-6 tokens/s.

O Ollama faz o offloading automaticamente; nenhuma flag é necessária. Execute ollama ps para ver a divisão (coluna PROCESSOR, por exemplo 45%/55% CPU/GPU). No llama.cpp, defina o número de camadas com -ngl.

Para um único usuário, Ollama ou llama.cpp com divisão por camadas é o caminho multi-GPU mais simples; para vários usuários ou agentes simultâneos, vLLM ou SGLang com paralelismo de tensor entregam muito mais throughput total. Duas placas de 24 GB (RTX 3090 ou 4090) somam 48 GB, suficientes para Q4_K_M mais um contexto curto.

A divisão por camadas passa as ativações entre as placas uma vez por token e funciona em PCIe comum, por isso serve para placas mistas ou de consumo. O paralelismo de tensor divide cada camada entre as GPUs e se beneficia de links rápidos: a RTX 3090 aceita uma ponte NVLink, enquanto a RTX 4090 e a 5090 não.

A inferência 70B somente com CPU é limitada pela largura de banda da memória: DDR5 dual-channel de desktop (cerca de 90 GB/s) rende aproximadamente 1-2 tokens/s em Q4_K_M, e adicionar capacidade de RAM não a torna mais rápida. A 1,5 tokens/s, uma resposta de 200 palavras (cerca de 270 tokens) leva em torno de três minutos.

256 GB de RAM mudam o que cabe, não a velocidade: comportam Q8_0 (75 GB) ou FP16 (141 GB) com contexto longo. A velocidade depende dos canais de memória -- um Threadripper PRO de 8 canais ou um servidor EPYC de 12 canais tem de três a cinco vezes a largura de banda de um desktop. Placas de desktop com quatro módulos DIMM grandes costumam rodar a memória mais devagar do que com dois. O processamento do prompt na CPU também é lento para entradas longas.

As estimativas abaixo aplicam a regra da largura de banda com 70% de eficiência; não são benchmarks medidos.

Modelos mixture-of-experts (MoE) precisam de memória para todos os seus parâmetros, mas leem apenas os especialistas ativos a cada token, então geram texto muito mais rápido do que um modelo 70B denso com o mesmo uso de memória. O gpt-oss-120b da OpenAI tem cerca de 117 bilhões de parâmetros, com cerca de 5,1 bilhões ativos; o Llama 4 Scout da Meta tem 109 bilhões, com 17 bilhões ativos.

A regra da largura de banda vale para os pesos ativos, de modo que os modelos MoE aproveitam melhor máquinas de alta capacidade e largura de banda moderada, como o DGX Spark, os PCs com Ryzen AI Max+ 395 e um Mac mini M5 Pro de 64 GB. Para um modelo 70B denso nesse hardware, espere 4-5 tokens/s; compare o tamanho do arquivo de cada modelo MoE com a sua memória antes de baixar.

O Llama 3.3 70B é o modelo 70B denso padrão: a Meta reporta 86,0 no MMLU (CoT) e 88,4 no HumanEval, com janela de contexto de 128K. O Qwen2.5 72B é a principal alternativa para uso multilíngue e de programação. Não existe Qwen3 72B -- os modelos densos do Qwen3 vão só até 32B --, então uma menção a "Qwen3 72B" se refere ao Qwen2.5 72B.

Comandos: ollama run llama3.3:70b, ollama run qwen2.5:72b, ollama run deepseek-r1:70b.

O fine-tuning com QLoRA de um modelo 70B exige aproximadamente 35-48 GB de memória de GPU por execução: duas GPUs de 24 GB com FSDP+QLoRA, ou uma única GPU de 48-80 GB. O QLoRA mantém o modelo base em 4 bits (cerca de 35 GB) e treina pequenos adaptadores; a Answer.AI demonstrou isso em duas GPUs gamer de 24 GB.

O fine-tuning completo em 16 bits exige cerca de 16 bytes por parâmetro para pesos, gradientes e estados do otimizador -- da ordem de 1 TB --, o que é trabalho para um servidor multi-GPU. Alugar uma GPU de 80 GB na nuvem costuma ser mais prático do que montar hardware para execuções ocasionais.

UE / GDPR: Um modelo 70B local é o teto prático de qualidade de IA que a maioria das organizações consegue executar de forma privada. Processar documentos jurídicos, médicos ou financeiros on-premises mantém prompts e saídas dentro da sua própria infraestrutura, o que apoia os controles de minimização de dados e de risco em transferências; isso, por si só, não torna uma implantação em conformidade com o GDPR, então avalie toda a atividade de tratamento.

Para organizações que exigem hardware da cadeia de suprimentos da UE, Apple (EUA) e NVIDIA (EUA) são fornecedores de fora da UE; Dell, HP e Lenovo vendem sistemas baseados no GB10 com suporte local. Quanto aos modelos, o Mistral Large 2 vem de uma desenvolvedora da UE, mas é lançado sob uma licença de pesquisa que não cobre uso comercial.

Japão: O Qwen2.5 72B é uma escolha comum para textos em japonês: `ollama run qwen2.5:72b`. Documentar o hardware e as versões dos modelos (a saída de `ollama ps` identifica o modelo carregado) apoia a governança interna conforme as diretrizes japonesas de IA para empresas.

China: Um Qwen2.5 72B hospedado localmente mantém os dados na sua própria infraestrutura, o que é relevante para a Lei de Segurança de Dados da China (数据安全法). Se um modelo servido internamente se enquadra nas regras de IA generativa da CAC depende de ele ser oferecido ao público; confirme com um advogado qualificado.