Key Takeaways
- Apple M5 Pro (64 GB, ~$2.399): o melhor versátil para a maioria dos usuários. 40–60 tok/s em modelos de 30B, baixo consumo (~25W em inferência), sem limite de VRAM.
- NVIDIA RTX 5090 (32 GB, $2.000): o mais rápido para modelos de 7B–14B a 150–200 tok/s. Não roda 30B+ sem CPU offloading. Melhor para cargas de trabalho em produção.
- NVIDIA RTX 5070 (12 GB, ~$600): melhor GPU custo-benefício. 60–80 tok/s em modelos de 8B. Limitada a 7B–8B em precisão total.
- Apple M5 Max (64–128 GB, ~$3.199+): 460–614 GB/s de largura de banda. Roda 30B–70B nativamente. Ideal para pesquisadores e uso intenso de 30B+.
- Somente CPU (Ryzen/Intel modernos): 10–20 tok/s em modelos de 7B com RAM DDR5 rápida. Viável para uso ocasional, impraticável para chat em tempo real.
- Veredito: para a maioria dos usuários, o Apple M5 Pro de 64 GB vence — modelos maiores que qualquer GPU isolada, custo menor que uma GPU dedicada, 10× menos consumo. Escolha a série RTX 50 apenas para velocidade máxima em 7B–14B ou cargas de produção.
Para LLMs locais: Apple M5 Pro 64 GB (~$2.399) é o melhor versátil com 40–60 tok/s em modelos 30B; RTX 5090 32 GB (~$2.000) é o mais rápido para 7B–14B (150–200 tok/s) mas não roda 30B+; RTX 5070 12 GB (~$600) oferece o melhor custo-benefício GPU; apenas CPU: 10–20 tok/s em 7B.
GPUs são as mais rápidas em modelos menores (abaixo de 14B) pela alta largura de banda de computação. Apple Silicon vence em modelos maiores (30B+) ao integrar memória e computação com baixo consumo. Apenas CPU é o mais lento mas funciona em qualquer notebook.
Comparativo de desempenho: velocidade, largura de banda e custo
*Requer CPU offloading — penalidade significativa de velocidade e degradação de qualidade em bit-widths baixos
| Hardware | Qwen3 8B | Qwen3 30B | Consumo | Custo |
|---|---|---|---|---|
| RTX 5090 (GPU, 32 GB GDDR7) | 150–200 tok/s | Não é possível* | ~450W | $2.000 |
| RTX 5080 (GPU, 16 GB GDDR7) | 100–130 tok/s | Não é possível* | ~360W | $1.000 |
| RTX 5070 Ti (GPU, 16 GB) | 80–100 tok/s | Não é possível* | ~300W | $750 |
| RTX 5070 (GPU, 12 GB) | 60–80 tok/s | Não é possível* | ~250W | $600 |
| MacBook Pro M5 Pro (36–64 GB, 307 GB/s) | 40–60 tok/s | 20–30 tok/s | ~25W | $2.399+ |
| MacBook Pro M5 Max (64–128 GB, 460–614 GB/s) | 60–80 tok/s | 35–50 tok/s | ~35W | $3.199+ |
| Mac mini M5 base (16–32 GB, 200 GB/s) | 25–35 tok/s | Offload* | ~15W | $599+ |
| Intel Core Ultra 9 / AMD Ryzen 9 (CPU, DDR5) | 10–20 tok/s | 3–5 tok/s | ~65W | Incluído |
Quando escolher GPU (série RTX 50)
Escolha uma GPU NVIDIA da série RTX 50 quando precisar de velocidade máxima em modelos de 7B–14B ou rodar cargas de produção 24/7.
- RTX 5090 (32 GB GDDR7, 1.792 GB/s): 150–200 tok/s em modelos de 8B. $2.000. Ideal para pipelines de produção, fine-tuning e aplicações sensíveis à velocidade.
- RTX 5080 (16 GB GDDR7): 100–130 tok/s em 8B. $1.000. Bom equilíbrio entre velocidade e custo para 8B–13B.
- RTX 5070 Ti / 5070 (12–16 GB): 60–100 tok/s em 8B. $600–$750. Melhor custo-benefício para chat e código de usuário único.
- Vantagem do ecossistema CUDA: vLLM, llama.cpp e LM Studio são todos otimizados nativamente. Melhor desempenho de inferência em precisão nativa.
- Limite estrutural: nenhuma placa da série RTX 50 carrega modelos de 30B em qualidade total (exige 20+ GB de VRAM). O offloading para RAM do sistema cria uma penalidade de velocidade de 5–10×.
O consumo de energia é o trade-off principal: a RTX 5090 consome 450W sob carga contra 25W do M5 Pro. A $0,35/kWh, a RTX 5090 custa ~$55/mês a mais em eletricidade usando 8h/dia.
Quando escolher Apple Silicon (M5)
Escolha Apple Silicon M5 quando precisar rodar modelos de 14B–70B, valorizar eficiência energética ou usar macOS como sistema principal.
- M5 base (16–32 GB, 200 GB/s): roda 7B–8B nativamente a 25–35 tok/s. A partir de $599 (Mac mini). Bom ponto de entrada.
- M5 Pro (36–64 GB, 307 GB/s): roda até 30B nativamente a 20–30 tok/s. ~$2.399 (MacBook Pro). Melhor valor versátil.
- M5 Max (64–128 GB, 460–614 GB/s): roda 30B–70B nativamente a 35–50 tok/s. ~$3.199+. Ideal para pesquisadores e cargas pesadas de 70B.
- Vantagem da memória unificada: sem teto de VRAM. Um M5 Pro de 64 GB carrega modelos de 30B nativamente; um M5 Max de 128 GB carrega modelos de 70B nativamente.
- Dados da Apple: inferência de LLM 4× mais rápida que o M4 na geração M5.
- Framework MLX: o MLX da Apple é otimizado para Apple Silicon. Modelos Qwen3 rodam excelentemente no MLX. DeepSeek-R1 14B tem bom desempenho.
Trade-off: não iguala a velocidade bruta da RTX 5090 em 7B. Mais lento para fine-tuning. Sem ferramentas exclusivas de CUDA.
Quando somente CPU é suficiente
Inferência apenas com CPU é viável se você só precisa de respostas ocasionais e roda modelos pequenos (7B Q4).
- Intel Core Ultra 9 / AMD Ryzen 9 modernos com DDR5-5600: 10–20 tok/s em Qwen3 8B ou Llama 3.2 8B. Utilizável para tarefas em lote não interativas.
- CPU antiga / DDR4: 5–8 tok/s. Latência perceptível (5–8 segundos por resposta) torna o chat interativo desagradável.
- Zero custo extra de hardware: se você já tem um desktop capaz, llama.cpp ou Ollama funcionam de imediato.
- Consumo de energia: CPUs em carga total de inferência consomem 65–125W — menos que uma GPU, mais que Apple Silicon.
Inferência por CPU funciona para: resumo de documentos em lote, processamento noturno, perguntas ocasionais. Evite somente CPU para chat em tempo real, assistentes de código ou modelos maiores que 8B.
Largura de banda de memória: o verdadeiro gargalo
A inferência de LLM é limitada pela memória, não pelo processamento. A velocidade de geração de tokens é limitada pela rapidez com que os pesos do modelo podem ser carregados da memória. Maior largura de banda de memória = geração de tokens mais rápida.
A fórmula: Velocidade de inferência ≈ Largura de banda de memória ÷ Pesos do modelo na memória
- A RTX 5090 com 1.792 GB/s tem a maior largura de banda de GPU única disponível em 2026.
- O M5 Max com 460–614 GB/s iguala ou supera a RTX 5080 em largura de banda — com 128 GB de memória unificada contra 16 GB de VRAM.
- O M5 Pro com 307 GB/s é o ponto ideal: largura de banda suficiente para modelos de 30B, pela metade do custo do M5 Max.
- A RAM DDR5 de CPU a 89 GB/s é 20× mais lenta que a RTX 5090, mas 4× mais rápida que DDR4 — uma melhoria significativa para inferência em CPU.
- Vantagem da memória unificada: sem overhead de transferência CPU↔GPU. O M5 Pro mantém um modelo de 30B inteiramente em seu pool de 64 GB.
| Plataforma | Largura de banda | Velocidade efetiva (8B) |
|---|---|---|
| RTX 5090 (GDDR7) | 1.792 GB/s | 150–200 tok/s |
| RTX 5080 (GDDR7) | 960 GB/s | 100–130 tok/s |
| RTX 5070 (GDDR7) | 672 GB/s | 60–80 tok/s |
| M5 Max (unificada, 128 GB) | 460–614 GB/s | 60–80 tok/s |
| M5 Pro (unificada, 64 GB) | 307 GB/s | 40–60 tok/s |
| M5 base (unificada, 32 GB) | 200 GB/s | 25–35 tok/s |
| RAM DDR5-5600 (somente CPU) | 89 GB/s | 10–20 tok/s |
| RAM DDR4-3200 (somente CPU) | 51 GB/s | 5–8 tok/s |
Custo por tok/s: análise real de valor
Custo por tok/s compara o valor do hardware: custo inicial dividido pela velocidade de tokens sustentada.
A RTX 5070 tem o melhor custo por tok/s em velocidade pura. O M5 Pro vence em energia: a $0,15/kWh usando 8h/dia, o M5 Pro custa ~$1,10/mês contra ~$16,50/mês da RTX 5090.
Se você já tem um Mac com M5 Pro, o custo por tok/s é efetivamente $0 na parte de hardware.
| Hardware | Custo inicial | Tok/s (8B) | Custo por tok/s | Consumo (inferência) |
|---|---|---|---|---|
| RTX 5090 (32 GB) | $2.000 | 175 | $11,4 | 450W |
| RTX 5070 (12 GB) | $600 | 70 | $8,6 | 250W |
| M5 Pro MacBook Pro (64 GB) | $2.399 | 50 | $48 | 25W |
| M5 Max MacBook Pro (128 GB) | $3.199 | 70 | $46 | 35W |
| CPU (desktop DDR5 moderno) | Incluído | 15 | $0 | 65W |
Guia de decisão por plataforma
Framework de decisão baseado em tamanho do modelo, orçamento e caso de uso:
- Escolha RTX 5090 / 5080: velocidade máxima em 7B–14B, pipelines de produção, fine-tuning, cargas de servidor 24/7.
- Escolha RTX 5070 / 5070 Ti: melhor GPU custo-benefício para chat e código de usuário único em 7B–13B. $600–$750.
- Escolha M5 Pro (64 GB): melhor versátil para a maioria dos usuários. Roda 30B nativamente, baixo consumo, workflow macOS. ~$2.399.
- Escolha M5 Max (128 GB): uso em pesquisa, modelos de 70B nativamente, desempenho máximo de Apple Silicon. ~$3.199+.
- Somente CPU: zero investimento extra, uso ocasional de 7B, processamento em lote noturno.
Erros comuns na escolha de hardware
- Escolher GPU para modelos de 30B+. Nenhuma placa da série RTX 50 carrega 30B em VRAM. O offloading para RAM cria uma penalidade de velocidade de 5–10×. Use M5 Pro ou M5 Max em vez disso.
- Assumir que o M5 base (16 GB) é suficiente. Ele carrega apenas 7B. Para modelos de 14B você precisa de 32 GB; para 30B você precisa de 64 GB (M5 Pro).
- Ignorar o custo de energia de servidores GPU sempre ligados. A RTX 5090 a 8h/dia equivale a ~$200/ano em eletricidade a $0,15/kWh. O M5 Pro: ~$14/ano.
- Comprar RTX 5090 para chat em 8B. A RTX 5070 a $600 entrega 70 tok/s em 8B — 80% da velocidade a 30% do custo.
- Esperar que a CPU seja viável para chat em tempo real. Mesmo 20 tok/s parece lento. 5–8 tok/s em DDR4 é inutilizável para uso interativo.
Perguntas frequentes
GPU ou CPU é melhor para rodar LLMs locais?
Para inferência em tempo real, a GPU NVIDIA é mais rápida: a RTX 5070 roda modelos de 8B a 60–80 tok/s contra 10–20 tok/s em uma CPU moderna com DDR5. O Apple M5 Pro a 40–60 tok/s também supera a CPU e adiciona a capacidade de rodar modelos de 30B nativamente.
O Apple Silicon consegue rodar LLMs locais?
Sim. A série Apple M5 roda modelos de 7B a 25–80 tok/s dependendo do nível do chip. O M5 Pro (64 GB) roda modelos de 30B nativamente a 20–30 tok/s — algo que nenhuma GPU de consumo consegue igualar. O M5 Max (128 GB) roda modelos de 70B nativamente a 35–50 tok/s.
Qual é a VRAM mínima de GPU para LLMs locais?
12 GB de VRAM (RTX 5070) rodam modelos de 7B–8B com quantização Q4–Q8 sem travar. 16 GB (RTX 5080) lidam com modelos de 13B. Nenhuma GPU de consumo isolada carrega 30B por completo — use o Apple M5 Pro de 64 GB nesse caso.
Quanto mais rápida é a GPU em relação à CPU na inferência de LLM?
A RTX 5090 é 8–15× mais rápida que uma CPU moderna com DDR5 para modelos de 8B (175 tok/s contra 15 tok/s). A diferença vem da largura de banda de memória: 1.792 GB/s (GDDR7) contra 89 GB/s (DDR5). O Apple M5 Pro com 307 GB/s fica no meio, a 40–60 tok/s.
Vale a pena comprar uma GPU só para LLMs locais?
A RTX 5070 ($600) amortizada em 3 anos custa menos que as tarifas da API da OpenAI para usuários intensos que usam 2+ horas por dia. A 70 tok/s ela lida com chat em tempo real e assistência de código. Se você precisa de modelos de 30B+, o M5 Pro entrega mais valor apesar do custo inicial maior.
O que é largura de banda de memória e por que importa para LLMs?
A inferência de LLM é limitada pela memória. Velocidade de tokens ≈ largura de banda de memória ÷ pesos do modelo. RTX 5090: 1.792 GB/s. M5 Max: 460–614 GB/s. M5 Pro: 307 GB/s. CPU DDR5: 89 GB/s. Por isso o Apple Silicon com memória unificada consegue rodar modelos grandes com eficiência apesar de uma largura de banda bruta menor que GPUs superiores.
Qual chip Apple Silicon é melhor para LLMs locais em 2026?
O M5 Pro (64 GB, 307 GB/s) é o melhor versátil para a maioria — roda modelos de 30B nativamente a 20–30 tok/s por ~$2.399. O M5 Max (128 GB, 460–614 GB/s) para modelos de 70B a 35–50 tok/s (~$3.199+). Evite o M5 base (16 GB) para qualquer coisa além de 7B.
O Apple Silicon consegue rodar modelos de 30B e 70B?
O M5 Pro (64 GB) roda modelos de 30B nativamente a 20–30 tok/s. O M5 Max (128 GB) roda modelos de 70B nativamente a 35–50 tok/s. São números reais de throughput sem CPU offloading — nenhuma GPU de consumo iguala isso para 30B+.
Vale a pena a RTX 5090 de $2.000 para LLMs locais?
Só se seu workflow exigir modelos de 7B–14B na velocidade máxima ou pipelines de inferência em produção. Para a maioria, a RTX 5070 ($600) entrega 80% da velocidade a 30% do custo. Para modelos de 30B+, o M5 Pro é a melhor escolha independente do orçamento.
Como o consumo de energia se compara entre GPU e Apple Silicon?
A RTX 5090 consome ~450W sob carga de inferência. O M5 Pro consome ~25W. A 8h/dia e $0,15/kWh, isso equivale a $200/ano (RTX 5090) contra $14/ano (M5 Pro). Para uso doméstico e quem paga tarifas comerciais de eletricidade, a eficiência energética do M5 Pro é uma vantagem de custo relevante.
Qual a velocidade da inferência de LLM em um MacBook Pro Intel (i9, 16 GB de RAM)?
Mais lenta que Apple Silicon e mais lenta que um desktop moderno com DDR5. MacBook Pro Intel não têm um caminho de GPU de memória unificada para o llama.cpp — a inferência roda apenas na CPU sobre DDR4, que tem cerca de 38–45 GB/s de largura de banda dual-channel contra 89 GB/s de uma CPU de desktop DDR5 moderna. Usando a fórmula largura de banda de memória ÷ tamanho do modelo mencionada acima, um modelo quantizado de 7B (~4,5 GB em Q4) fica em torno de 8–10 tok/s teóricos, 4–7 tok/s realistas considerando a sobrecarga de computação da CPU. Os 16 GB de RAM total também limitam você a cerca de 7B–8B em Q4 com folga para o sistema operacional — não espere rodar modelos de 13B+ sem troca de memória pesada e uma grande penalidade de velocidade.
Qual a diferença entre pp tok/s e tg tok/s?
pp tok/s (processamento de prompt) mede quão rápido o modelo processa seu prompt de entrada — a fase de "prefill", que é limitada por computação e escala bem com hardware paralelo como GPUs. tg tok/s (geração de tokens) mede quão rápido ele gera cada novo token de saída — a fase de "decode", limitada pela largura de banda de memória (veja a fórmula de largura de banda acima). GPUs normalmente mostram uma grande diferença entre pp/tg (prefill rápido, geração limitada pela largura de banda); a memória unificada da Apple Silicon mantém os dois números mais próximos. Ao comparar benchmarks, sempre verifique qual número você está lendo — pp e tg podem diferir em 5–20x no mesmo hardware.
Fontes
- Especificações de GPU NVIDIA — Especificações da série RTX 50, VRAM, largura de banda de memória.
- Desempenho Apple M3 — Arquitetura de memória unificada do M5 Max e desempenho de inferência.
- Benchmarks vLLM — Benchmarks de throughput de inferência de LLM em produção.
- Hardwares diferentes produzem taxas de tokens diferentes, mas toda inferência se beneficia de prompts estruturados. Solicitações de contexto longo exigem técnicas diferentes das curtas: janelas de contexto explicadas cobre estratégias para qualquer hardware.