Key Takeaways
- Largura de banda de memória, não TOPS, é o gargalo na fase de decodificação da inferência de IA. Fórmula: tokens/seg ≈ memory_bandwidth / model_size_in_bytes. Um modelo 7B em FP16 (14 GB) em LPDDR5X 85,6 GB/s = ~6 tokens/seg. O mesmo modelo quantizado em Q4 (3,5 GB) = ~24 tokens/seg. Data center H100 HBM3E (1,229 TB/s) = ~88 tokens/seg.
- A SK Hynix lidera os envios de HBM (cerca de 50–62% de participação dependendo do trimestre de 2026) e fornece para Nvidia H100, H200, B200. O HBM4 (>2 TB/s) já está em produção em massa: a SK Hynix mira sua variante de 16 camadas e 48 GB para o 3º trimestre de 2026, enquanto a Samsung enviou as primeiras amostras do setor de HBM4E de 12 camadas em maio de 2026, a 3,6 TB/s por stack — à frente da SK Hynix nessa métrica específica.
- A Samsung validou o LPDDR5X-PIM (Processamento em Memória) como silício real e testado na Hot Chips 2026 (25 de agosto de 2026) — não um conceito de laboratório. Rodando Llama-3.1-8B em um SoC acelerador de IA de borda, atingiu 81,3 tokens/seg contra 27,0 tokens/seg em LPDDR5X padrão: uma melhoria medida de 3,01x, com até 8x mais largura de banda interna no modo PIM. O chip é compatível pino a pino com o LPDDR5X padrão (mesmo encapsulamento de 561 pinos), então é uma atualização direta.
- A IA no dispositivo ainda será mais lenta que a IA em nuvem para modelos grandes — você não consegue encaixar HBM em um celular — mas a diferença nos celulares acabou de diminuir. O LPDDR5X-PIM não iguala a largura de banda do HBM; ele reduz o movimento de dados, por isso o ganho de throughput (3x) é menor que a lacuna bruta de largura de banda (14x), mas ainda relevante para cargas de trabalho reais.
- O Exynos 2600 (Galaxy S26) continua sendo lançado com LPDDR5X padrão, alcançando ~8–15 tokens/seg realistas para um modelo 7B quantizado. O LPDDR5X-PIM está validado, mas ainda não apareceu em um SoC de celular lançado comercialmente — espera-se que apareça primeiro em aceleradores de IA de borda.
- O gargalo de largura de banda de memória continua explicando por que fine-tuning ou destilação não ajudam: cada parâmetro ainda precisa ser carregado na memória a cada passagem. Modelos menores ajudam (3B, 1B), e a quantização continua sendo a solução base para celulares — PIM é uma alavanca adicional, não um substituto.
Por Que a Largura de Banda de Memória Determina a Velocidade de IA
Durante a fase de decodificação da inferência LLM, a GPU/NPU precisa carregar o modelo inteiro na memória, executar uma passagem direta por token e escrever a saída. O gargalo: com que rapidez você consegue alimentar parâmetros para as unidades de computação? Isso é largura de banda de memória, não TOPS de computação.
Fórmula simplificada: tokens/seg = largura_banda_memória / (tamanho_modelo_em_bytes × bytes_por_precisão). Para FP16 (2 bytes por parâmetro), um modelo 7B = 14 GB. Em LPDDR5X 85,6 GB/s: 85,6 GB/s ÷ 14 GB = ~6 tokens/seg máximo teórico. Na prática, 3–5 tokens/seg devido ao overhead de computação e cache.
A quantização muda drasticamente a equação. Q4 (4 bits, 0,5 byte por parâmetro) reduz um modelo 7B para 3,5 GB. 85,6 GB/s ÷ 3,5 GB = ~24 tokens/seg teóricos. No mundo real, ~8–15 tokens/seg, uma melhoria de 3–4x.
O data center H100 com HBM3E (1,229 TB/s) consegue sustentar 100+ tokens/seg para o mesmo modelo, porque o HBM é 14x mais rápido. É por isso que modelos de fronteira (70B, 405B) só rodam em data centers—você precisa da largura de banda do HBM.
Inferência é diferente de treinamento. Treinamento é limitado por computação (1000+ passagens para atualizar pesos). Inferência (especialmente com cache de prompt) é uma única passagem direta, puramente limitada por largura de banda de memória.
A decodificação LLM é limitada por largura de banda de memória: tokens/seg = largura de banda / tamanho do modelo. No dispositivo 85,6 GB/s vs data center 1,229 TB/s = lacuna de 14x.
Pense em uma linha de montagem: computação são os trabalhadores, memória é a cadeia de suprimentos. Mais trabalhadores (mais FLOPS) não ajuda se os suprimentos (dados) chegam na mesma velocidade. Celulares não têm uma "cadeia de suprimentos rápida" (HBM).
Comparação de Largura de Banda de Memória: LPDDR5X vs HBM
Tipo de Memória | Largura de Banda | Usado Em | Tokens/seg (7B FP16) | Tokens/seg (7B Q4) |
|---|---|---|---|---|
| LPDDR5X 10,7 Gbps | 85,6 GB/s (barramento x64) | Galaxy S26, Snapdragon 8 Elite Gen 5 | ~6 tokens/seg (teoria); ~3–5 real | ~24 tokens/seg (teoria); ~8–15 real |
| HBM2E | ~460 GB/s por stack | GPUs antigas (P100, V100) | ~33 tokens/seg (teoria) | ~131 tokens/seg (teoria) |
| HBM3 19,2 Gbps | ~819 GB/s por stack | Nvidia A100, versão 80GB | ~59 tokens/seg (teoria) | ~234 tokens/seg (teoria) |
| HBM3E 21,4 Gbps | 1,18–1,229 TB/s por stack | Nvidia H100, H200, B200 | ~88 tokens/seg (teoria); ~60–80 real | ~352 tokens/seg (teoria); ~200+ real |
| HBM4 (SK Hynix, 16 camadas) | >2 TB/s por stack, 48 GB | GPUs Nvidia (produção em massa T3 2026) | ~143 tokens/seg (teoria) | ~571 tokens/seg (teoria) |
| HBM4E (Samsung, 12 camadas) | 3,6 TB/s por stack | Amostras enviadas mai. 2026 | ~257 tokens/seg (teoria) | ~1.029 tokens/seg (teoria) |
| LPDDR5X-PIM (Samsung, validado) | 85,6 GB/s + até 8x interno (modo PIM) | Mostrado na Hot Chips 2026, compatível pino a pino | Não medido para 7B FP16 | Llama-3.1-8B: 81,3 vs 27,0 tok/seg (3,01x) |
Samsung e SK Hynix: Quem Faz o Quê
SK Hynix — Líder em Volume de HBM: a SK lidera os envios de HBM, com participação reportada entre 50–62% aproximadamente, dependendo do trimestre de 2026 e da metodologia de medição. A SK fornece HBM3E para a Nvidia usar em GPUs H100, H200 e B200, e mira a produção em massa de seu HBM4 de 16 camadas (48 GB, >2 TB/s) para o 3º trimestre de 2026.
Samsung — Liderança de Velocidade com HBM4E, LPDDR5X-PIM Validado: a Samsung enviou as primeiras amostras do setor de HBM4E de 12 camadas em 29 de maio de 2026, a 3,6 TB/s por stack — à frente da especificação HBM4 da SK Hynix nessa métrica, embora a SK ainda envie mais volume total. No lado dos celulares, a Samsung apresentou o LPDDR5X-PIM na Hot Chips 2026 (25 de agosto de 2026) como silício validado e testado: um SoC acelerador de IA de borda rodou Llama-3.1-8B a 81,3 tokens/seg contra 27,0 tokens/seg em LPDDR5X padrão (3,01x), com até 8x de largura de banda interna no modo PIM. O chip usa o mesmo encapsulamento de 561 pinos que o LPDDR5X padrão, então é um substituto direto, não um novo formato.
Dinâmica Competitiva: a Samsung continua enviando amostras de HBM (HBM3E, agora HBM4E), mas historicamente ficou atrás da SK em rendimento e volume total. O posicionamento da Samsung para o LPDDR5X-PIM é explícito: um complemento ao HBM, não um substituto — mirando smartphones, PCs com IA e aceleradores de borda, onde o custo, consumo de energia e complexidade de encapsulamento do HBM são proibitivos.
As duas empresas fornecem para a Nvidia: a SK Hynix e a Samsung fornecem HBM para a VRAM das GPUs Nvidia; DRAM padrão (LPDDR/DDR) cobre a memória host/CPU. Nenhuma das duas fornece a computação (a Nvidia projeta os núcleos da GPU).
Cronograma: o HBM4 está em produção em massa agora (a SK Hynix mira o 3º trimestre de 2026 para sua parte de 16 camadas; a Samsung já está amostrando HBM4E de 12 camadas). O LPDDR5X-PIM é silício validado desde agosto de 2026, bem à frente da estimativa de produção de 2027-2028 dada na última atualização. LPDDR6/LPDDR6X-PIM é o próximo alvo da Samsung, com uma especificação inicial da JEDEC esperada para o final de 2026.
Limites da IA no Dispositivo no Galaxy S26
O Galaxy S26 Exynos 2600 com LPDDR5X 85,6 GB/s define o teto prático para inferência LLM no dispositivo. Um modelo 7B quantizado em Q4 alcança ~8–15 tokens/seg de desempenho realista. Isso é adequado para tarefas sensíveis à latência, mas pouco prático para conversas longas.
Limites de tamanho de modelo: um modelo 7B é prático. Um modelo 13B em Q4 (~6,5 GB) alcança 85,6 GB/s ÷ 6,5 GB = ~13 tokens/seg, quase nenhuma melhoria. Um modelo 70B em Q4 (~35 GB) alcança 85,6 GB/s ÷ 35 GB = ~2 tokens/seg—inutilizável.
A quantização é essencial: FP16 (2 bytes/parâmetro) é pouco prático. Q4 (0,5 byte/parâmetro) é o ponto ideal—modelos 4x menores com perda de qualidade aceitável.
Troca entre velocidade e qualidade: 7B Q4 é ~8–15 tokens/seg. 3B Q4 é ~24–36 tokens/seg. 1B Q4 é ~60+ tokens/seg.
Casos de uso práticos: autocompletar, sugestão de código em tempo real, transcrição no dispositivo, resumo local. Não práticos: conversas longas, raciocínio complexo, diálogo de múltiplos turnos sem cache.
O gargalo é a largura de banda, não a computação ou o tamanho dos pesos. O LPDDR5X-PIM ajuda reduzindo o movimento de dados necessário, mas não elimina o limite fundamental de largura de banda.
- Use a largura de banda LPDDR5X 85,6 GB/s para estimar tokens/seg máximos: divida pelo tamanho do modelo em GB
- 7B Q4 (3,5 GB): ~24 tokens/seg teoria; ~8–15 real (prático)
- 13B Q4 (6,5 GB): ~13 tokens/seg teoria; ~4–8 real (lento)
- 1B Q4 (~500 MB): ~171 tokens/seg teoria; ~50–100 real (rápido)
- A quantização é obrigatória: Q4 é a base para modelos utilizáveis no dispositivo
- O LPDDR5X-PIM (validado, ainda não no Galaxy S26) pode adicionar ~3x de throughput quando chegar a um SoC de celular
Data Center vs. Celular: A Lacuna de Largura de Banda de 14x
Uma GPU Nvidia H100 com HBM3E (1,229 TB/s) é 14x mais rápida em throughput de inferência que um Galaxy S26 (LPDDR5X 85,6 GB/s). Essa lacuna não se deve a FLOPS de computação (ambos são rápidos), mas à pura largura de banda de memória.
Por que a lacuna existe: o HBM é fisicamente diferente. O LPDDR5X é um filme fino ao lado da CPU (eficiente em energia para celulares). O HBM é uma pilha de chips de memória conectados diretamente à GPU usando vias através de silício (TSVs), criando largura de banda massiva. Stacks de HBM têm 2+ polegadas de altura; impossível encaixar em um celular.
Por que não pode ser fechada: celulares têm restrições térmicas e de energia. O HBM consome energia significativa (~100+ W para um stack completo). O LPDDR5X é ~5–10 W. Você não consegue encaixar fisicamente a largura de banda do HBM em um celular sem destruir a duração da bateria.
Consequência: a IA no dispositivo sempre será mais lenta que a IA em nuvem para modelos grandes. Modelos menores, quantização agressiva e cache inteligente são as soluções.
O outro lado: no dispositivo é privado, funciona offline e tem latência zero para tarefas sensíveis à privacidade. A penalidade de velocidade de 14x é o preço da privacidade.
Atualização: a Samsung validou o LPDDR5X-PIM na Hot Chips 2026 (25 de agosto de 2026) — ganho de throughput medido de 3,01x (27,0 → 81,3 tokens/seg em Llama-3.1-8B) em um chip compatível pino a pino, bem à frente do cronograma de 2027-2028 citado anteriormente nesta página. O LPDDR6 (ainda 2027-2028) mira ~200 GB/s, ~6x mais lento que o HBM3E. Juntos, o PIM agora e o LPDDR6 depois reduzem significativamente a lacuna celular-vs-data-center sem fechá-la — a lacuna bruta de 14x se aproxima de 4-6x na prática assim que o PIM chegar aos SoCs de celular.
Roteiro de Memória: HBM4 e LPDDR6
HBM4 / HBM4E (SK Hynix + Samsung, agora em produção em massa): >2 TB/s por stack para o HBM4 de 16 camadas da SK Hynix (produção em massa visada para o 3º trimestre de 2026); 3,6 TB/s por stack para o HBM4E de 12 camadas da Samsung, em amostragem desde maio de 2026. Chega primeiro nas GPUs de próxima geração da Nvidia. Continua irrelevante para celulares.
LPDDR5X-PIM (Samsung, validado em agosto de 2026): o Processing-In-Memory embute computação dentro do die DRAM. Isso passou de "em desenvolvimento" para "demonstrado, silício testado" na Hot Chips 2026: ganho de inferência medido de 3,01x (27,0 → 81,3 tokens/seg em Llama-3.1-8B) com até 8x de largura de banda interna no modo PIM, em um chip compatível pino a pino. Não vai igualar a largura de banda do HBM, mas é real e está à frente da estimativa anterior de produção de 2027-2028.
LPDDR6 / LPDDR6X-PIM (2027-2028): ~200+ GB/s estimados para o LPDDR6 padrão — cerca de 2,3x a largura de banda do LPDDR5X. Para um modelo 7B Q4: 200 GB/s ÷ 3,5 GB ≈ 57 tokens/seg teóricos (subindo de 24), ~20–35 tokens/seg reais. A Samsung já está olhando além do LPDDR5X-PIM para o LPDDR6X-PIM, e espera uma especificação inicial da JEDEC ainda em 2026.
Realidade: mesmo com o LPDDR5X-PIM sendo lançado e o LPDDR6 no roteiro, os celulares continuarão sendo várias vezes mais lentos que data centers para inferência — a própria Samsung posiciona o PIM como um complemento ao HBM para dispositivos limitados por custo/energia, não uma solução de paridade de largura de banda.
Para IA no dispositivo, no final de 2026: Exynos 2600 + LPDDR5X padrão continua sendo a base lançada para o Galaxy S26. O LPDDR5X-PIM está validado, mas ainda não apareceu em um SoC de celular lançado comercialmente—espere que os aceleradores de IA de borda o recebam primeiro.
Perguntas Frequentes
Qual é a largura de banda de memória do LPDDR5X?
O LPDDR5X a 10,7 Gbps em um barramento x64 entrega 85,6 GB/s — a velocidade de memória usada no Galaxy S26, Snapdragon 8 Elite Gen 5 e na maioria dos celulares topo de linha de 2026. Isso é cerca de 5,4x a 14x mais lento que o HBM de data center (do HBM2E a 460 GB/s até o HBM4/HBM4E a 2-3,6 TB/s por stack), por isso a inferência de IA no dispositivo é muito mais lenta que a de data center para o mesmo tamanho de modelo. A variante LPDDR5X-PIM da Samsung, validada em agosto de 2026, fecha parte dessa lacuna — rodou o Llama-3.1-8B a 3,01x os tokens/seg do LPDDR5X padrão na própria demonstração da Samsung na Hot Chips 2026.
Por que a largura de banda de memória é o gargalo para inferência de IA?
Porque a fase de decodificação (gerar cada token) exige carregar o modelo inteiro na memória para uma passagem direta. As unidades de computação terminam rápido, mas a memória não consegue alimentá-las com dados rápido o suficiente.
Qual é a fórmula de tokens/seg para IA no dispositivo?
Simplificada: tokens/seg = largura_banda_memória / (tamanho_modelo × bytes_por_precisão). Para um modelo 7B FP16 (14 GB) a 85,6 GB/s: 85,6 ÷ 14 = ~6 tokens/seg. Quantizado Q4 (3,5 GB): 85,6 ÷ 3,5 = ~24 tokens/seg.
A SK Hynix domina o mercado de HBM?
A SK Hynix lidera os envios de HBM, com participação reportada de 50–62% dependendo do trimestre de 2026. A Samsung fechou parte da lacuna: enviou amostras de HBM4E de 12 camadas a 3,6 TB/s em maio de 2026, à frente da especificação HBM4 da SK nesse ponto específico.
A Samsung pode alcançar a SK Hynix em HBM?
A Samsung está mais próxima do que antes: suas amostras de HBM4E de 12 camadas (3,6 TB/s, maio de 2026) superam no papel a especificação de largura de banda HBM4 da SK Hynix, embora a SK ainda lidere no volume total. Para celulares, a Samsung nem tenta igualar a largura de banda do HBM—validou o LPDDR5X-PIM em vez disso.
Quando o LPDDR6 será lançado?
Ainda estimado para 2027-2028 na era Galaxy S27/S28, sem mudanças desde a última atualização. ~200+ GB/s (2,3x LPDDR5X). O LPDDR5X-PIM, por outro lado, já é silício validado desde agosto de 2026—provavelmente chegará a dispositivos de borda antes do LPDDR6.
Por que não é possível colocar HBM em um celular?
Restrições físicas: stacks de HBM têm 2+ polegadas de altura. O consumo de energia do HBM (~100+ W) acaba com a duração da bateria. O LPDDR5X é filme fino, 5–10 W. Isso não mudou com HBM4/HBM4E—as novas gerações são mais rápidas, mas não menores nem mais eficientes em energia.
O LPDDR5X-PIM vai fechar a lacuna com o HBM?
Parcialmente, e agora é medido, não projetado. A Samsung mostrou um chip real na Hot Chips 2026 rodando Llama-3.1-8B a 81,3 tokens/seg contra 27,0 tokens/seg em LPDDR5X padrão—um ganho de 3,01x. Isso ainda fica bem abaixo da lacuna bruta de 14x com o HBM3E, mas é uma melhoria real maior que a estimativa de "~50%" citada anteriormente nesta página.
O FLOPS de computação é relevante para IA no dispositivo?
Não tanto quanto se pensa. A decodificação é limitada por memória, não por computação. Uma unidade de computação mais lenta com memória mais rápida vence uma mais rápida com memória mais lenta.
Posso rodar um modelo 70B no Galaxy S26?
Tecnicamente sim; na prática não. 70B Q4 (~35 GB) dá 85,6 GB/s ÷ 35 GB = ~2 tokens/seg. Isso é 1 token por segundo—inutilizável para qualquer tarefa interativa. Fique com 7B ou menor.