Key Takeaways
- El ancho de banda de memoria, no los TOPS, es el cuello de botella en la fase de decodificación de la inferencia de IA. Fórmula: tokens/seg ≈ ancho_banda_memoria / tamaño_modelo_en_bytes. Un modelo 7B en FP16 (14 GB) a LPDDR5X 85.6 GB/s = ~6 tokens/seg. El mismo modelo cuantizado Q4 (3.5 GB) = ~24 tokens/seg. Centro de datos H100 HBM3E (1.229 TB/s) = ~88 tokens/seg.
- SK Hynix lidera los envíos de HBM (aproximadamente 50–62% de cuota según el trimestre de 2026) y suministra a Nvidia H100, H200, B200. HBM4 (>2 TB/s) ya está en producción en masa: SK Hynix apunta a su variante de 16 capas y 48 GB para el T3 2026, mientras Samsung envió las primeras muestras de HBM4E de 12 capas del sector a 3.6 TB/s por stack en mayo de 2026, adelantándose a SK Hynix en esa métrica concreta.
- Samsung validó LPDDR5X-PIM (Procesamiento en Memoria) como silicio real y probado en Hot Chips 2026 (25 de agosto de 2026), no un concepto de laboratorio. Ejecutando Llama-3.1-8B en un SoC acelerador de IA de borde, alcanzó 81.3 tokens/seg frente a 27.0 tokens/seg en LPDDR5X estándar: una mejora medida de 3.01x, con hasta 8x más ancho de banda interno en modo PIM. El chip es compatible con pines con el LPDDR5X estándar (mismo encapsulado de 561 bolas), así que es una actualización directa.
- La IA en dispositivo seguirá siendo más lenta que la IA en la nube para modelos grandes—no se puede meter HBM en un teléfono—pero la brecha en los teléfonos acaba de estrecharse. LPDDR5X-PIM no iguala el ancho de banda de HBM; reduce el movimiento de datos, por eso la ganancia de rendimiento (3x) es menor que la brecha de ancho de banda bruta (14x) pero sigue siendo relevante para cargas de trabajo reales.
- Exynos 2600 (Galaxy S26) sigue enviándose con LPDDR5X estándar, logrando ~8–15 tokens/seg realistas para un modelo 7B cuantizado. LPDDR5X-PIM está validado pero aún no está en un SoC de teléfono enviado—es probable que aparezca primero en aceleradores de IA de borde.
- El cuello de botella de ancho de banda de memoria sigue explicando por qué el ajuste fino o la destilación no ayudan: aún hay que cargar cada parámetro en memoria en cada pasada. Los modelos más pequeños ayudan (3B, 1B), y la cuantización sigue siendo la solución base para teléfonos—PIM es una palanca adicional, no un sustituto.
Por Qué el Ancho de Banda de Memoria Determina la Velocidad de IA
Durante la fase de decodificación de la inferencia LLM, la GPU/NPU debe cargar todo el modelo en memoria, realizar una pasada hacia adelante por token, y escribir la salida. El cuello de botella: ¿qué tan rápido se pueden alimentar parámetros a las unidades de cálculo? Esto es ancho de banda de memoria, no TOPS de cálculo.
Fórmula simplificada: tokens/seg = ancho_banda_memoria / (tamaño_modelo_en_bytes × bytes_por_precisión). Para FP16 (2 bytes por parámetro), un modelo 7B = 14 GB. A LPDDR5X 85.6 GB/s: 85.6 GB/s ÷ 14 GB = ~6 tokens/seg máximo teórico. En la práctica, 3–5 tokens/seg debido a la sobrecarga de cálculo y caché.
La cuantización cambia drásticamente la ecuación. Q4 (4 bits, 0.5 bytes por parámetro) reduce un modelo 7B a 3.5 GB. 85.6 GB/s ÷ 3.5 GB = ~24 tokens/seg teóricos. En el mundo real ~8–15 tokens/seg, una mejora de 3–4x.
El centro de datos H100 con HBM3E (1.229 TB/s) puede sostener 100+ tokens/seg para el mismo modelo, porque HBM es 14x más rápido. Por eso los modelos de frontera (70B, 405B) solo se ejecutan en centros de datos—se necesita el ancho de banda de HBM.
La inferencia es diferente del entrenamiento. El entrenamiento está limitado por cálculo (se hacen 1000+ pasadas para actualizar pesos). La inferencia (especialmente con caché de prompt) es una sola pasada hacia adelante, puramente limitada por ancho de banda de memoria.
La decodificación de LLM está limitada por ancho de banda de memoria: tokens/seg = ancho de banda / tamaño del modelo. En dispositivo 85.6 GB/s vs centro de datos 1.229 TB/s = brecha de 14x.
Piense en una línea de ensamblaje: el cálculo son los trabajadores, la memoria es la cadena de suministro. Más trabajadores (más FLOPS) no ayuda si los suministros (datos) llegan a la misma velocidad. Los teléfonos carecen de una "cadena de suministro rápida" (HBM).
Comparación de Ancho de Banda de Memoria: LPDDR5X vs HBM
Tipo de Memoria | Ancho de Banda | Usado En | Tokens/seg (7B FP16) | Tokens/seg (7B Q4) |
|---|---|---|---|---|
| LPDDR5X 10.7 Gbps | 85.6 GB/s (bus x64) | Galaxy S26, Snapdragon 8 Elite Gen 5 | ~6 tokens/seg (teoría); ~3–5 real | ~24 tokens/seg (teoría); ~8–15 real |
| HBM2E | ~460 GB/s por stack | GPUs antiguas (P100, V100) | ~33 tokens/seg (teoría) | ~131 tokens/seg (teoría) |
| HBM3 19.2 Gbps | ~819 GB/s por stack | Nvidia A100, variante 80GB | ~59 tokens/seg (teoría) | ~234 tokens/seg (teoría) |
| HBM3E 21.4 Gbps | 1.18–1.229 TB/s por stack | Nvidia H100, H200, B200 | ~88 tokens/seg (teoría); ~60–80 real | ~352 tokens/seg (teoría); ~200+ real |
| HBM4 (SK Hynix, 16 capas) | >2 TB/s por stack, 48 GB | GPUs Nvidia (prod. en masa T3 2026) | ~143 tokens/seg (teoría) | ~571 tokens/seg (teoría) |
| HBM4E (Samsung, 12 capas) | 3.6 TB/s por stack | Muestras enviadas may. 2026 | ~257 tokens/seg (teoría) | ~1,029 tokens/seg (teoría) |
| LPDDR5X-PIM (Samsung, validado) | 85.6 GB/s + hasta 8x interno (modo PIM) | Hot Chips 2026, compatible con pines | No medido para 7B FP16 | Llama-3.1-8B: 81.3 vs 27.0 tok/seg (3.01x) |
Samsung y SK Hynix: Quién Hace Qué
SK Hynix — Líder en Volumen de HBM: SK lidera los envíos de HBM, con una cuota reportada de entre 50–62% aproximadamente según el trimestre de 2026 y la metodología de medición. SK suministra HBM3E a Nvidia para GPUs H100, H200 y B200, y apunta a la producción en masa de su HBM4 de 16 capas (48 GB, >2 TB/s) para el T3 2026.
Samsung — Liderazgo en Velocidad HBM4E, LPDDR5X-PIM Validado: Samsung envió las primeras muestras del sector de HBM4E de 12 capas el 29 de mayo de 2026, a 3.6 TB/s por stack—por delante de la especificación HBM4 de SK Hynix en esa métrica, aunque SK sigue enviando más volumen total. En el lado móvil, Samsung presentó LPDDR5X-PIM en Hot Chips 2026 (25 de agosto de 2026) como silicio validado y probado: un SoC acelerador de IA de borde ejecutó Llama-3.1-8B a 81.3 tokens/seg frente a 27.0 tokens/seg en LPDDR5X estándar (3.01x), con hasta 8x de ancho de banda interno en modo PIM. El chip usa el mismo encapsulado de 561 bolas que el LPDDR5X estándar, así que es un reemplazo directo, no un nuevo factor de forma.
Dinámica Competitiva: Samsung sigue muestreando HBM (HBM3E, ahora HBM4E) pero históricamente ha quedado por detrás de SK en rendimiento y volumen total de HBM. El posicionamiento de Samsung para LPDDR5X-PIM es explícito: un complemento de HBM, no un reemplazo—apuntando a smartphones, PCs con IA y aceleradores de borde donde el costo, consumo y complejidad de empaquetado de HBM son prohibitivos.
Ambas empresas suministran a Nvidia: SK Hynix y Samsung proporcionan HBM para VRAM de GPU Nvidia; la DRAM estándar (LPDDR/DDR) cubre la memoria host/CPU. Ninguna suministra el cálculo (Nvidia diseña los núcleos de GPU).
Cronología: HBM4 está en producción en masa ahora (SK Hynix apuntando al T3 2026 para su parte de 16 capas; Samsung ya muestreando HBM4E de 12 capas). LPDDR5X-PIM es silicio validado desde agosto de 2026, adelantado respecto a la estimación de producción de 2027-2028 dada en la actualización anterior. LPDDR6/LPDDR6X-PIM es el siguiente objetivo de Samsung, con una especificación JEDEC inicial esperada para finales de 2026.
Límites de IA en Dispositivo en el Galaxy S26
El Galaxy S26 Exynos 2600 con LPDDR5X 85.6 GB/s define el techo práctico para la inferencia LLM en dispositivo. Un modelo 7B cuantizado a Q4 alcanza ~8–15 tokens/seg de rendimiento realista. Esto es adecuado para tareas sensibles a la latencia (autocompletado, transcripción en tiempo real) pero poco práctico para conversaciones largas.
Límites de tamaño de modelo: un modelo 7B es práctico. Un modelo 13B a Q4 (~6.5 GB) alcanza 85.6 GB/s ÷ 6.5 GB = ~13 tokens/seg, apenas una mejora. Un modelo 70B a Q4 (~35 GB) alcanza 85.6 GB/s ÷ 35 GB = ~2 tokens/seg—inutilizable.
La cuantización es esencial: FP16 (2 bytes/parámetro) es poco práctico. Q4 (0.5 bytes/parámetro) es el punto óptimo—modelos 4x más pequeños con pérdida de calidad aceptable.
Compromiso velocidad vs. calidad: 7B Q4 es ~8–15 tokens/seg (aceptable para algunos casos). 3B Q4 es ~24–36 tokens/seg (excelente para tareas simples). 1B Q4 es ~60+ tokens/seg (tiempo real).
Casos de uso prácticos: autocompletado, sugerencia de código en tiempo real, transcripción en dispositivo, resumen local. No prácticos: conversaciones largas, razonamiento complejo, diálogo multi-turno sin caché.
El cuello de botella es el ancho de banda, no el cálculo ni el tamaño de peso. Incluso reduciendo los parámetros del modelo a 0, la memoria aún necesitaría transferirlos, y el ancho de banda es fijo. LPDDR5X-PIM ayuda reduciendo el movimiento de datos necesario, pero no elimina el límite de ancho de banda base.
- Use el ancho de banda LPDDR5X 85.6 GB/s para estimar tokens/seg máximos: divida por el tamaño del modelo en GB
- 7B Q4 (3.5 GB): ~24 tokens/seg teoría; ~8–15 real (práctico)
- 13B Q4 (6.5 GB): ~13 tokens/seg teoría; ~4–8 real (lento)
- 1B Q4 (~500 MB): ~171 tokens/seg teoría; ~50–100 real (rápido)
- La cuantización es obligatoria: Q4 es la base para modelos usables en dispositivo
- LPDDR5X-PIM (validado, aún no en el Galaxy S26) podría añadir ~3x de rendimiento cuando llegue a un SoC de teléfono
Centro de Datos vs. Teléfono: La Brecha de Ancho de Banda de 14x
Una GPU Nvidia H100 con HBM3E (1.229 TB/s) es 14x más rápida en rendimiento de inferencia que un Galaxy S26 (LPDDR5X 85.6 GB/s). Esta brecha no se debe a FLOPS de cálculo (ambos son rápidos), sino a ancho de banda de memoria puro.
Por qué existe la brecha: HBM es físicamente diferente. LPDDR5X es una película delgada junto a la CPU (eficiente en energía para teléfonos). HBM es una pila de chips de memoria unidos directamente a la GPU mediante vías a través de silicio (TSV), creando un ancho de banda masivo. Los stacks HBM tienen 2+ pulgadas de altura; imposible de meter en un teléfono.
Por qué no se puede cerrar del todo: los teléfonos tienen restricciones térmicas y de energía. HBM consume energía significativa (~100+ W por stack completo). LPDDR5X es ~5–10 W. No se puede meter físicamente el ancho de banda de HBM en un teléfono sin destruir la duración de la batería.
Consecuencia: la IA en dispositivo seguirá siendo más lenta que la IA en la nube para modelos grandes. Modelos más pequeños, cuantización agresiva y almacenamiento en caché inteligente son las soluciones.
El lado positivo: en dispositivo es privado, funciona sin conexión, y con latencia cero para tareas sensibles a la privacidad. La penalización de velocidad de 14x es el precio de la privacidad.
Actualización: Samsung validó LPDDR5X-PIM en Hot Chips 2026 (25 de agosto de 2026)—3.01x de rendimiento medido (27.0 → 81.3 tokens/seg en Llama-3.1-8B) en un chip compatible con pines, muy por delante del cronograma de 2027-2028 citado anteriormente en esta página. LPDDR6 (aún 2027-2028) apunta a ~200 GB/s, ~6x más lento que HBM3E. Juntos, PIM ahora y LPDDR6 después reducen significativamente la brecha teléfono-vs-centro-de-datos sin cerrarla del todo—la brecha bruta de 14x se acerca a 4-6x en la práctica una vez que PIM llegue a SoCs de teléfono.
Hoja de Ruta de Memoria: HBM4 y LPDDR6
HBM4 / HBM4E (SK Hynix + Samsung, ya en producción en masa): >2 TB/s por stack para el HBM4 de 16 capas de SK Hynix (producción en masa objetivo T3 2026); 3.6 TB/s por stack para el HBM4E de 12 capas de Samsung, muestreando desde mayo de 2026. Llega primero a las GPUs de próxima generación de Nvidia. Sigue siendo irrelevante para teléfonos.
LPDDR5X-PIM (Samsung, validado en agosto de 2026): Processing-In-Memory integra cálculo dentro del die DRAM. Esto pasó de "en desarrollo" a "demostrado, silicio probado" en Hot Chips 2026: 3.01x de mejora de inferencia medida (27.0 → 81.3 tokens/seg en Llama-3.1-8B) con hasta 8x de ancho de banda interno en modo PIM, en un chip compatible con pines. No igualará el ancho de banda de HBM, pero es real y está adelantado respecto a la estimación previa de producción de 2027-2028.
LPDDR6 / LPDDR6X-PIM (2027-2028): ~200+ GB/s estimados para LPDDR6 estándar—aproximadamente 2.3x el ancho de banda de LPDDR5X. Para un modelo 7B Q4: 200 GB/s ÷ 3.5 GB ≈ 57 tokens/seg teóricos (subiendo desde 24), ~20–35 tokens/seg reales. Samsung ya está mirando más allá de LPDDR5X-PIM hacia LPDDR6X-PIM, y espera una especificación JEDEC inicial para finales de 2026.
Realidad: Incluso con LPDDR5X-PIM enviándose y LPDDR6 en la hoja de ruta, los teléfonos seguirán siendo varias veces más lentos que los centros de datos para inferencia—Samsung mismo posiciona PIM como un complemento de HBM para dispositivos limitados por costo/energía, no una solución de paridad de ancho de banda.
Para IA en dispositivo, finales de 2026: Exynos 2600 + LPDDR5X estándar sigue siendo la base de envío para el Galaxy S26. LPDDR5X-PIM está validado pero aún no ha aparecido en un SoC de teléfono enviado—espere que los aceleradores de IA de borde lo obtengan primero.
Preguntas Frecuentes
¿Cuál es el ancho de banda de memoria de LPDDR5X?
LPDDR5X a 10.7 Gbps en un bus x64 ofrece 85.6 GB/s, la velocidad de memoria usada en el Galaxy S26, el Snapdragon 8 Elite Gen 5 y la mayoría de los teléfonos flagship de 2026. Eso es entre 5.4x y 14x más lento que el HBM de centro de datos (desde HBM2E a 460 GB/s hasta HBM4/HBM4E a 2-3.6 TB/s por stack), por lo que la inferencia de IA en el dispositivo es mucho más lenta que en un centro de datos para el mismo tamaño de modelo. La variante LPDDR5X-PIM de Samsung, validada en agosto de 2026, cierra parte de esa brecha: ejecutó Llama-3.1-8B a 3.01x los tokens/seg del LPDDR5X estándar en la propia demostración de Samsung en Hot Chips 2026.
¿Por qué el ancho de banda de memoria es el cuello de botella para la inferencia de IA?
Porque la fase de decodificación (generar cada token) requiere cargar todo el modelo en memoria para una pasada hacia adelante. Las unidades de cálculo terminan rápido, pero la memoria no puede alimentarlas con datos lo suficientemente rápido.
¿Cuál es la fórmula de tokens/seg para IA en dispositivo?
Simplificada: tokens/seg = ancho_banda_memoria / (tamaño_modelo × bytes_por_precisión). Para un modelo 7B FP16 (14 GB) a 85.6 GB/s: 85.6 ÷ 14 = ~6 tokens/seg. Cuantizado Q4 (3.5 GB): 85.6 ÷ 3.5 = ~24 tokens/seg.
¿Domina SK Hynix el mercado de HBM?
SK Hynix lidera los envíos de HBM, con una cuota reportada de entre 50–62% según el trimestre de 2026. Samsung cerró parte de la brecha: envió muestras de HBM4E de 12 capas a 3.6 TB/s en mayo de 2026, superando la especificación de HBM4 de SK en ese punto concreto.
¿Puede Samsung alcanzar a SK Hynix en HBM?
Samsung está más cerca que antes: sus muestras de HBM4E de 12 capas (3.6 TB/s, mayo de 2026) superan sobre el papel la especificación de HBM4 de SK Hynix, aunque SK sigue liderando en volumen total. Para teléfonos, Samsung ni siquiera intenta igualar el ancho de banda de HBM—validó LPDDR5X-PIM en su lugar.
¿Cuándo se lanza LPDDR6?
Aún estimado para 2027-2028 en la era Galaxy S27/S28, sin cambios desde la última actualización. ~200+ GB/s (2.3x LPDDR5X). LPDDR5X-PIM, en cambio, ya es silicio validado desde agosto de 2026—es probable que llegue a dispositivos de borde antes que LPDDR6.
¿Por qué no se puede poner HBM en un teléfono?
Restricciones físicas: los stacks HBM tienen 2+ pulgadas de altura. El consumo de energía de HBM (~100+ W) acaba con la duración de la batería. LPDDR5X es película delgada, 5–10 W. Esto no ha cambiado con HBM4/HBM4E—las nuevas generaciones son más rápidas pero no más pequeñas ni de menor consumo.
¿LPDDR5X-PIM cerrará la brecha con HBM?
Parcialmente, y ahora está medido, no proyectado. Samsung mostró un chip real en Hot Chips 2026 ejecutando Llama-3.1-8B a 81.3 tokens/seg frente a 27.0 tokens/seg en LPDDR5X estándar—una ganancia de 3.01x. Sigue quedando lejos de la brecha bruta de 14x con HBM3E, pero es una mejora real mayor que la estimación de "~50%" que esta página citaba antes.
¿Es relevante el cálculo FLOPS para la IA en dispositivo?
No tanto como se piensa. La decodificación está limitada por memoria, no por cálculo. Una unidad de cálculo más lenta con memoria más rápida vence a una más rápida con memoria más lenta.
¿Puedo ejecutar un modelo 70B en el Galaxy S26?
Técnicamente sí; prácticamente no. 70B Q4 (~35 GB) da 85.6 GB/s ÷ 35 GB = ~2 tokens/seg. Eso es 1 token por segundo—inutilizable para cualquier tarea interactiva. Quédese con 7B o menos.