Points clés
- La bande passante mémoire, pas les TOPS, est le goulot d'étranglement de la phase de décodage de l'inférence IA. Formule: tokens/sec ≈ bande_passante_mémoire / taille_modèle_en_octets. Un modèle 7B en FP16 (14 GB) à LPDDR5X 85,6 GB/s = ~6 tokens/sec. Le même modèle quantifié Q4 (3,5 GB) = ~24 tokens/sec. Data-center H100 HBM3E (1.229 TB/s) = ~88 tokens/sec.
- SK Hynix domine les livraisons HBM (environ 50–62% de part selon le trimestre 2026) et fournit Nvidia H100, H200, B200. Le HBM4 (>2 TB/s) est désormais en production de masse: SK Hynix vise sa variante 16 couches de 48 GB pour le T3 2026, tandis que Samsung a livré en mai 2026 les premiers échantillons HBM4E 12 couches du secteur à 3,6 TB/s par stack — devançant SK Hynix sur cette métrique précise.
- Samsung a validé LPDDR5X-PIM (Processing-In-Memory) comme du silicium réel et testé au Hot Chips 2026 (25 août 2026), pas un concept de laboratoire. En faisant tourner Llama-3.1-8B sur un SoC accélérateur IA en périphérie, la puce a atteint 81,3 tokens/sec contre 27,0 tokens/sec en LPDDR5X standard: une amélioration mesurée de 3,01x, avec jusqu'à 8x de bande passante interne en mode PIM. La puce est compatible broche par broche avec le LPDDR5X standard (même boîtier 561 billes), donc une mise à niveau directe.
- L'IA sur appareil restera plus lente que l'IA cloud pour les gros modèles — impossible de mettre du HBM dans un téléphone — mais l'écart sur téléphone vient de se réduire. LPDDR5X-PIM n'égale pas la bande passante du HBM; il réduit le mouvement de données, d'où un gain de débit (3x) plus petit que l'écart de bande passante brut (14x) mais tout de même significatif.
- L'Exynos 2600 (Galaxy S26) est toujours livré avec du LPDDR5X standard, atteignant ~8–15 tokens/sec réalistes pour un modèle 7B quantifié. LPDDR5X-PIM est validé mais pas encore dans un SoC de téléphone commercialisé — attendez-vous à le voir d'abord dans des accélérateurs IA en périphérie.
- Le goulot d'étranglement de bande passante mémoire explique toujours pourquoi le fine-tuning ou la distillation n'aident pas: chaque paramètre doit encore être chargé en mémoire à chaque passe. Les modèles plus petits aident (3B, 1B), et la quantification reste la solution de base pour les téléphones — PIM est un levier supplémentaire, pas un remplacement.
Pourquoi la Bande Passante Mémoire Détermine la Vitesse IA
Pendant la phase de décodage de l'inférence LLM, le GPU/NPU doit charger le modèle entier en mémoire, effectuer une passe avant par token, et écrire la sortie. Le goulot d'étranglement: à quelle vitesse peut-on alimenter les unités de calcul en paramètres? C'est la bande passante mémoire, pas les TOPS de calcul.
Formule simplifiée: tokens/sec = bande_passante_mémoire / (taille_modèle_en_octets × octets_par_précision). Pour FP16 (2 octets par paramètre), un modèle 7B = 14 GB. À LPDDR5X 85,6 GB/s: 85,6 GB/s ÷ 14 GB = ~6 tokens/sec maximum théorique. En pratique, 3–5 tokens/sec en raison du calcul et du cache.
La quantification change radicalement l'équation. Q4 (4 bits, 0,5 octet par paramètre) réduit un modèle 7B à 3,5 GB. 85,6 GB/s ÷ 3,5 GB = ~24 tokens/sec théoriques. En conditions réelles ~8–15 tokens/sec, une amélioration de 3–4x.
Le data-center H100 avec HBM3E (1.229 TB/s) peut soutenir 100+ tokens/sec pour le même modèle, car HBM est 14x plus rapide. C'est pourquoi les modèles de pointe (70B, 405B) ne tournent qu'en data center—il faut la bande passante HBM.
L'inférence diffère de l'entraînement. L'entraînement est limité par le calcul (1000+ passes pour mettre à jour les poids). L'inférence (surtout avec cache de prompt) est une seule passe avant, purement limitée par la bande passante mémoire.
📍 En une phrase
Le décodage LLM est limité par la bande passante mémoire: tokens/sec = bande passante / taille du modèle. Sur appareil 85,6 GB/s vs data-center 1.229 TB/s = écart de 14x.
💬 En termes simples
Pensez à une chaîne de montage: le calcul est les ouvriers, la mémoire est la chaîne d'approvisionnement. Plus d'ouvriers (plus de FLOPS) n'aide pas si les fournitures (données) arrivent au même rythme. Les téléphones manquent d'une "chaîne d'approvisionnement rapide" (HBM).
Comparaison de Bande Passante Mémoire: LPDDR5X vs HBM
Type de Mémoire | Bande Passante | Utilisé Dans | Tokens/sec (7B FP16) | Tokens/sec (7B Q4) |
|---|---|---|---|---|
| LPDDR5X 10,7 Gbps | 85,6 GB/s (bus x64) | Galaxy S26, Snapdragon 8 Elite Gen 5 | ~6 tokens/sec (théorie); ~3–5 réel | ~24 tokens/sec (théorie); ~8–15 réel |
| HBM2E | ~460 GB/s par stack | GPU anciens (P100, V100) | ~33 tokens/sec (théorie) | ~131 tokens/sec (théorie) |
| HBM3 19,2 Gbps | ~819 GB/s par stack | Nvidia A100, variante 80GB | ~59 tokens/sec (théorie) | ~234 tokens/sec (théorie) |
| HBM3E 21,4 Gbps | 1,18–1,229 TB/s par stack | Nvidia H100, H200, B200 | ~88 tokens/sec (théorie); ~60–80 réel | ~352 tokens/sec (théorie); ~200+ réel |
| HBM4 (SK Hynix, 16 couches) | >2 TB/s par stack, 48 GB | GPU Nvidia (prod. masse T3 2026) | ~143 tokens/sec (théorie) | ~571 tokens/sec (théorie) |
| HBM4E (Samsung, 12 couches) | 3,6 TB/s par stack | Échantillons livrés mai 2026 | ~257 tokens/sec (théorie) | ~1 029 tokens/sec (théorie) |
| LPDDR5X-PIM (Samsung, validé) | 85,6 GB/s + jusqu'à 8x interne (mode PIM) | Hot Chips 2026, compatible broches | Non mesuré pour 7B FP16 | Llama-3.1-8B: 81,3 vs 27,0 tok/sec (3,01x) |
Samsung et SK Hynix: Qui Fait Quoi
SK Hynix — Leader en Volume HBM: SK domine les livraisons HBM, avec une part rapportée d'environ 50–62% selon le trimestre 2026 et la méthode de mesure. SK fournit HBM3E à Nvidia pour les GPU H100, H200 et B200, et vise la production de masse de son HBM4 16 couches (48 GB, >2 TB/s) pour le T3 2026.
Samsung — Avance de Vitesse HBM4E, LPDDR5X-PIM Validé: Samsung a livré le 29 mai 2026 les premiers échantillons HBM4E 12 couches du secteur, à 3,6 TB/s par stack — devançant la spécification HBM4 de SK Hynix sur cette métrique, même si SK reste en tête sur le volume total. Côté téléphone, Samsung a présenté LPDDR5X-PIM au Hot Chips 2026 (25 août 2026) comme du silicium validé et testé: un SoC accélérateur IA en périphérie a fait tourner Llama-3.1-8B à 81,3 tokens/sec contre 27,0 tokens/sec en LPDDR5X standard (3,01x), avec jusqu'à 8x de bande passante interne en mode PIM. La puce utilise le même boîtier 561 billes que le LPDDR5X standard, donc un remplacement direct.
Dynamique Concurrentielle: Samsung continue d'échantillonner du HBM (HBM3E, maintenant HBM4E) mais a historiquement pris du retard sur SK en rendement et en volume total. Le positionnement de Samsung pour LPDDR5X-PIM est explicite: un complément au HBM, pas un remplacement — ciblant smartphones, PC IA et accélérateurs en périphérie où le coût, la consommation et la complexité du HBM sont prohibitifs.
Les deux entreprises fournissent Nvidia: SK Hynix et Samsung fournissent tous deux du HBM pour la VRAM des GPU Nvidia; la DRAM standard (LPDDR/DDR) couvre la mémoire hôte/CPU. Aucune ne fournit le calcul (Nvidia conçoit les cœurs GPU).
Calendrier: Le HBM4 est en production de masse maintenant (SK Hynix vise le T3 2026 pour sa partie 16 couches; Samsung échantillonne déjà du HBM4E 12 couches). LPDDR5X-PIM est du silicium validé depuis août 2026, en avance sur l'estimation de production 2027-2028 donnée lors de la dernière mise à jour. LPDDR6/LPDDR6X-PIM est la prochaine cible de Samsung, avec une spécification JEDEC initiale espérée fin 2026.
Limites de l'IA Sur Appareil sur le Galaxy S26
Le Galaxy S26 Exynos 2600 avec LPDDR5X 85,6 GB/s définit le plafond pratique pour l'inférence LLM sur appareil. Un modèle 7B quantifié à Q4 atteint ~8–15 tokens/sec de performance réaliste. Cela convient aux tâches sensibles à la latence mais reste peu pratique pour de longues conversations.
Limites de taille de modèle: un modèle 7B est pratique. Un modèle 13B à Q4 (~6,5 GB) atteint 85,6 GB/s ÷ 6,5 GB = ~13 tokens/sec, à peine une amélioration. Un modèle 70B à Q4 (~35 GB) atteint 85,6 GB/s ÷ 35 GB = ~2 tokens/sec—inutilisable.
La quantification est essentielle: FP16 (2 octets/paramètre) est peu pratique. Q4 (0,5 octet/paramètre) est le point idéal—modèles 4x plus petits avec une perte de qualité acceptable.
Compromis vitesse vs qualité: 7B Q4 est ~8–15 tokens/sec. 3B Q4 est ~24–36 tokens/sec. 1B Q4 est ~60+ tokens/sec.
Cas d'usage pratiques: autocomplétion, suggestion de code en temps réel, transcription sur appareil, résumé local. Peu pratiques: longues conversations, raisonnement complexe, dialogue multi-tours sans cache.
Le goulot d'étranglement est la bande passante, pas le calcul ni la taille des poids. LPDDR5X-PIM aide en réduisant le mouvement de données nécessaire, mais n'élimine pas la limite de bande passante de base.
- Utilisez la bande passante LPDDR5X 85,6 GB/s pour estimer les tokens/sec maximum: divisez par la taille du modèle en GB
- 7B Q4 (3,5 GB): ~24 tokens/sec théorie; ~8–15 réel (pratique)
- 13B Q4 (6,5 GB): ~13 tokens/sec théorie; ~4–8 réel (lent)
- 1B Q4 (~500 MB): ~171 tokens/sec théorie; ~50–100 réel (rapide)
- La quantification est obligatoire: Q4 est la base pour des modèles utilisables sur appareil
- LPDDR5X-PIM (validé, pas encore sur Galaxy S26) pourrait ajouter ~3x de débit à son arrivée dans un SoC de téléphone
Data Center vs. Téléphone: L'Écart de Bande Passante de 14x
Un GPU Nvidia H100 avec HBM3E (1.229 TB/s) est 14x plus rapide en débit d'inférence qu'un Galaxy S26 (LPDDR5X 85,6 GB/s). Cet écart n'est pas dû aux FLOPS de calcul (les deux sont rapides), mais à la pure bande passante mémoire.
Pourquoi l'écart existe: HBM est physiquement différent. LPDDR5X est un film mince à côté du CPU (économe en énergie pour les téléphones). HBM est un empilement de puces mémoire directement liées au GPU via des vias traversants en silicium (TSV). Les stacks HBM font 2+ pouces de haut; impossible de les mettre dans un téléphone.
Pourquoi il ne peut être comblé: les téléphones sont contraints thermiquement et énergétiquement. Le HBM consomme une puissance significative (~100+ W par stack complet). LPDDR5X est ~5–10 W. Impossible d'intégrer physiquement la bande passante HBM dans un téléphone sans détruire l'autonomie.
Conséquence: l'IA sur appareil restera plus lente que l'IA cloud pour les gros modèles. Modèles plus petits, quantification agressive et mise en cache intelligente sont les solutions.
L'autre côté de la médaille: sur appareil, c'est privé, utilisable hors ligne, et à latence zéro pour les tâches sensibles à la confidentialité. La pénalité de vitesse de 14x est le prix de la confidentialité.
Mise à jour: Samsung a validé LPDDR5X-PIM au Hot Chips 2026 (25 août 2026) — gain de débit mesuré de 3,01x (27,0 → 81,3 tokens/sec sur Llama-3.1-8B) sur une puce compatible broches, bien en avance sur le calendrier 2027-2028 précédemment cité sur cette page. LPDDR6 (toujours 2027-2028) vise ~200 GB/s, ~6x plus lent que HBM3E. Ensemble, PIM maintenant et LPDDR6 plus tard réduisent significativement l'écart téléphone-vs-data-center sans le combler — l'écart brut de 14x se rapproche de 4-6x en pratique une fois PIM déployé dans les SoC de téléphone.
Feuille de Route Mémoire: HBM4 et LPDDR6
HBM4 / HBM4E (SK Hynix + Samsung, désormais en production de masse): >2 TB/s par stack pour le HBM4 16 couches de SK Hynix (production de masse visée T3 2026); 3,6 TB/s par stack pour le HBM4E 12 couches de Samsung, échantillonné depuis mai 2026. Arrive d'abord dans les GPU Nvidia nouvelle génération. Toujours hors de portée des téléphones.
LPDDR5X-PIM (Samsung, validé en août 2026): Le Processing-In-Memory intègre le calcul directement dans la puce DRAM. C'est passé de "en développement" à "démontré, silicium testé" au Hot Chips 2026: gain d'inférence mesuré de 3,01x (27,0 → 81,3 tokens/sec sur Llama-3.1-8B) avec jusqu'à 8x de bande passante interne en mode PIM, sur une puce compatible broches. Cela n'égalera pas la bande passante HBM, mais c'est réel et en avance sur l'estimation précédente de 2027-2028.
LPDDR6 / LPDDR6X-PIM (2027-2028): ~200+ GB/s estimés pour le LPDDR6 standard — environ 2,3x la bande passante du LPDDR5X. Pour un modèle 7B Q4: 200 GB/s ÷ 3,5 GB ≈ 57 tokens/sec théoriques (contre 24), ~20–35 réels. Samsung regarde déjà au-delà de LPDDR5X-PIM vers LPDDR6X-PIM, avec l'espoir d'une spécification JEDEC initiale fin 2026.
Réalité: Même avec LPDDR5X-PIM déployé et LPDDR6 sur la feuille de route, les téléphones resteront plusieurs fois plus lents que les data centers pour l'inférence — Samsung positionne lui-même PIM comme un complément au HBM pour les appareils contraints en coût/énergie, pas une parité de bande passante.
Pour l'IA sur appareil, fin 2026: Exynos 2600 + LPDDR5X standard reste la base commercialisée pour le Galaxy S26. LPDDR5X-PIM est validé mais pas encore apparu dans un SoC de téléphone commercialisé—attendez-vous à ce que les accélérateurs IA en périphérie l'obtiennent en premier.
Questions Fréquentes
Quelle est la bande passante mémoire du LPDDR5X ?
Le LPDDR5X à 10,7 Gbps sur un bus x64 offre 85,6 Go/s — la vitesse mémoire utilisée dans le Galaxy S26, le Snapdragon 8 Elite Gen 5 et la plupart des téléphones haut de gamme de 2026. C'est environ 5,4 à 14 fois plus lent que le HBM des centres de données (du HBM2E à 460 Go/s jusqu'au HBM4/HBM4E à 2-3,6 To/s par stack), ce qui explique pourquoi l'inférence IA sur l'appareil est bien plus lente qu'en centre de données pour une même taille de modèle. La variante LPDDR5X-PIM de Samsung, validée en août 2026, comble une partie de cet écart : elle a fait tourner Llama-3.1-8B à 3,01 fois le débit en tokens/s du LPDDR5X standard lors de la démonstration de Samsung à Hot Chips 2026.
Pourquoi la bande passante mémoire est-elle le goulot d'étranglement pour l'inférence IA?
Parce que la phase de décodage (générer chaque token) nécessite de charger le modèle entier en mémoire pour une passe avant. Les unités de calcul finissent vite, mais la mémoire ne peut pas les alimenter assez vite.
Quelle est la formule tokens/sec pour l'IA sur appareil?
Simplifiée: tokens/sec = bande_passante_mémoire / (taille_modèle × octets_par_précision). Pour un modèle 7B FP16 (14 GB) à 85,6 GB/s: 85,6 ÷ 14 = ~6 tokens/sec. Quantifié Q4 (3,5 GB): 85,6 ÷ 3,5 = ~24 tokens/sec.
SK Hynix domine-t-il le marché HBM?
SK Hynix domine les livraisons HBM, avec une part rapportée de 50–62% selon le trimestre 2026. Samsung a comblé une partie de l'écart: il a livré des échantillons HBM4E 12 couches à 3,6 TB/s en mai 2026, devançant la spécification HBM4 de SK sur ce point précis.
Samsung peut-il rattraper SK Hynix en HBM?
Samsung est plus proche qu'avant: ses échantillons HBM4E 12 couches (3,6 TB/s, mai 2026) dépassent sur le papier la spécification de bande passante HBM4 de SK Hynix, même si SK reste en tête sur le volume total. Pour les téléphones, Samsung n'essaie même pas d'égaler la bande passante HBM—il a validé LPDDR5X-PIM à la place.
Quand LPDDR6 sera-t-il disponible?
Toujours estimé pour 2027-2028 dans l'ère Galaxy S27/S28, inchangé depuis la dernière mise à jour. ~200+ GB/s (2,3x LPDDR5X). LPDDR5X-PIM, en revanche, est déjà du silicium validé depuis août 2026—il atteindra probablement les appareils en périphérie avant LPDDR6.
Pourquoi ne peut-on pas mettre du HBM dans un téléphone?
Contraintes physiques: les stacks HBM font 2+ pouces de haut. La consommation HBM (~100+ W) détruit l'autonomie. LPDDR5X est un film mince, 5–10 W. Cela n'a pas changé avec HBM4/HBM4E—les nouvelles générations sont plus rapides mais pas plus petites ni moins gourmandes.
LPDDR5X-PIM comblera-t-il l'écart avec HBM?
Partiellement, et c'est maintenant mesuré, pas projeté. Samsung a montré une vraie puce au Hot Chips 2026 faisant tourner Llama-3.1-8B à 81,3 tokens/sec contre 27,0 tokens/sec en LPDDR5X standard—un gain de 3,01x. Cela reste loin de l'écart brut de 14x avec HBM3E, mais c'est une amélioration réelle plus importante que l'estimation "~50%" précédemment citée sur cette page.
Les FLOPS de calcul sont-ils pertinents pour l'IA sur appareil?
Pas autant qu'on le pense. Le décodage est limité par la mémoire, pas par le calcul. Une unité de calcul plus lente avec une mémoire plus rapide bat une unité plus rapide avec une mémoire plus lente.
Puis-je exécuter un modèle 70B sur le Galaxy S26?
Techniquement oui; en pratique non. 70B Q4 (~35 GB) donne 85,6 GB/s ÷ 35 GB = ~2 tokens/sec. C'est 1 token par seconde—inutilisable pour toute tâche interactive. Restez sur 7B ou moins.