关键要点
- 内存带宽,而非TOPS,是AI推理解码阶段的瓶颈。公式:tokens/sec ≈ memory_bandwidth / model_size_in_bytes。FP16的7B模型(14 GB)在LPDDR5X 85.6 GB/s下 = ~6 tokens/sec。同模型Q4量化(3.5 GB) = ~24 tokens/sec。数据中心H100 HBM3E(1.229 TB/s) = ~88 tokens/sec。
- SK海力士主导HBM出货(2026年各季度份额约50–62%),供应Nvidia H100、H200、B200。HBM4(>2 TB/s)现已量产:SK海力士的16层、48 GB版本目标2026年第三季度量产,而三星于2026年5月率先出货业界首批12层HBM4E样品(每堆栈3.6 TB/s),在这一具体指标上领先SK海力士。
- 三星在2026年8月25日的Hot Chips 2026上,将LPDDR5X-PIM(内存内处理)验证为真实、经过测试的芯片——而非实验室概念。在边缘AI加速器SoC上运行Llama-3.1-8B,达到81.3 tokens/sec,相比标准LPDDR5X的27.0 tokens/sec:实测提升3.01倍,PIM模式下内部带宽最高提升8倍。该芯片与标准LPDDR5X引脚兼容(相同的561球封装),因此是即插即用的升级。
- 对于大型模型,设备端AI仍将比云AI慢——手机装不下HBM——但手机上的差距刚刚缩小。LPDDR5X-PIM并未达到HBM带宽;它通过减少数据移动实现提升,因此吞吐量增益(3倍)小于原始带宽差距(14倍),但对实际工作负载仍有实质意义。
- Exynos 2600(Galaxy S26)仍搭载标准LPDDR5X,对于量化7B模型现实中可达~8–15 tokens/sec。LPDDR5X-PIM已通过验证,但尚未出现在已出货的手机SoC中——预计边缘AI加速器会先采用。
- 内存带宽瓶颈仍然解释了为什么微调或蒸馏无济于事:每次前向传递仍需将每个参数加载到内存。更小的模型(3B、1B)有帮助,量化仍是手机的基础解决方案——PIM是额外的手段,而非替代方案。
为什么内存带宽决定AI速度
在LLM推理的解码阶段,GPU/NPU必须将整个模型加载到内存中,每个token执行一次前向传递,并写出输出。瓶颈在于:能以多快的速度向计算单元供给参数?这是内存带宽,而非计算TOPS。
简化公式:tokens/sec = memory_bandwidth / (model_size_in_bytes × bytes_per_precision)。对于FP16(每参数2字节),7B模型 = 14 GB。在LPDDR5X 85.6 GB/s下:85.6 GB/s ÷ 14 GB = 理论最大值~6 tokens/sec。实际中因计算和缓存开销约为3–5 tokens/sec。
量化极大地改变了这个方程。Q4(4位,每参数0.5字节)将7B模型缩小到3.5 GB。85.6 GB/s ÷ 3.5 GB = 理论上~24 tokens/sec。实际中约~8–15 tokens/sec,提升3–4倍。
配备HBM3E(1.229 TB/s)的数据中心H100可为同一模型维持100+ tokens/sec,因为HBM快14倍。这就是为什么前沿模型(70B、405B)只能在数据中心运行——需要HBM带宽。
推理与训练不同。训练受计算限制(需要1000多次传递来更新权重)。推理(特别是提示缓存后)是单次前向传递,纯粹受内存带宽限制。
📍 简单一句话
LLM解码受内存带宽限制:tokens/sec = 带宽 / 模型大小。设备端85.6 GB/s vs 数据中心1.229 TB/s = 14倍差距。
💬 简单来说
想象一条装配线:计算是工人,内存是供应链。更多工人(更多FLOPS)如果供应(数据)到达速度不变则没有帮助。手机缺少"快速供应链"(HBM)。
内存带宽对比: LPDDR5X vs HBM
内存类型 | 带宽 | 使用场景 | Tokens/sec(7B FP16) | Tokens/sec(7B Q4) |
|---|---|---|---|---|
| LPDDR5X 10.7 Gbps | 85.6 GB/s(x64总线) | Galaxy S26、Snapdragon 8 Elite Gen 5 | ~6 tokens/sec(理论);~3–5 实际 | ~24 tokens/sec(理论);~8–15 实际 |
| HBM2E | 每堆栈~460 GB/s | 旧款GPU(P100、V100) | ~33 tokens/sec(理论) | ~131 tokens/sec(理论) |
| HBM3 19.2 Gbps | 每堆栈~819 GB/s | Nvidia A100、80GB版本 | ~59 tokens/sec(理论) | ~234 tokens/sec(理论) |
| HBM3E 21.4 Gbps | 每堆栈1.18–1.229 TB/s | Nvidia H100、H200、B200 | ~88 tokens/sec(理论);~60–80 实际 | ~352 tokens/sec(理论);~200+ 实际 |
| HBM4(SK海力士,16层) | 每堆栈>2 TB/s,48 GB | Nvidia下一代GPU(2026年Q3量产) | ~143 tokens/sec(理论) | ~571 tokens/sec(理论) |
| HBM4E(三星,12层) | 每堆栈3.6 TB/s | 2026年5月出货样品 | ~257 tokens/sec(理论) | ~1,029 tokens/sec(理论) |
| LPDDR5X-PIM(三星,已验证) | 85.6 GB/s + PIM模式下内部最高8倍 | Hot Chips 2026展示,引脚兼容 | 未针对7B FP16测量 | Llama-3.1-8B: 81.3 vs 27.0 tok/sec(3.01倍) |
三星与SK海力士: 谁做什么
SK海力士 — HBM出货量领导者:SK在HBM出货量上领先,根据2026年不同季度和统计口径,报告份额约在50–62%之间。SK为Nvidia的H100、H200、B200 GPU供应HBM3E,并以2026年第三季度量产其16层HBM4(48 GB,>2 TB/s)为目标。
三星 — HBM4E速度领先,LPDDR5X-PIM已验证:三星于2026年5月29日率先出货业界首批12层HBM4E样品,每堆栈3.6 TB/s——在这一具体指标上超过SK海力士的HBM4规格,尽管SK仍在总出货量上领先。在手机方面,三星在2026年8月25日的Hot Chips 2026上展示了LPDDR5X-PIM,作为已验证、经过测试的芯片:边缘AI加速器SoC运行Llama-3.1-8B达到81.3 tokens/sec,相比标准LPDDR5X的27.0 tokens/sec(3.01倍),PIM模式下内部带宽最高提升8倍。该芯片使用与标准LPDDR5X相同的561球封装,因此是直接替换,而非新的外形规格。
竞争格局:三星继续送样HBM(HBM3E,现为HBM4E),但历来在良率和总HBM出货量上落后于SK。三星对LPDDR5X-PIM的定位很明确:作为HBM的补充而非替代——瞄准智能手机、AI PC和边缘加速器,这些场景中HBM的成本、功耗和封装复杂度过于高昂。
两家公司都为Nvidia供货:SK海力士和三星都为Nvidia GPU的显存提供HBM;标准DRAM(LPDDR/DDR)覆盖主机/CPU内存。两者都不提供计算部分(Nvidia设计GPU核心)。
时间表:HBM4现已量产(SK海力士以2026年第三季度实现其16层部分量产为目标;三星已在送样12层HBM4E)。LPDDR5X-PIM自2026年8月起已是经过验证的芯片,远早于上次更新时给出的2027-2028年量产预估。LPDDR6/LPDDR6X-PIM是三星的下一个目标,希望在2026年内获得JEDEC的初步规范。
Galaxy S26上的设备端AI限制
Galaxy S26 Exynos 2600搭配LPDDR5X 85.6 GB/s,定义了设备端LLM推理的实际上限。经Q4量化的7B模型可实现约~8–15 tokens/sec的现实性能。这适合对延迟敏感的任务,但对长对话并不实用。
模型大小限制:7B模型是可行的。13B Q4模型(~6.5 GB)可达85.6 GB/s ÷ 6.5 GB = ~13 tokens/sec,几乎没有改善。70B Q4模型(~35 GB)可达85.6 GB/s ÷ 35 GB = ~2 tokens/sec——不可用。
量化是必不可少的:FP16(每参数2字节)不实用。Q4(每参数0.5字节)是最佳平衡点——模型缩小4倍,质量损失可接受。
速度与质量的权衡:7B Q4约~8–15 tokens/sec。3B Q4约~24–36 tokens/sec。1B Q4约~60+ tokens/sec。
实际使用场景:自动补全、实时代码建议、设备端转录、本地摘要。不实用的场景:长对话、复杂推理、无缓存的多轮对话。
瓶颈是带宽,而非计算或权重大小。LPDDR5X-PIM通过减少所需的数据移动来提供帮助,但并未消除基本的带宽限制。
- 使用LPDDR5X 85.6 GB/s带宽估算最大tokens/sec:除以模型大小(GB)
- 7B Q4(3.5 GB):理论~24 tokens/sec;现实~8–15(实用)
- 13B Q4(6.5 GB):理论~13 tokens/sec;现实~4–8(慢)
- 1B Q4(~500 MB):理论~171 tokens/sec;现实~50–100(快)
- 量化是强制性的:Q4是可用设备端模型的基准
- LPDDR5X-PIM(已验证,尚未进入Galaxy S26)一旦进入手机SoC,可能带来约3倍的吞吐量提升
数据中心 vs 手机: 14倍带宽差距
配备HBM3E(1.229 TB/s)的Nvidia H100 GPU在推理吞吐量上比Galaxy S26(LPDDR5X 85.6 GB/s)快14倍。这一差距并非源于计算FLOPS(两者都很快),而是纯粹的内存带宽。
差距存在的原因:HBM在物理上截然不同。LPDDR5X是CPU旁边的薄膜(对手机而言更省电)。HBM是通过硅通孔(TSV)直接键合到GPU上的内存芯片堆栈,产生巨大的带宽。HBM堆栈高达2英寸以上;不可能塞进手机。
为什么无法完全弥合:手机受到散热和功耗限制。HBM消耗大量功率(整个堆栈约~100+ W)。LPDDR5X约~5–10 W。在不摧毁电池续航的前提下,无法在物理上将HBM带宽塞进手机。
结果:对于大型模型,设备端AI将始终比云AI慢。更小的模型、激进的量化和智能缓存才是解决方案。
另一面:设备端是私密的、可离线使用的,对隐私敏感的任务实现零延迟。14倍的速度代价是隐私的成本。
更新:三星在2026年8月25日的Hot Chips 2026上验证了LPDDR5X-PIM——在引脚兼容的芯片上实测吞吐量提升3.01倍(27.0 → 81.3 tokens/sec,基于Llama-3.1-8B),远早于本页此前引用的2027-2028年时间线。LPDDR6(仍为2027-2028年)目标~200 GB/s,比HBM3E慢约6倍。现在的PIM加上未来的LPDDR6,将大幅缩小手机与数据中心的差距,但无法完全消除——一旦PIM进入手机SoC,原始的14倍带宽差距在实践中将接近4-6倍。
内存路线图: HBM4与LPDDR6
HBM4 / HBM4E(SK海力士 + 三星,现已量产):SK海力士16层HBM4每堆栈>2 TB/s(目标2026年第三季度量产);三星12层HBM4E每堆栈3.6 TB/s,自2026年5月起送样。首先出现在Nvidia下一代GPU中。对手机仍不相关。
LPDDR5X-PIM(三星,2026年8月验证):内存内处理将计算嵌入DRAM芯片内部。这在Hot Chips 2026上从"开发中"变为"已验证、经过测试的芯片":实测推理提升3.01倍(27.0 → 81.3 tokens/sec,基于Llama-3.1-8B),PIM模式下内部带宽最高提升8倍,芯片引脚兼容。它不会达到HBM带宽,但这是真实的,且远早于此前的2027-2028年量产预估。
LPDDR6 / LPDDR6X-PIM(2027-2028年):标准LPDDR6估计~200+ GB/s——约为LPDDR5X带宽的2.3倍。对于7B Q4模型:200 GB/s ÷ 3.5 GB ≈ 理论57 tokens/sec(从24上升),现实约~20–35 tokens/sec。三星已经将目光投向LPDDR5X-PIM之后的LPDDR6X-PIM,并希望在2026年内获得JEDEC的初步规范。
现实:即便LPDDR5X-PIM已出货、LPDDR6在路线图上,手机在推理上仍将比数据中心慢数倍——三星自己也将PIM定位为在成本/功耗受限设备上对HBM的补充,而非带宽对等的解决方案。
关于2026年下半年的设备端AI:Exynos 2600 + 标准LPDDR5X仍是Galaxy S26的出货基准。LPDDR5X-PIM已通过验证,但尚未出现在已出货的手机SoC中——预计边缘AI加速器会率先采用。
常见问题
LPDDR5X的内存带宽是多少?
LPDDR5X在x64总线上以10.7 Gbps运行,提供85.6 GB/s的带宽——这是Galaxy S26、骁龙8 Elite Gen 5以及2026年大多数旗舰手机所使用的内存速度。这比数据中心用的HBM(从HBM2E的460 GB/s到HBM4/HBM4E每堆栈2-3.6 TB/s)慢约5.4到14倍,这也是为什么在相同模型规模下,端侧AI推理比数据中心推理慢得多。三星于2026年8月验证的LPDDR5X-PIM变体缩小了部分差距——在三星自己的Hot Chips 2026演示中,该方案以标准LPDDR5X 3.01倍的tokens/sec运行了Llama-3.1-8B。
为什么内存带宽是AI推理的瓶颈?
因为解码阶段(生成每个token)需要为一次前向传递将整个模型加载到内存中。计算单元很快完成,但内存无法足够快地供给数据。
设备端AI的tokens/sec公式是什么?
简化版:tokens/sec = memory_bandwidth / (model_size × bytes_per_precision)。对于85.6 GB/s下的7B FP16模型(14 GB):85.6 ÷ 14 = ~6 tokens/sec。Q4量化(3.5 GB):85.6 ÷ 3.5 = ~24 tokens/sec。
SK海力士主导HBM市场吗?
SK海力士主导HBM出货,根据2026年不同季度报告份额为50–62%。三星缩小了部分差距:2026年5月出货12层HBM4E样品,每堆栈3.6 TB/s,在这一具体指标上超过了SK海力士的HBM4规格。
三星能在HBM上追上SK海力士吗?
三星比以前更接近了:其12层HBM4E样品(3.6 TB/s,2026年5月)在纸面上超过了SK海力士的HBM4带宽规格,尽管SK仍在总出货量上领先。对于手机,三星根本不打算追赶HBM带宽——而是转而验证了LPDDR5X-PIM。
LPDDR6何时出货?
仍预计在2027-2028年、Galaxy S27/S28时代出货,自上次更新以来没有变化。~200+ GB/s(LPDDR5X的2.3倍)。相比之下,LPDDR5X-PIM自2026年8月起已是经过验证的芯片——很可能先于LPDDR6到达边缘设备。
为什么不能把HBM装进手机?
物理限制:HBM堆栈高达2英寸以上。HBM功耗(~100+ W)会摧毁电池续航。LPDDR5X是薄膜,功耗5–10 W。HBM4/HBM4E并未改变这一点——新一代更快,但没有更小或更省电。
LPDDR5X-PIM能缩小与HBM的差距吗?
部分可以,而且现在是实测数据而非预测。三星在Hot Chips 2026上展示了真实芯片,运行Llama-3.1-8B达到81.3 tokens/sec,相比标准LPDDR5X的27.0 tokens/sec——提升3.01倍。这仍远低于与HBM3E的14倍原始差距,但比本页此前引用的"约50%"预估有更大的实际改善。
计算FLOPS对设备端AI重要吗?
不像人们想象的那么重要。解码受内存限制,而非计算限制。配备更快内存的较慢计算单元胜过配备较慢内存的更快计算单元。
我能在Galaxy S26上运行70B模型吗?
技术上可以;实际上不行。70B Q4(~35 GB)得出85.6 GB/s ÷ 35 GB = ~2 tokens/sec。这是每秒1个token——对任何交互式任务都不可用。请坚持使用7B或更小的模型。