关键要点
- MRAM(磁阻性RAM)： 使用磁隧道结(MTJ)的非易失性存储。无需刷新，无待机功耗。像DRAM一样支持字节寻址。
- 内存计算： 直接在存储阵列内部执行乘累加(MAC)运算。消除CPU/GPU与内存之间的数据移动 — 这是推理中的头号能耗来源。
- 当前状态： Samsung SAIT在Nature论文(2022年)中展示，图像任务准确率达98%。SemiFive + ICYTech实现8nm eMRAM流片(2026年5月)。尚无消费级产品。
- 关键限制： 流片 ≠ 硅返回 ≠ 出货产品。真实的能效数据仍待确定。消费级手机/PC在2029–2031年之前不太可能出现。
- 替代方案： Google TurboQuant(ICLR 2026)将KV缓存压缩至3比特且零精度损失 — 这是针对同一问题的纯软件方法，现已可用。
什么是MRAM？
MRAM使用磁性属性存储数据，而不是电荷(如DRAM)或被俘获的电子(如Flash)。其核心单元是磁隧道结(MTJ)：一层薄绝缘层夹在两个磁性层之间。小电流将结设置为高电阻或低电阻 — 高 = "1"，低 = "0"。
关键特性：
- 非易失性： 数据在断电后依然保留。无需刷新周期。
- 字节寻址： 与DRAM一样，可按单个字节读写。不同于Flash(基于页)。
- 零待机功耗： DRAM仅为保持数据存活(刷新电流)每GB就需要约0.5–1 mW。MRAM则无需任何功耗。
- 高耐久性： 商用MRAM可实现10^10至10^14次写入循环。DRAM/SRAM约为10^16(实际上无限)。NAND Flash为10^3–10^5。MRAM远优于Flash，与DRAM相当。
- 工艺集成： Samsung、TSMC等厂商可在28nm、14nm及更小节点上将MRAM直接嵌入逻辑晶圆。
片上AI的内存瓶颈
现代AI推理由单一问题主导：冯·诺依曼瓶颈。 计算(CPU/GPU)与内存在物理上是分离的。每一个神经网络运算都需要数据来回往返 — 权重、激活值、以及Transformer中的KV缓存。
与实际数学运算相比，这种数据移动的成本极其高昂：
在典型的本地LLM推理工作负载中，数据移动占总能耗的比例高达90%。计算本身 — 即实际的神经网络数学运算 — 几乎可以忽略不计。这造成了一种反常的局面：如果内存总线才是瓶颈，那么更大、更快的CPU/GPU也无济于事。
对于依靠电池运行的手机、笔记本电脑和边缘设备上的片上AI而言，这一瓶颈是延长推理时间而不耗尽电池的主要障碍。
| Operation | Energy cost | Relative |
|---|---|---|
| 32-bit DRAM access | ~640 pJ | ~200× more than a MAC op |
| 32-bit on-chip SRAM access | ~5 pJ | ~5× more than a MAC op |
| 32-bit floating-point multiply-accumulate (MAC) | ~0.9 pJ | baseline (1×) |
内存计算如何解决问题
内存计算(也称为存内处理或PIM)通过将计算移入存储阵列本身来解决这一问题。它不再将权重和激活值加载到单独的ALU中，而是直接在存储单元的交叉阵列中执行MAC运算。
工作原理：
- 神经网络权重存储为MRAM单元(或其他兼容模拟计算的存储)。
- 输入激活值以行电压的形式施加。
- 存储阵列的模拟属性在单次通过中完成矩阵-向量乘法 — 这正是Transformer推理的核心运算。
- 结果被读出并量化回数字形式。
MRAM的现状(2026年6月)
Samsung SAIT Nature论文(2022年1月)：
- 发表了一个64×64 MRAM交叉阵列执行内存计算的演示。
- 实现的准确率： 手写数字分类(MNIST)达98%，人脸检测达93%。
- 能效：方向上确认可受益于消除数据移动，但相对DRAM的具体量化功耗降幅在公开资料中未披露。
- 局限性：高度专用于经典ML任务(数字分类、目标检测)。尚未在大型Transformer推理上得到验证。
- SemiFive + ICYTech PNM MRAM边缘芯片(2026年5月)：
- 在Samsung Foundry 8nm(8LPU)工艺上成功实现流片，搭载嵌入式MRAM。
- 流片 = 设计提交制造。硅片尚未返回，基准测试尚未发布，产品也尚未出货。
- 宣称能力：无需网络连接即可在设备上对最高20亿参数的模型进行推理。
- 目标：边缘AI、人形机器人、汽车领域的文本摘要、翻译、对话式推理。
- 首批商业化面向亚洲；未公布北美时间表。
MRAM vs HBM vs DRAM vs LPDDR5：权衡取舍
MRAM相比HBM的优势：
- 非易失性：权重在断电后依然保留，可实现即时开机推理，无需从磁盘重新加载。
- 零刷新功耗：消除待机电流开销。
- 直接晶圆集成：无需单独的内存封装。
- 适合间歇供电的边缘节点和可穿戴设备。
- HBM相比MRAM(目前)的优势：
- 带宽高出许多：HBM4提供1.6 TB/s，而MRAM的嵌入式带宽(未公布，可能在10–100 GB/s范围)。
- 在大模型训练上具有经过验证的规模化密度。
- 不依赖专用的MTJ工艺集成。
- 现已在量产AI加速器中可用。
| Memory Type | Peak Bandwidth | Non-Volatile | Standby Power | Form Factor | Best For | Status for AI |
|---|---|---|---|---|---|---|
| HBM4 (High Bandwidth Memory) | ~1.6 TB/s per stack | 否 | 高(需刷新) | 堆叠于中介层上 | AI训练、高端推理 | 量产，已大规模验证 |
| LPDDR5X (mobile DRAM) | 68–77 GB/s | 否 | 高(需刷新) | 引线键合封装 | 边缘AI、移动推理 | 手机/平板的当前标准 |
| MRAM (embedded eMRAM) | 尚未公布 | 是 | 接近零 | 嵌入SoC晶圆 | 常开边缘AI、专用工作负载 | 研发中，已流片(2026年5月)，尚未进入消费级 |
| Standard DRAM | ~100–200 GB/s | 否 | 中等(需刷新) | DIMM、SO-DIMM | 通用计算、桌面推理 | 量产，无处不在 |
底线：MRAM和HBM如今并非竞争对手。HBM面向高带宽AI加速器(数据中心的GPU、TPU)。MRAM面向边缘推理和专用内存计算，在这些场景中，非易失性和SoC集成比原始带宽更重要。
软件替代方案：TurboQuant KV缓存压缩
在硬件研究人员攻关MRAM内存计算的同时，软件工程师正从另一个角度攻克内存瓶颈：压缩。
Google TurboQuant(ICLR 2026，2026年3月发布)：
- 将Transformer推理中的KV(键值)缓存压缩至3比特 — 低于常见的16比特或8比特格式。
- 6倍缩减KV缓存内存占用。在长上下文推理中，KV缓存可占用30–50%的VRAM。
- 在包括大海捞针评测(长上下文检索)在内的基准测试中零精度损失。
- 在H100 GPU上计算注意力logits时最高提速8倍(4比特TurboQuant对比32比特未量化)。
- 无需训练或微调。 可直接替换现有推理流水线。
- 工作原理：两阶段过程 — PolarQuant(使用Lloyd-Max质心在极坐标中量化) + QJL(量化Johnson-Lindenstrauss变换，添加纠错以在极端压缩下保持内积精度)。
- 已存在多个独立的开源实现。Google官方代码预计2026年第二季度发布。
- 为何重要： 纯软件的内存缩减*现已可用*，无需新硬件，并可在任何NVIDIA/AMD GPU或CPU上使用标准推理库运行。在等待MRAM成熟的同时，这是应对内存瓶颈的务实方案。
如果MRAM进入消费设备
消费级智能手机和PC采用MRAM将从三个方面重塑片上AI：
- 即时开机推理： 手机开机时，AI模型权重已存于SoC上的非易失性MRAM中，无需从存储重新加载。语音助手、实时翻译、片上推理可即时启动。
- 电池续航： 内存子系统无待机刷新损耗。对于常开AI功能(后台监听、隐私保护分析)，节能效果呈倍增。
- 在固定功耗预算下运行更大的模型： 如果内存计算相比LPDDR5加计算分离实现2–10倍能效，手机就能以与当今1B–2B模型相同的电池影响运行5B–10B模型。
时间表与坦诚展望
已确认的内容(依据已发布的路线图和公告)：
- 尚未确认的内容：
- 尚无主要智能手机OEM厂商(Apple、Qualcomm、MediaTek)宣布集成MRAM。
- 面向消费级VRAM规模(8–16 GB)的MRAM带宽和密度规格尚未公开。
- 大模型推理(30B+)的能效提升尚未在硅片中测得。
- 与LPDDR5或HBM的成本对等尚未列入任何已发布路线图。
- 现实的时间表：
- 2026–2028： 搭载小型MRAM内存计算单元的边缘AI SoC(机器人、汽车、IoT)。限于2B规模模型。亚洲优先部署。
- 2028–2030： 智能手机可能作为非易失性缓存或专用AI加速器单元集成MRAM(并非主内存替代)。
- 2030年以后： 作为DRAM替代的主流消费级手机部署，将需要解决尚未攻克的密度、带宽和成本难题。预计不会早于2031–2035年。
| Year | Milestone | Status |
|---|---|---|
| 2019 | Samsung在28nm量产eMRAM | ✓ 已完成 |
| 2024 | Samsung 14nm eMRAM量产 | ✓ 已完成 |
| 2026 | Samsung 8nm eMRAM量产；SemiFive/ICYTech流片 | ✓ 已完成(2026年6月) |
| 2027 | Samsung 5nm eMRAM工艺可用(路线图) | 按计划推进 |
| 2028–2029 | 首批搭载MRAM内存计算的边缘AI SoC可能出货(SemiFive等) | 可能但未确认 |
| 2029–2031 | 消费级智能手机可能集成MRAM(非易失性缓存或专用AI晶圆) | 推测性 |
常见问题
现在能为我的PC或手机购买MRAM吗？
不能。MRAM已在工业微控制器、汽车芯片和企业级存储中量产。而在消费级AI方面，截至2026年6月仅处于研发阶段。SemiFive/ICYTech芯片处于流片阶段 — 硅片尚未返回。消费级部署现实上还需3–5年以上。
MRAM会取代我GPU的VRAM吗？
短期内不太可能。MRAM擅长低待机功耗和非易失性，这对电池受限的边缘设备很重要。HBM解决的是另一个问题：为数据中心训练和大批量推理提供最大带宽。对于消费级手机和专用边缘AI，MRAM可能会成为一个组件(嵌入式缓存或加速器单元)。而游戏GPU或数据中心加速器的VRAM在可预见的未来仍将是HBM或GDDR。
内存计算与向量数据库有什么区别？
两者处于不同层面。向量数据库存储嵌入向量并按相似度检索(用于RAG流水线)。内存计算在内存本身内部执行神经网络的核心运算(矩阵-向量乘法)，消除数据往返。你可以同时使用两者：用内存计算作推理引擎，用向量数据库作检索。
我能在今天运行的本地LLM上使用TurboQuant压缩吗？
主流推理库中尚未集成，但已有实现存在。TurboQuant是学术成果(ICLR 2026)。Ollama、LM Studio及其他面向消费者的工具尚未集成它。可在GitHub上查找社区实现。其核心思路 — 激进量化KV缓存 — 可在自定义推理代码中复现。
MRAM能配合Transformer工作吗？
Samsung已在经典ML任务(数字分类、人脸检测)上演示过。Transformer规模的推理(7B+模型)在MRAM内存计算中尚未发表。这在原理上可行但未经验证。SemiFive芯片宣称具备2B参数能力；当硅片返回并出货时，我们就能获得真实的基准测试。
MRAM与3D XPoint(Intel Optane)是一回事吗？
不是。3D XPoint是Intel专有的存储级内存技术(现已停产)。MRAM是一种不同的非易失性存储技术，物理原理也不同(磁性 vs 相变)。两者面向相同的问题领域 — 快速、耐用、非易失性的存储 — 但采用不同的方法。
与DRAM相比，MRAM能节省多少功耗？
在待机方面(无需刷新)：MRAM每GB可节省约0.5–1 mW。在采用内存计算的主动推理方面：Samsung新闻稿称，由于消除了数据移动，可实现"显著"降低，但具体量化的节省幅度未公开披露。真实数据将在硅片出货并被独立基准测试后揭晓。
MRAM会取代DRAM吗？
在可预见的未来不会作为主内存取代DRAM。MRAM的优势在于非易失性和零待机功耗，适合嵌入式缓存和低功耗边缘加速器。DRAM和HBM在密度、带宽和每比特成本方面仍保持决定性优势 — Samsung的HBM4已在多TB每秒带宽下量产，LPDDR6为边缘设备提供每引脚30–35 Gbps。MRAM的现实定位是作为互补的非易失性存储单元或内存计算单元，而非DRAM替代品。
Qualcomm在2026年解决了内存瓶颈吗？
Qualcomm在其2026年投资者日发布了Dragonfly品牌下的HBC(高带宽计算) — 一种近内存架构，通过硅通孔(TSV)将计算加速器堆叠在LPDDR内存下方，宣称每瓦带宽约为HBM的6倍、每瓦容量约为SRAM的200倍。有三点区别很重要：HBC是近内存(计算位于内存旁)，而非MRAM内存计算(计算位于存储阵列内部)；它面向数据中心AI加速器(AI250/AI300)，而非手机；第一代HBC定于2027年年中，因此2026年没有任何产品出货。它是应对同一内存墙问题的不同方法，而非MRAM突破。
延伸阅读
- 本地LLM需要多少VRAM — 当今片上推理的DRAM与VRAM容量选型。
- 本地LLM的最佳GPU — 在等待MRAM成熟期间的当前硬件选择。
- LLM量化详解 — 理解Q3、Q4、Q5以及压缩如何减少内存占用。
- 本地LLM内存瓶颈解决方案 — KV缓存管理、推理优化以及当前的软件方法。
- 面向本地LLM的Apple Silicon统一内存 — 独立GPU VRAM的替代方案：部分体现内存计算优势的架构。