什么是MRAM？
MRAM使用磁性属性存储数据，而不是电荷(如DRAM)或被俘获的电子(如Flash)。其核心单元是磁隧道结(MTJ)：一层薄绝缘层夹在两个磁性层之间。小电流将结设置为高电阻或低电阻 — 高 = "1"，低 = "0"。
关键特性：
- 非易失性： 数据在断电后依然保留。无需刷新周期。
- 字节寻址： 与DRAM一样，可按单个字节读写。不同于Flash(基于页)。
- 无需刷新功耗： DRAM必须持续刷新才能保持数据，这会消耗待机功耗。MRAM是非易失性的，无需刷新。
- 高耐久性： 厂商报告的写入耐久性远高于NAND Flash，某些类型的MRAM接近DRAM级别；具体数值因产品而异，请查阅厂商数据手册。
- 工艺集成： Samsung等晶圆代工厂可将MRAM直接嵌入逻辑晶圆；就Samsung而言，28nm FD-SOI的eMRAM已记录于参考资料，更小节点属于路线图目标。
片上AI的内存瓶颈
现代AI推理由单一问题主导：冯·诺依曼瓶颈。 计算(CPU/GPU)与内存在物理上是分离的。每一个神经网络运算都需要数据来回往返 — 权重、激活值、以及Transformer中的KV缓存。
与实际数学运算相比，这种数据移动的成本极其高昂：
在Horowitz广为引用的能耗估算中(ISSCC 2014，约45nm工艺)，从DRAM读取一个32位字的能耗远超32位浮点乘法的100倍。当模型权重必须从DRAM持续读取时，数据移动可能占推理工作负载能耗的很大一部分，具体占比因模型、硬件和工艺节点而异。如果内存总线才是瓶颈，更快的CPU/GPU也无济于事。
对于依靠电池运行的手机、笔记本电脑和边缘设备上的片上AI而言，这一瓶颈是延长推理时间而不耗尽电池的主要障碍。
Operation | Energy cost | Relative |
|---|---|---|
| 32-bit DRAM access | 500+ pJ | 超过一次32位浮点乘法的130倍 |
| 32-bit on-chip SRAM access | ~5 pJ | 约为一次32位浮点乘法的1.4倍 |
| 32位浮点乘法 | ~3.7 pJ | baseline (1×) |
内存计算如何解决问题
内存计算(也称为存内处理或PIM)通过将计算移入存储阵列本身来解决这一问题。它不再将权重和激活值加载到单独的ALU中，而是直接在存储单元的交叉阵列中执行MAC运算。
工作原理：
- 神经网络权重存储为MRAM单元(或其他兼容模拟计算的存储)。
- 输入激活值以行电压的形式施加。
- 存储阵列的模拟属性在单次通过中完成矩阵-向量乘法 — 这正是Transformer推理的核心运算。
- 结果被读出并量化回数字形式。
MRAM的现状
Samsung SAIT Nature论文(2022年1月)：
- 发表了一个64×64 MRAM交叉阵列执行内存计算的演示。
- 实现的准确率(Nature论文摘要)： 手写数字(MNIST)93.23%(软件基线95.24%)，人脸检测93.4%；仿真的八层VGG-8网络达到98.86%(软件基线99.28%)。
- 能效：方向上确认可受益于消除数据移动，但相对DRAM的具体量化功耗降幅在公开资料中未披露。
- 局限性：高度专用于经典ML任务(数字分类、目标检测)。尚未在大型Transformer推理上得到验证。
- SemiFive + ICYTech PNM MRAM边缘芯片(2026年5月)：
- 在Samsung Foundry 8nm(8LPU)工艺上成功实现流片，搭载嵌入式MRAM。
- 流片 = 设计提交制造。硅片尚未返回，基准测试尚未发布，产品也尚未出货。
- 宣称能力：无需网络连接即可在设备上对最高20亿参数的模型进行推理。
- 目标：边缘AI、人形机器人、汽车领域的文本摘要、翻译、对话式推理。
- 首批商业化面向亚洲；未公布北美时间表。
MRAM vs HBM vs DRAM vs LPDDR5：权衡取舍
MRAM相比HBM的优势：
- 非易失性：权重在断电后依然保留，可实现即时开机推理，无需从磁盘重新加载。
- 零刷新功耗：消除待机电流开销。
- 直接晶圆集成：无需单独的内存封装。
- 适合间歇供电的边缘节点和可穿戴设备。
- HBM相比MRAM(目前)的优势：
- 带宽高出许多：JEDEC的HBM4规范允许每堆栈最高约2 TB/s，而MRAM的嵌入式带宽尚未公布。
- 在大模型训练上具有经过验证的规模化密度。
- 不依赖专用的MTJ工艺集成。
- 现已在量产AI加速器中可用。
Memory Type | Peak Bandwidth | Non-Volatile | Standby Power | Form Factor | Best For | Status for AI |
|---|---|---|---|---|---|---|
| HBM4 (High Bandwidth Memory) | JEDEC规范最高约2 TB/s(每堆栈) | 否 | 高(需刷新) | 堆叠于中介层上 | AI训练、高端推理 | 量产，已大规模验证 |
| LPDDR5X (mobile DRAM) | 因设备和总线位宽而异 | 否 | 需要刷新(存在低功耗自刷新模式) | 引线键合封装 | 边缘AI、移动推理 | 手机/平板的当前标准 |
| MRAM (embedded eMRAM) | 尚未公布 | 是 | 接近零 | 嵌入SoC晶圆 | 常开边缘AI、专用工作负载 | 研发中，已流片(2026年5月)，尚未进入消费级 |
| Standard DRAM | 因内存条和通道数而异 | 否 | 中等(需刷新) | DIMM、SO-DIMM | 通用计算、桌面推理 | 量产，无处不在 |
底线：MRAM和HBM如今并非竞争对手。HBM面向高带宽AI加速器(数据中心的GPU、TPU)。MRAM面向边缘推理和专用内存计算，在这些场景中，非易失性和SoC集成比原始带宽更重要。
软件替代方案：TurboQuant KV缓存压缩
在硬件研究人员攻关MRAM内存计算的同时，软件工程师正从另一个角度攻克内存瓶颈：压缩。
Google TurboQuant(ICLR 2026，2026年3月发布)：
- 据Google Research称，TurboQuant将Transformer推理中的KV(键值)缓存压缩至3比特 — 低于常见的16比特或8比特格式。
- KV缓存内存占用至少缩减6倍(Google Research，针对大海捞针任务)。在长上下文推理中，KV缓存可能占据内存的很大一部分。
- Google在其自有基准测试(包括大海捞针评测，即长上下文检索)中报告无精度损失；arXiv论文报告在每通道3.5比特时质量保持不变。
- 据Google Research称，在H100 GPU上计算注意力logits时最高提速8倍(4比特TurboQuant对比32比特未量化键)；这不是端到端提速。
- 据Google Research称，无需训练或微调。 要用于现有推理流水线，仍需要相应的库实现。
- 工作原理：两阶段过程 — PolarQuant(使用Lloyd-Max质心在极坐标中量化) + QJL(量化Johnson-Lindenstrauss变换，添加纠错以在极端压缩下保持内积精度)。
- 已有社区实现；在我们查阅的来源中，Google的博客文章未链接官方代码。上述数据由Google Research报告；各社区实现的压缩比各不相同。
- 为何重要： 纯软件的内存缩减无需新硬件，一旦推理库支持，就可能惠及当今的设备。在等待MRAM成熟的同时，这是应对内存瓶颈的务实方案。
如果MRAM进入消费设备
消费级智能手机和PC采用MRAM将从三个方面重塑片上AI：
- 即时开机推理： 手机开机时，AI模型权重已存于SoC上的非易失性MRAM中，无需从存储重新加载。语音助手、实时翻译、片上推理可即时启动。
- 电池续航： 内存子系统无待机刷新损耗。对于常开AI功能(后台监听、隐私保护分析)，节能效果呈倍增。
- 在固定功耗预算下运行更大的模型： 如果内存计算相比LPDDR5加计算分离带来足够大的能效提升，手机原则上可以在相同电池预算内运行更大的端侧模型。这是推测；尚未在任何商用产品中验证过此类提升。
时间表与坦诚展望
已有文献记载的内容(企业路线图和公告，可能变更)：
- 尚未确认的内容：
- 我们未发现主要智能手机或SoC厂商(如Apple、Qualcomm、MediaTek)宣布集成MRAM。
- 面向消费级VRAM规模(8–16 GB)的MRAM带宽和密度规格尚未公开。
- 大模型推理(30B+)的能效提升尚未在硅片中测得。
- 与LPDDR5或HBM的成本对等尚未列入任何已发布路线图。
- 现实的时间表(编辑部估计，并非厂商路线图)：
- 2026–2028： 搭载小型MRAM内存计算单元的边缘AI SoC(机器人、汽车、IoT)。限于2B规模模型。亚洲优先部署。
- 2028–2030： 智能手机可能作为非易失性缓存或专用AI加速器单元集成MRAM(并非主内存替代)。
- 2030年以后： 作为DRAM替代的主流消费级手机部署，将需要解决尚未攻克的密度、带宽和成本难题。我们预计不会早于2031–2035年。
Year | Milestone | Status |
|---|---|---|
| 2019 | Samsung宣布28nm FD-SOI eMRAM开始商业出货 | 已公布(Samsung，2019年3月) |
| 2024 | Samsung 14nm eMRAM量产 | 路线图目标(2023年公布) |
| 2026 | Samsung 8nm eMRAM量产；SemiFive/ICYTech流片 | 路线图目标；流片已公布(2026年5月) |
| 2027 | Samsung 5nm eMRAM工艺可用(路线图) | 已公布的目标 |
| 2028–2029 | 首批搭载MRAM内存计算的边缘AI SoC可能出货(SemiFive等) | 可能但未确认 |
| 2029–2031 | 消费级智能手机可能集成MRAM(非易失性缓存或专用AI晶圆) | 推测性 |
常见问题
现在能为我的PC或手机购买MRAM吗？
不能。MRAM已由多家厂商量产，例如用于工业和数据中心产品(参见上文的Everspin Form 8-K)。而在消费级AI方面，目前仍仅处于研发阶段。SemiFive/ICYTech芯片仍处于流片阶段 — 硅片尚未返回或经过基准测试。消费级部署现实上还需3–5年以上。
MRAM会取代我GPU的VRAM吗？
短期内不太可能。MRAM擅长低待机功耗和非易失性，这对电池受限的边缘设备很重要。HBM解决的是另一个问题：为数据中心训练和大批量推理提供最大带宽。对于消费级手机和专用边缘AI，MRAM可能会成为一个组件(嵌入式缓存或加速器单元)。而游戏GPU或数据中心加速器的VRAM在可预见的未来仍将是HBM或GDDR。
内存计算与向量数据库有什么区别？
两者处于不同层面。向量数据库存储嵌入向量并按相似度检索(用于RAG流水线)。内存计算在内存本身内部执行神经网络的核心运算(矩阵-向量乘法)，消除数据往返。你可以同时使用两者：用内存计算作推理引擎，用向量数据库作检索。
我能在今天运行的本地LLM上使用TurboQuant压缩吗？
主流推理库中尚未集成，但已有社区实现。TurboQuant是学术成果(ICLR 2026)。我们未发现Ollama或LM Studio已确认支持TurboQuant，Google的博客文章也未链接官方代码，可在GitHub上查找社区实现，其压缩比和精度各不相同。其核心思路 — 激进量化KV缓存 — 可在自定义推理代码中复现。
MRAM能配合Transformer工作吗？
Samsung已在经典ML任务(数字分类、人脸检测)上演示过。Transformer规模的推理(7B+模型)在MRAM内存计算中尚未发表。这在原理上可行但未经验证。SemiFive芯片宣称具备2B参数能力；当硅片返回并出货时，我们就能获得真实的基准测试。
MRAM与3D XPoint(Intel Optane)是一回事吗？
不是。3D XPoint是由Intel与Micron开发的存储级内存技术(现已停产)。MRAM以磁性方式存储数据；3D XPoint的工作机制不同。两者面向相同的问题领域 — 快速、耐用、非易失性的存储 — 但采用不同的方法。
与DRAM相比，MRAM能节省多少功耗？
在待机方面：MRAM是非易失性的，无需刷新，因此避免了DRAM的刷新功耗；我们未找到与厂商无关的每GB数值，节省幅度取决于器件和容量。在采用内存计算的主动推理方面：Samsung的Nature论文将模拟内存计算呈现为一种可能低功耗的方法，但我们在其中未找到相对DRAM的量化节省数据。商用硅片数据将在产品出货并经独立基准测试后出现。
MRAM会取代DRAM吗？
在可预见的未来不会作为主内存取代DRAM。MRAM的优势在于非易失性和无需刷新功耗，适合嵌入式缓存和低功耗边缘加速器。DRAM和HBM在密度、带宽和每比特成本方面仍保持优势。MRAM的现实定位是作为互补的非易失性存储单元或内存计算单元，而非DRAM替代品。
Qualcomm在2026年解决了内存瓶颈吗？
Qualcomm在2026年投资者日上以Dragonfly品牌发布了HBC(High-Bandwidth Compute)——一种将计算与内存在3D堆叠硅片中结合的近内存计算设计，Qualcomm声称每瓦带宽约为HBM的6倍、每瓦容量约为SRAM的200倍(厂商声明，未经独立验证)。Meta已签署使用Dragonfly C1000服务器CPU的多代合作协议；在我们查阅的资料中，Qualcomm尚未公布采用HBC的AI250和AI300加速器的客户。三点区别仍然重要：HBC是近内存计算(计算位于内存旁)，而非MRAM内存计算(计算发生在内存阵列内部)；它面向数据中心AI加速器，而非手机；第一代HBC(AI250)的商用样片预计在2027年年中，第二代HBC(AI300)在2028年，因此尚无任何产品出货。这是应对同一内存墙问题的不同方法，而非MRAM突破。
延伸阅读
- 本地LLM需要多少VRAM — 当今片上推理的DRAM与VRAM容量选型。
- 本地LLM的最佳GPU — 在等待MRAM成熟期间的当前硬件选择。
- LLM量化详解 — 理解Q3、Q4、Q5以及压缩如何减少内存占用。
- 本地LLM内存瓶颈解决方案 — KV缓存管理、推理优化以及当前的软件方法。
- 面向本地LLM的Apple Silicon统一内存 — 独立GPU VRAM的替代方案：部分体现内存计算优势的架构。
参考资料
- Samsung Newsroom: Samsung Electronics Starts Commercial Shipment of eMRAM Product Based on 28nm FD-SOI Process -- 新闻稿，2019年3月6日
- EE Journal: Ainekko Merges with Veevx(公司新闻稿) -- 合并公告，2026年初
- MRAM-Info：SEMIFIVE与ICY Tech完成基于三星8nm eMRAM的边缘AI SoC流片 -- 三星晶圆代工8nm(8LPU)嵌入式MRAM流片，2026年5月8日发布
- Nature: A crossbar array of magnetoresistive memory devices for in-memory computing (Jung et al., 2022) -- 64×64 MRAM交叉阵列，MNIST 93.23%，人脸检测93.4%
- Everspin 2026年第三季度业绩(SEC Form 8-K) -- 营收2,060万美元(上年同期1,410万美元)；MRAM产品销售额1,690万美元(上年同期1,270万美元)
- Everspin 2026年第二季度业绩(SEC Form 8-K) -- 与美国总承包商签署的4,000万美元合同
- arXiv:2504.19874: TurboQuant, Online Vector Quantization with Near-optimal Distortion Rate -- KV缓存量化；每通道3.5位时质量无损
- StorageReview：Qualcomm发布Dragonfly数据中心路线图 -- HBC带宽与容量声明、AI250和AI300样片时间、Meta的C1000 CPU协议
- Horowitz, "Computing's energy problem (and what we can do about it)", ISSCC 2014 -- 45 nm工艺下各操作的大致能耗：SRAM访问、DRAM访问、浮点乘法
- Google Research: TurboQuant, redefining AI efficiency with extreme compression -- 3比特KV缓存，内存至少缩减6倍，H100上注意力logits计算最高提速8倍(厂商报告)
- MRAM-Info: Samsung on track to start 14 nm eMRAM production by the end of 2024, 8 nm by 2026 and 5 nm by 2027 -- Samsung Foundry路线图目标(2023年公布)
- StorageNewsletter: JEDEC and Industry Leaders Collaborate to Release JESD270-4 HBM4 Standard -- HBM4：通过2048位接口最高2 TB/s
- EE Times Asia: SEMIFIVE, ICY Tech Achieve Successful Tape-out of 8nm eMRAM-Based Edge AI SoC -- 两家公司的说法：支持最多2B参数模型的端侧推理