Was ist MRAM?
MRAM speichert Daten über magnetische Eigenschaften statt über elektrische Ladung (wie DRAM) oder eingefangene Elektronen (wie Flash). Die Kerneinheit ist ein magnetischer Tunnelübergang (MTJ): eine dünne Isolierschicht zwischen zwei magnetischen Schichten. Ein kleiner Strom setzt den Übergang auf hohen oder niedrigen Widerstand — hoch = „1", niedrig = „0".
Zentrale Eigenschaften:
- Nicht-flüchtig: Daten bleiben ohne Strom erhalten. Kein Refresh-Zyklus erforderlich.
- Byte-adressierbar: Wie bei DRAM können einzelne Bytes gelesen/geschrieben werden. Anders als bei Flash (seitenbasiert).
- Kein Refresh-Strom: DRAM muss ständig aufgefrischt werden, um Daten zu halten, was Standby-Strom verbraucht. MRAM ist nicht-flüchtig und braucht keinen Refresh.
- Hohe Ausdauer: Hersteller geben Schreibzyklen an, die weit über NAND-Flash liegen und bei manchen MRAM-Typen nahe an DRAM-Niveau heranreichen; die genauen Werte variieren je Produkt, bitte das Datenblatt des Herstellers prüfen.
- Prozessintegration: Samsung und andere Foundries können MRAM direkt in Logik-Dies einbetten; für Samsung ist eMRAM in 28nm FD-SOI in den Quellen dokumentiert, kleinere Nodes sind Roadmap-Ziele.
Der Speicher-Engpass in On-Device-KI
Moderne KI-Inferenz wird von einem einzigen Problem dominiert: dem von-Neumann-Flaschenhals. Recheneinheit (CPU/GPU) und Speicher sind physisch getrennt. Jede Operation eines neuronalen Netzes erfordert, dass Daten hin und her transportiert werden — Gewichte, Aktivierungen, KV-Caches in Transformern.
Dieser Datentransport ist im Vergleich zur eigentlichen Rechenarbeit außerordentlich teuer:
In Horowitz' vielzitierten Energieschätzungen (ISSCC 2014, ca. 45-nm-Prozess) kostet das Lesen eines 32-Bit-Worts aus dem DRAM weit mehr als das 100-Fache der Energie einer 32-Bit-Gleitkomma-Multiplikation. Müssen Modellgewichte aus dem DRAM gestreamt werden, kann der Datentransport daher einen großen Teil der Energie einer Inferenz-Last ausmachen, wobei der Anteil je nach Modell, Hardware und Prozess-Node variiert. Schnellere CPUs/GPUs helfen nicht, wenn der Speicherbus die Wand ist.
Für On-Device-KI auf Smartphones, Laptops und batteriebetriebenen Edge-Geräten ist dieser Engpass das Haupthindernis für längere Inferenzzeiten ohne Entladung des Akkus.
Operation | Energy cost | Relative |
|---|---|---|
| 32-Bit-DRAM-Zugriff | 500+ pJ | >130× mehr als eine 32-Bit-Gleitkomma-Multiplikation |
| 32-Bit-On-Chip-SRAM-Zugriff | ~5 pJ | ~1,4× eine 32-Bit-Gleitkomma-Multiplikation |
| 32-Bit-Gleitkomma-Multiplikation | ~3,7 pJ | Basiswert (1×) |
Wie In-Memory-Computing das Problem angreift
In-Memory-Computing (auch Processing-in-Memory oder PIM genannt) löst dies, indem die Rechenarbeit in das Speicher-Array selbst verlagert wird. Statt Gewichte und Aktivierungen in eine separate ALU zu laden, findet die MAC-Operation direkt im Crossbar der Speicherzellen statt.
So funktioniert es:
- Die Gewichte des neuronalen Netzes werden als MRAM-Zellen (oder anderer analog-kompatibler Speicher) abgelegt.
- Eingabe-Aktivierungen werden als Zeilenspannungen angelegt.
- Die analogen Eigenschaften des Speicher-Arrays berechnen die Matrix-Vektor-Multiplikation in einem einzigen Durchlauf — die Kernoperation der Transformer-Inferenz.
- Die Ergebnisse werden ausgelesen und zurück ins Digitale quantisiert.
Wo MRAM heute steht
Samsung SAIT Nature-Paper (Januar 2022):
- Veröffentlichte Demonstration eines 64×64-MRAM-Crossbar-Arrays, das In-Memory-Computing ausführt.
- Erreichte Genauigkeit (Nature-Abstract): 93,23 % bei MNIST-Handschriftziffern (Software-Baseline 95,24 %) und 93,4 % bei der Gesichtserkennung; ein emuliertes achtschichtiges VGG-8-Netz erreichte 98,86 % (Software-Baseline 99,28 %).
- Energieeffizienz: Der Nutzen durch die Eliminierung des Datentransports ist grundsätzlich bestätigt, aber die konkret quantifizierte Leistungsreduktion gegenüber DRAM wurde in öffentlichen Materialien nicht offengelegt.
- Einschränkung: Stark spezialisiert auf klassische ML-Aufgaben (Ziffernklassifizierung, Objekterkennung). Noch nicht an großer Transformer-Inferenz demonstriert.
- SemiFive + ICYTech PNM-MRAM-Edge-Chip (Mai 2026):
- Erfolgreich den Tape-Out in Samsung Foundry 8nm (8LPU) mit eingebettetem MRAM erreicht.
- Tape-Out = Design zur Fertigung eingereicht. Silizium ist noch nicht zurückgeliefert, es wurden noch keine Benchmarks veröffentlicht und das Produkt ist noch nicht ausgeliefert.
- Beanspruchte Leistungsfähigkeit: On-Device-Inferenz für Modelle mit bis zu 2 Milliarden Parametern ohne Netzwerkverbindung.
- Ziel: Textzusammenfassung, Übersetzung, dialogorientiertes Reasoning auf Edge-KI, humanoiden Robotern, im Automobilbereich.
- Erste Kommerzialisierung für Asien angepeilt; kein nordamerikanischer Zeitplan angekündigt.
MRAM vs HBM vs DRAM vs LPDDR5: Kompromisse
Was MRAM bietet, was HBM nicht bietet:
- Nicht-Flüchtigkeit: Gewichte überstehen das Ausschalten und ermöglichen Instant-On-Inferenz ohne erneutes Laden von der Festplatte.
- Null Refresh-Strom: eliminiert den Standby-Stromaufschlag.
- Direkte Die-Integration: kein separates Speicher-Package erforderlich.
- Geeignet für intermittierend versorgte Edge-Knoten und Wearables.
- Was HBM bietet, was MRAM (derzeit) nicht bietet:
- Deutlich höhere Bandbreite: Die JEDEC-HBM4-Spezifikation erlaubt bis zu etwa 2 TB/s pro Stack, gegenüber der eingebetteten Bandbreite von MRAM (nicht veröffentlicht).
- Bewährte Dichte im Maßstab für das Training großer Modelle.
- Keine Abhängigkeit von spezialisierter MTJ-Prozessintegration.
- Heute in produktiven KI-Beschleunigern verfügbar.
Memory Type | Peak Bandwidth | Non-Volatile | Standby Power | Form Factor | Best For | Status for AI |
|---|---|---|---|---|---|---|
| HBM4 (High Bandwidth Memory) | Bis ~2 TB/s pro Stack (JEDEC-Spezifikation) | Nein | Hoch (Refresh) | Gestapelt auf Interposer | KI-Training, High-End-Inferenz | Produktion, im Maßstab bewährt |
| LPDDR5X (mobiles DRAM) | Je nach Gerät und Busbreite | Nein | Refresh nötig (Low-Power-Self-Refresh-Modi vorhanden) | Wirebonded-Package | Edge-KI, mobile Inferenz | Aktueller Standard für Smartphones/Tablets |
| MRAM (embedded eMRAM) | Noch nicht veröffentlicht | Ja | Nahe Null | Im SoC-Die eingebettet | Always-on-Edge-KI, spezialisierte Lasten | F&E, Tape-Out (Mai 2026), noch nicht für Consumer |
| Standard-DRAM | Je nach Modul und Kanalanzahl | Nein | Mittel (Refresh) | DIMM, SO-DIMM | Allgemeines Computing, Inferenz auf Desktops | Produktion, überall |
Fazit: MRAM und HBM sind heute keine Konkurrenten. HBM adressiert KI-Beschleuniger mit hoher Bandbreite (GPUs, TPUs in Rechenzentren). MRAM adressiert Edge-Inferenz und spezialisiertes In-Memory-Computing, bei dem Nicht-Flüchtigkeit und SoC-Integration wichtiger sind als reine Bandbreite.
Die Software-Alternative: TurboQuant KV-Cache-Kompression
Während Hardware-Forscher an MRAM-In-Memory-Computing arbeiten, greifen Software-Ingenieure den Speicher-Engpass aus einem anderen Blickwinkel an: Kompression.
Google TurboQuant (ICLR 2026, veröffentlicht März 2026):
- Laut Google Research komprimiert TurboQuant den KV-Cache (Key-Value) in der Transformer-Inferenz auf 3 Bit — herunter von den üblichen 16-Bit- oder 8-Bit-Formaten.
- Mindestens 6×-Reduktion des Speicherbedarfs des KV-Caches (Google Research, bei Needle-in-Haystack-Aufgaben). Bei Inferenz mit langem Kontext kann der KV-Cache einen großen Teil des Speichers belegen.
- Kein Genauigkeitsverlust berichtet von Google in den eigenen Benchmarks, einschließlich Needle-in-Haystack-Evaluierungen (Abruf bei langem Kontext); das arXiv-Paper berichtet Qualitätsneutralität bei 3,5 Bit pro Kanal.
- Bis zu 8× Beschleunigung bei der Berechnung von Attention-Logits auf H100-GPUs (4-Bit-TurboQuant vs 32-Bit unquantisierte Keys) laut Google Research; das ist keine End-to-End-Beschleunigung.
- Laut Google Research ist kein Training oder Fine-Tuning nötig. Der Einsatz in einer bestehenden Inferenz-Pipeline setzt weiterhin eine Bibliotheksimplementierung voraus.
- So funktioniert es: Zweistufiger Prozess — PolarQuant (Quantisierung in Polarkoordinaten mittels Lloyd-Max-Zentroiden) + QJL (Quantized Johnson-Lindenstrauss-Transformation, fügt Fehlerkorrektur hinzu, um die Genauigkeit des inneren Produkts bei extremer Kompression zu erhalten).
- Community-Implementierungen existieren; in den von uns geprüften Quellen verlinkt der Google-Blogbeitrag keinen offiziellen Code. Die obigen Zahlen stammen von Google Research; die Kompressionsraten unterscheiden sich zwischen den Community-Implementierungen.
- Warum das wichtig ist: Eine rein softwarebasierte Speicherreduktion erfordert keine neue Hardware und könnte heutigen Geräten helfen, sobald eine Inferenz-Bibliothek sie unterstützt. Sie ist eine pragmatische Antwort auf den Speicher-Engpass, während MRAM reift.
Wenn MRAM Consumer-Geräte erreicht
Eine Verbreitung von MRAM in Consumer-Smartphones und -PCs würde On-Device-KI auf drei Arten umgestalten:
- Instant-On-Inferenz: Das Smartphone bootet, die Gewichte des KI-Modells liegen bereits im nicht-flüchtigen MRAM auf dem SoC, kein erneutes Laden aus dem Speicher nötig. Sofortiger Start für Sprachassistenten, Echtzeit-Übersetzung, On-Device-Reasoning.
- Akkulaufzeit: Kein Standby-Refresh-Verbrauch im Speicher-Subsystem. Bei Always-on-KI-Funktionen (Hintergrund-Zuhören, datenschutzwahrende Analytik) sind die Energieeinsparungen multiplikativ.
- Größere Modelle bei festem Energiebudget: Wenn In-Memory-Computing einen ausreichend großen Energieeffizienzgewinn gegenüber LPDDR5 mit getrenntem Rechenwerk liefert, könnten Smartphones im Prinzip größere On-Device-Modelle im selben Akku-Budget ausführen. Das ist spekulativ; ein solcher Gewinn wurde in keinem kommerziellen Produkt überprüft.
Zeitplan & ehrlicher Ausblick
Was dokumentiert ist (Unternehmens-Roadmaps und Ankündigungen, die sich ändern können):
- Was NICHT bestätigt ist:
- Uns ist keine Ankündigung einer MRAM-Integration durch große Smartphone- oder SoC-Hersteller (etwa Apple, Qualcomm, MediaTek) bekannt.
- MRAM-Bandbreiten- und Dichte-Spezifikationen für den Consumer-VRAM-Maßstab (8–16 GB) sind nicht öffentlich verfügbar.
- Energieeffizienzgewinne für die Inferenz großer Modelle (30B+) wurden noch nicht in Silizium gemessen.
- Kostenparität mit LPDDR5 oder HBM steht auf keiner veröffentlichten Roadmap.
- Realistischer Zeitplan (redaktionelle Schätzung, keine Hersteller-Roadmap):
- 2026–2028: Edge-KI-SoCs (Roboter, Automobil, IoT) mit kleinen MRAM-In-Memory-Compute-Einheiten. Begrenzte Modelle im 2B-Maßstab. Asien-zuerst-Einsatz.
- 2028–2030: Mögliche Smartphone-Integration als nicht-flüchtiger Cache oder spezialisierte KI-Beschleuniger-Kachel (kein Ersatz des Hauptspeichers).
- 2030+: Ein Mainstream-Einsatz in Consumer-Smartphones als DRAM-Ersatz würde die Lösung von Dichte-, Bandbreiten- und Kostenherausforderungen erfordern, die noch nicht gelöst sind. Wir erwarten ihn nicht vor 2031–2035.
Year | Milestone | Status |
|---|---|---|
| 2019 | Samsung kündigt kommerzielle eMRAM-Auslieferung in 28nm FD-SOI an | Angekündigt (Samsung, März 2019) |
| 2024 | Samsung 14nm-eMRAM-Produktion | Roadmap-Ziel (Ankündigung 2023) |
| 2026 | Samsung 8nm-eMRAM-Produktion; SemiFive/ICYTech-Tape-Out | Roadmap-Ziel; Tape-Out angekündigt (Mai 2026) |
| 2027 | Samsung 5nm-eMRAM-Prozess verfügbar (Roadmap) | Angekündigtes Ziel |
| 2028–2029 | Mögliche erste Edge-KI-SoCs mit MRAM-In-Memory-Compute in Auslieferung (SemiFive, andere) | Plausibel, aber unbestätigt |
| 2029–2031 | Mögliche MRAM-Integration in Consumer-Smartphones (nicht-flüchtiger Cache oder spezialisierter KI-Die) | Spekulativ |
Häufig gestellte Fragen
Kann ich MRAM jetzt für meinen PC oder mein Smartphone kaufen?
Nein. MRAM ist bei mehreren Anbietern in Produktion, zum Beispiel für Industrie- und Rechenzentrumsprodukte (siehe das Everspin-Formular 8-K oben). Für Consumer-KI ist es weiterhin nur F&E. Der SemiFive/ICYTech-Chip befindet sich weiterhin im Tape-Out-Stadium — das Silizium ist noch nicht zurückgeliefert oder gebenchmarkt. Der Consumer-Einsatz ist realistisch 3–5+ Jahre entfernt.
Wird MRAM den VRAM meiner GPU ersetzen?
Kurzfristig unwahrscheinlich. MRAM glänzt bei geringer Standby-Power und Nicht-Flüchtigkeit, was auf batteriebeschränkten Edge-Geräten wichtig ist. HBM löst ein anderes Problem: maximale Bandbreite für das Training in Rechenzentren und die Inferenz mit großen Batches. Für Consumer-Smartphones und spezialisierte Edge-KI könnte MRAM zu einer Komponente werden (eingebetteter Cache oder Beschleuniger-Kachel). VRAM für eine Gaming-GPU oder einen Rechenzentrums-Beschleuniger wird auf absehbare Zeit HBM oder GDDR bleiben.
Was ist der Unterschied zwischen In-Memory-Computing und einer Vektordatenbank?
Unterschiedliche Ebenen. Vektordatenbanken speichern Embeddings und rufen sie nach Ähnlichkeit ab (verwendet in RAG-Pipelines). In-Memory-Computing führt die Kernoperation des neuronalen Netzes (Matrix-Vektor-Multiplikation) im Speicher selbst aus und eliminiert den Datentransport. Man könnte beides zusammen einsetzen: In-Memory-Compute für die Inferenz-Engine, Vektor-DB für den Abruf.
Kann ich TurboQuant-Kompression auf meinem heute laufenden lokalen LLM nutzen?
Noch nicht in gängigen Inferenz-Bibliotheken, aber Community-Implementierungen existieren. TurboQuant ist wissenschaftliche Arbeit (ICLR 2026). Uns ist keine bestätigte TurboQuant-Unterstützung in Ollama oder LM Studio bekannt, und der Google-Blogbeitrag verlinkt keinen offiziellen Code; prüfen Sie daher GitHub auf Community-Implementierungen, deren Kompressionsraten und Genauigkeit variieren. Die Grundidee — den KV-Cache aggressiv zu quantisieren — ist in eigenem Inferenz-Code reproduzierbar.
Funktioniert MRAM mit Transformern?
Samsung demonstrierte es an klassischen ML-Aufgaben (Ziffernklassifizierung, Gesichtserkennung). Transformer-Inferenz im großen Maßstab (7B+-Modelle) im MRAM-In-Memory-Compute wurde noch nicht veröffentlicht. Es ist plausibel, aber unbewiesen. Der SemiFive-Chip beansprucht eine Leistungsfähigkeit von 2B Parametern; echte Benchmarks werden wir erhalten, wenn das Silizium zurückkehrt und ausgeliefert wird.
Ist MRAM dasselbe wie 3D XPoint (Intel Optane)?
Nein. 3D XPoint war eine von Intel und Micron entwickelte Storage-Class-Memory-Technologie (inzwischen eingestellt). MRAM speichert Daten magnetisch; 3D XPoint arbeitet nach einem anderen Funktionsprinzip. Beide zielen auf denselben Problembereich — schnellen, langlebigen, nicht-flüchtigen Speicher — verwenden aber unterschiedliche Ansätze.
Wie viel Strom spart MRAM im Vergleich zu DRAM?
Im Standby: MRAM ist nicht-flüchtig und braucht keinen Refresh, vermeidet also den Refresh-Strom, den DRAM verbraucht; einen herstellerunabhängigen Wert pro Gigabyte haben wir nicht gefunden, und die Einsparung hängt von Gerät und Kapazität ab. Bei aktiver Inferenz mit In-Memory-Compute: Samsungs Nature-Paper stellt analoges In-Memory-Computing als potenziell stromsparenden Ansatz dar, wir haben darin aber keine quantifizierte Einsparung gegenüber DRAM gefunden. Zahlen aus kommerzieller Siliziumfertigung folgen, wenn ein Produkt ausgeliefert und unabhängig gebenchmarkt wird.
Wird MRAM DRAM ersetzen?
Nicht als Hauptspeicher in absehbarer Zukunft. Die Stärken von MRAM sind Nicht-Flüchtigkeit und fehlender Refresh-Strom, was zu eingebetteten Caches und stromsparenden Edge-Beschleunigern passt. DRAM und HBM behalten weiterhin Vorteile bei Dichte, Bandbreite und Kosten pro Bit. Die realistische Rolle für MRAM ist eine ergänzende nicht-flüchtige Kachel oder In-Memory-Compute-Einheit, kein DRAM-Ersatz.
Hat Qualcomm 2026 den Speicher-Engpass gelöst?
Qualcomm hat HBC (High-Bandwidth Compute) unter der Marke Dragonfly auf dem Investor Day 2026 vorgestellt — ein Near-Memory-Computing-Design, das Rechenlogik und Speicher in 3D-gestapeltem Silizium verbindet; Qualcomm gibt etwa 6-fach höhere Bandbreite pro Watt gegenüber HBM und 200-fach höhere Kapazität pro Watt gegenüber SRAM an (Herstellerangaben, nicht unabhängig überprüft). Meta hat einen Mehrgenerationenvertrag über die Dragonfly-C1000-Server-CPU geschlossen; in den von uns geprüften Quellen hat Qualcomm keine Kunden für die HBC-basierten Beschleuniger AI250 und AI300 genannt. Drei Unterschiede bleiben wichtig: HBC ist Near-Memory (Rechnen neben dem Speicher), nicht MRAM-In-Memory-Computing (Rechnen im Speicher-Array); es zielt auf Rechenzentrums-KI-Beschleuniger, nicht auf Smartphones; und das kommerzielle Sampling der ersten HBC-Generation (AI250) wird für Mitte 2027 erwartet, HBC Gen 2 (AI300) für 2028 — ausgeliefert wurde also noch nichts. Es ist ein anderer Ansatz für dasselbe Memory-Wall-Problem, kein MRAM-Durchbruch.
Weiterführende Lektüre
- Wie viel VRAM für lokale LLMs — DRAM- vs. VRAM-Dimensionierung für On-Device-Inferenz heute.
- Beste GPUs für lokale LLMs — Aktuelle Hardware-Optionen, während man auf die Reife von MRAM wartet.
- LLM-Quantisierung erklärt — Q3, Q4, Q5 verstehen und wie Kompression den Speicherbedarf reduziert.
- Lösungen für den Speicher-Engpass lokaler LLMs — KV-Cache-Verwaltung, Inferenz-Optimierung und aktuelle Software-Ansätze.
- Apple-Silicon-Unified-Memory für lokale LLMs — Alternative zu dediziertem GPU-VRAM: eine Architektur, die die Vorteile von In-Memory-Compute teilweise widerspiegelt.
Quellen
- Samsung Newsroom: Samsung Electronics Starts Commercial Shipment of eMRAM Product Based on 28nm FD-SOI Process -- Pressemitteilung, 6. März 2019
- EE Journal: Ainekko Merges with Veevx (Pressemitteilung des Unternehmens) -- Fusionsankündigung, Anfang 2026
- MRAM-Info: SEMIFIVE und ICY Tech: Tape-out eines Edge-KI-SoC auf Samsung-8nm-eMRAM -- Tape-out auf Samsung Foundry 8nm (8LPU) mit eingebettetem MRAM, veröffentlicht am 8. Mai 2026
- Nature: A crossbar array of magnetoresistive memory devices for in-memory computing (Jung et al., 2022) -- 64×64-MRAM-Crossbar, MNIST 93,23 %, Gesichtserkennung 93,4 %
- Everspin Q3 2026 Ergebnisse (SEC Form 8-K) -- Umsatz 20,6 Mio. $ gegenüber 14,1 Mio. $; MRAM-Produktumsatz 16,9 Mio. $ gegenüber 12,7 Mio. $
- Everspin Q2 2026 Ergebnisse (SEC Form 8-K) -- 40-Millionen-Dollar-Vertrag mit einem US-Hauptauftragnehmer
- arXiv:2504.19874: TurboQuant, Online Vector Quantization with Near-optimal Distortion Rate -- KV-Cache-Quantisierung; Qualitätsneutralität bei 3,5 Bit pro Kanal
- StorageReview: Qualcomm stellt Dragonfly-Rechenzentrums-Roadmap vor -- HBC-Angaben zu Bandbreite und Kapazität, Sampling-Termine für AI250 und AI300, Meta-Vertrag zur C1000-CPU
- Horowitz, "Computing's energy problem (and what we can do about it)", ISSCC 2014 -- ungefähre Energie pro Operation bei 45 nm: SRAM-Zugriff, DRAM-Zugriff, Gleitkomma-Multiplikation
- Google Research: TurboQuant, redefining AI efficiency with extreme compression -- 3-Bit-KV-Cache, mindestens 6-fache Speicherreduktion, bis zu 8-fache Attention-Logit-Beschleunigung auf H100 (Herstellerangaben)
- MRAM-Info: Samsung on track to start 14 nm eMRAM production by the end of 2024, 8 nm by 2026 and 5 nm by 2027 -- Roadmap-Ziele von Samsung Foundry (Ankündigung 2023)
- StorageNewsletter: JEDEC and Industry Leaders Collaborate to Release JESD270-4 HBM4 Standard -- HBM4: bis zu 2 TB/s über eine 2048-Bit-Schnittstelle
- EE Times Asia: SEMIFIVE, ICY Tech Achieve Successful Tape-out of 8nm eMRAM-Based Edge AI SoC -- Angabe der Unternehmen: On-Device-Inferenz für Modelle mit bis zu 2B Parametern