Wichtigste Erkenntnisse
- MRAM (Magnetoresistive RAM): Nicht-flüchtiger Speicher auf Basis magnetischer Tunnelübergänge (MTJ). Kein Refresh erforderlich, kein Standby-Stromverbrauch. Byte-adressierbar wie DRAM.
- In-Memory-Computing: Multiply-Accumulate-Operationen (MAC) werden direkt im Speicher-Array ausgeführt. Eliminiert den Datentransport zwischen CPU/GPU und Speicher — der größte Energiekostenfaktor bei der Inferenz.
- Aktueller Status: Samsung SAIT demonstrierte es im Nature-Paper (2022) mit 98 % Genauigkeit bei Bildaufgaben. SemiFive + ICYTech erreichten den 8nm-eMRAM-Tape-Out (Mai 2026). Noch keine Consumer-Produkte.
- Der Haken: Tape-Out ≠ zurückgeliefertes Silizium ≠ ausgeliefertes Produkt. Reale Zahlen zur Energieeffizienz stehen noch aus. Consumer-Smartphones/PCs sind vor 2029–2031 unwahrscheinlich.
- Alternative: Google TurboQuant (ICLR 2026) komprimiert den KV-Cache auf 3 Bit ohne Genauigkeitsverlust — ein rein softwarebasierter Ansatz für dasselbe Problem, bereits heute verfügbar.
Was ist MRAM?
MRAM speichert Daten über magnetische Eigenschaften statt über elektrische Ladung (wie DRAM) oder eingefangene Elektronen (wie Flash). Die Kerneinheit ist ein magnetischer Tunnelübergang (MTJ): eine dünne Isolierschicht zwischen zwei magnetischen Schichten. Ein kleiner Strom setzt den Übergang auf hohen oder niedrigen Widerstand — hoch = „1", niedrig = „0".
Zentrale Eigenschaften:
- Nicht-flüchtig: Daten bleiben ohne Strom erhalten. Kein Refresh-Zyklus erforderlich.
- Byte-adressierbar: Wie bei DRAM können einzelne Bytes gelesen/geschrieben werden. Anders als bei Flash (seitenbasiert).
- Null Standby-Power: DRAM benötigt ~0,5–1 mW pro Gigabyte allein zum Erhalt der Daten (Refresh-Strom). MRAM benötigt davon nichts.
- Hohe Ausdauer: Kommerzielles MRAM erreicht 10^10 bis 10^14 Schreibzyklen. DRAM/SRAM liegen bei ~10^16 (praktisch unbegrenzt). NAND-Flash liegt bei 10^3–10^5. MRAM ist Flash weit überlegen und vergleichbar mit DRAM.
- Prozessintegration: Samsung, TSMC und andere können MRAM direkt in Logik-Dies bei 28nm, 14nm und kleineren Nodes einbetten.
Der Speicher-Engpass in On-Device-KI
Moderne KI-Inferenz wird von einem einzigen Problem dominiert: dem von-Neumann-Flaschenhals. Recheneinheit (CPU/GPU) und Speicher sind physisch getrennt. Jede Operation eines neuronalen Netzes erfordert, dass Daten hin und her transportiert werden — Gewichte, Aktivierungen, KV-Caches in Transformern.
Dieser Datentransport ist im Vergleich zur eigentlichen Rechenarbeit außerordentlich teuer:
Bei einer typischen lokalen LLM-Inferenz-Last macht der Datentransport bis zu 90 % des gesamten Energieverbrauchs aus. Die Rechenarbeit selbst — die eigentliche Mathematik des neuronalen Netzes — ist fast ein Rundungsfehler. Das erzeugt einen perversen Anreiz: Größere, schnellere CPUs/GPUs helfen nicht, wenn der Speicherbus die Wand ist.
Für On-Device-KI auf Smartphones, Laptops und batteriebetriebenen Edge-Geräten ist dieser Engpass das Haupthindernis für längere Inferenzzeiten ohne Entladung des Akkus.
| Operation | Energy cost | Relative |
|---|---|---|
| 32-Bit-DRAM-Zugriff | ~640 pJ | ~200× mehr als eine MAC-Operation |
| 32-Bit-On-Chip-SRAM-Zugriff | ~5 pJ | ~5× mehr als eine MAC-Operation |
| 32-Bit-Gleitkomma-Multiply-Accumulate (MAC) | ~0,9 pJ | Basiswert (1×) |
Wie In-Memory-Computing das Problem angreift
In-Memory-Computing (auch Processing-in-Memory oder PIM genannt) löst dies, indem die Rechenarbeit in das Speicher-Array selbst verlagert wird. Statt Gewichte und Aktivierungen in eine separate ALU zu laden, findet die MAC-Operation direkt im Crossbar der Speicherzellen statt.
So funktioniert es:
- Die Gewichte des neuronalen Netzes werden als MRAM-Zellen (oder anderer analog-kompatibler Speicher) abgelegt.
- Eingabe-Aktivierungen werden als Zeilenspannungen angelegt.
- Die analogen Eigenschaften des Speicher-Arrays berechnen die Matrix-Vektor-Multiplikation in einem einzigen Durchlauf — die Kernoperation der Transformer-Inferenz.
- Die Ergebnisse werden ausgelesen und zurück ins Digitale quantisiert.
Wo MRAM heute steht (Juni 2026)
Samsung SAIT Nature-Paper (Januar 2022):
- Veröffentlichte Demonstration eines 64×64-MRAM-Crossbar-Arrays, das In-Memory-Computing ausführt.
- Erreichte Genauigkeit: 98 % bei der Klassifizierung handgeschriebener Ziffern (MNIST), 93 % bei der Gesichtserkennung.
- Energieeffizienz: Der Nutzen durch die Eliminierung des Datentransports ist grundsätzlich bestätigt, aber die konkret quantifizierte Leistungsreduktion gegenüber DRAM wurde in öffentlichen Materialien nicht offengelegt.
- Einschränkung: Stark spezialisiert auf klassische ML-Aufgaben (Ziffernklassifizierung, Objekterkennung). Noch nicht an großer Transformer-Inferenz demonstriert.
- SemiFive + ICYTech PNM-MRAM-Edge-Chip (Mai 2026):
- Erfolgreich den Tape-Out in Samsung Foundry 8nm (8LPU) mit eingebettetem MRAM erreicht.
- Tape-Out = Design zur Fertigung eingereicht. Silizium ist noch nicht zurückgeliefert, es wurden noch keine Benchmarks veröffentlicht und das Produkt ist noch nicht ausgeliefert.
- Beanspruchte Leistungsfähigkeit: On-Device-Inferenz für Modelle mit bis zu 2 Milliarden Parametern ohne Netzwerkverbindung.
- Ziel: Textzusammenfassung, Übersetzung, dialogorientiertes Reasoning auf Edge-KI, humanoiden Robotern, im Automobilbereich.
- Erste Kommerzialisierung für Asien angepeilt; kein nordamerikanischer Zeitplan angekündigt.
MRAM vs HBM vs DRAM vs LPDDR5: Kompromisse
Was MRAM bietet, was HBM nicht bietet:
- Nicht-Flüchtigkeit: Gewichte überstehen das Ausschalten und ermöglichen Instant-On-Inferenz ohne erneutes Laden von der Festplatte.
- Null Refresh-Strom: eliminiert den Standby-Stromaufschlag.
- Direkte Die-Integration: kein separates Speicher-Package erforderlich.
- Geeignet für intermittierend versorgte Edge-Knoten und Wearables.
- Was HBM bietet, was MRAM (derzeit) nicht bietet:
- Deutlich höhere Bandbreite: HBM4 liefert 1,6 TB/s gegenüber der eingebetteten Bandbreite von MRAM (unspezifiziert, vermutlich im Bereich von 10–100 GB/s).
- Bewährte Dichte im Maßstab für das Training großer Modelle.
- Keine Abhängigkeit von spezialisierter MTJ-Prozessintegration.
- Heute in produktiven KI-Beschleunigern verfügbar.
| Memory Type | Peak Bandwidth | Non-Volatile | Standby Power | Form Factor | Best For | Status for AI |
|---|---|---|---|---|---|---|
| HBM4 (High Bandwidth Memory) | ~1,6 TB/s pro Stack | Nein | Hoch (Refresh) | Gestapelt auf Interposer | KI-Training, High-End-Inferenz | Produktion, im Maßstab bewährt |
| LPDDR5X (mobiles DRAM) | 68–77 GB/s | Nein | Hoch (Refresh) | Wirebonded-Package | Edge-KI, mobile Inferenz | Aktueller Standard für Smartphones/Tablets |
| MRAM (embedded eMRAM) | Noch nicht veröffentlicht | Ja | Nahe Null | Im SoC-Die eingebettet | Always-on-Edge-KI, spezialisierte Lasten | F&E, Tape-Out (Mai 2026), noch nicht für Consumer |
| Standard-DRAM | ~100–200 GB/s | Nein | Mittel (Refresh) | DIMM, SO-DIMM | Allgemeines Computing, Inferenz auf Desktops | Produktion, überall |
Fazit: MRAM und HBM sind heute keine Konkurrenten. HBM adressiert KI-Beschleuniger mit hoher Bandbreite (GPUs, TPUs in Rechenzentren). MRAM adressiert Edge-Inferenz und spezialisiertes In-Memory-Computing, bei dem Nicht-Flüchtigkeit und SoC-Integration wichtiger sind als reine Bandbreite.
Die Software-Alternative: TurboQuant KV-Cache-Kompression
Während Hardware-Forscher an MRAM-In-Memory-Computing arbeiten, greifen Software-Ingenieure den Speicher-Engpass aus einem anderen Blickwinkel an: Kompression.
Google TurboQuant (ICLR 2026, veröffentlicht März 2026):
- Komprimiert den KV-Cache (Key-Value) in der Transformer-Inferenz auf 3 Bit — herunter von den üblichen 16-Bit- oder 8-Bit-Formaten.
- 6×-Reduktion des Speicherbedarfs des KV-Caches. Bei Inferenzen mit langem Kontext kann der KV-Cache 30–50 % des VRAM belegen.
- Null Genauigkeitsverlust in Benchmarks, einschließlich Needle-in-Haystack-Evaluierungen (Abruf bei langem Kontext).
- Bis zu 8× Beschleunigung bei der Berechnung von Attention-Logits auf H100-GPUs (4-Bit-TurboQuant vs 32-Bit unquantisiert).
- Kein Training oder Fine-Tuning erforderlich. Drop-in-Ersatz für bestehende Inferenz-Pipelines.
- So funktioniert es: Zweistufiger Prozess — PolarQuant (Quantisierung in Polarkoordinaten mittels Lloyd-Max-Zentroiden) + QJL (Quantized Johnson-Lindenstrauss-Transformation, fügt Fehlerkorrektur hinzu, um die Genauigkeit des inneren Produkts bei extremer Kompression zu erhalten).
- Mehrere unabhängige Open-Source-Implementierungen existieren. Offizielle Google-Code-Veröffentlichung für Q2 2026 erwartet.
- Warum das wichtig ist: Rein softwarebasierte Speicherreduktion ist *heute* verfügbar, erfordert keine neue Hardware und funktioniert auf jeder NVIDIA-/AMD-GPU oder CPU mit Standard-Inferenz-Bibliotheken. Sie ist eine pragmatische Lösung für den Speicher-Engpass, während man auf die Reife von MRAM wartet.
Wenn MRAM Consumer-Geräte erreicht
Eine Verbreitung von MRAM in Consumer-Smartphones und -PCs würde On-Device-KI auf drei Arten umgestalten:
- Instant-On-Inferenz: Das Smartphone bootet, die Gewichte des KI-Modells liegen bereits im nicht-flüchtigen MRAM auf dem SoC, kein erneutes Laden aus dem Speicher nötig. Sofortiger Start für Sprachassistenten, Echtzeit-Übersetzung, On-Device-Reasoning.
- Akkulaufzeit: Kein Standby-Refresh-Verbrauch im Speicher-Subsystem. Bei Always-on-KI-Funktionen (Hintergrund-Zuhören, datenschutzwahrende Analytik) sind die Energieeinsparungen multiplikativ.
- Größere Modelle bei festem Energiebudget: Wenn In-Memory-Computing eine 2–10× bessere Energieeffizienz gegenüber der Trennung von LPDDR5 + Rechenwerk erreicht, könnten Smartphones 5B–10B-Modelle mit demselben Akku-Einfluss wie heutige 1B–2B-Modelle ausführen.
Zeitplan & ehrlicher Ausblick
Was bestätigt ist (durch veröffentlichte Roadmaps und Ankündigungen):
- Was NICHT bestätigt ist:
- Kein großer Smartphone-OEM (Apple, Qualcomm, MediaTek) hat eine MRAM-Integration angekündigt.
- MRAM-Bandbreiten- und Dichte-Spezifikationen für den Consumer-VRAM-Maßstab (8–16 GB) sind nicht öffentlich verfügbar.
- Energieeffizienzgewinne für die Inferenz großer Modelle (30B+) wurden noch nicht in Silizium gemessen.
- Kostenparität mit LPDDR5 oder HBM steht auf keiner veröffentlichten Roadmap.
- Realistischer Zeitplan:
- 2026–2028: Edge-KI-SoCs (Roboter, Automobil, IoT) mit kleinen MRAM-In-Memory-Compute-Einheiten. Begrenzte Modelle im 2B-Maßstab. Asien-zuerst-Einsatz.
- 2028–2030: Mögliche Smartphone-Integration als nicht-flüchtiger Cache oder spezialisierte KI-Beschleuniger-Kachel (kein Ersatz des Hauptspeichers).
- 2030+: Ein Mainstream-Einsatz in Consumer-Smartphones als DRAM-Ersatz würde die Lösung von Dichte-, Bandbreiten- und Kostenherausforderungen erfordern, die noch nicht gelöst sind. Nicht vor 2031–2035 zu erwarten.
| Year | Milestone | Status |
|---|---|---|
| 2019 | Samsung produziert eMRAM in 28nm in Serie | ✓ Erledigt |
| 2024 | Samsung 14nm-eMRAM-Produktion | ✓ Erledigt |
| 2026 | Samsung 8nm-eMRAM-Produktion; SemiFive/ICYTech-Tape-Out | ✓ Erledigt (Juni 2026) |
| 2027 | Samsung 5nm-eMRAM-Prozess verfügbar (Roadmap) | Im Plan |
| 2028–2029 | Mögliche erste Edge-KI-SoCs mit MRAM-In-Memory-Compute in Auslieferung (SemiFive, andere) | Plausibel, aber unbestätigt |
| 2029–2031 | Mögliche MRAM-Integration in Consumer-Smartphones (nicht-flüchtiger Cache oder spezialisierter KI-Die) | Spekulativ |
Häufig gestellte Fragen
Kann ich MRAM jetzt für meinen PC oder mein Smartphone kaufen?
Nein. MRAM ist in Produktion für industrielle Mikrocontroller, Automobil-Chips und Enterprise-Storage. Für Consumer-KI ist es Stand Juni 2026 nur F&E. Der SemiFive/ICYTech-Chip befindet sich im Tape-Out-Stadium — das Silizium ist noch nicht zurückgeliefert. Der Consumer-Einsatz ist realistisch 3–5+ Jahre entfernt.
Wird MRAM den VRAM meiner GPU ersetzen?
Kurzfristig unwahrscheinlich. MRAM glänzt bei geringer Standby-Power und Nicht-Flüchtigkeit, was auf batteriebeschränkten Edge-Geräten wichtig ist. HBM löst ein anderes Problem: maximale Bandbreite für das Training in Rechenzentren und die Inferenz mit großen Batches. Für Consumer-Smartphones und spezialisierte Edge-KI könnte MRAM zu einer Komponente werden (eingebetteter Cache oder Beschleuniger-Kachel). VRAM für eine Gaming-GPU oder einen Rechenzentrums-Beschleuniger wird auf absehbare Zeit HBM oder GDDR bleiben.
Was ist der Unterschied zwischen In-Memory-Computing und einer Vektordatenbank?
Unterschiedliche Ebenen. Vektordatenbanken speichern Embeddings und rufen sie nach Ähnlichkeit ab (verwendet in RAG-Pipelines). In-Memory-Computing führt die Kernoperation des neuronalen Netzes (Matrix-Vektor-Multiplikation) im Speicher selbst aus und eliminiert den Datentransport. Man könnte beides zusammen einsetzen: In-Memory-Compute für die Inferenz-Engine, Vektor-DB für den Abruf.
Kann ich TurboQuant-Kompression auf meinem heute laufenden lokalen LLM nutzen?
Noch nicht in gängigen Inferenz-Bibliotheken, aber Implementierungen existieren. TurboQuant ist wissenschaftliche Arbeit (ICLR 2026). Ollama, LM Studio und andere Consumer-orientierte Tools haben es noch nicht integriert. Prüfen Sie GitHub auf Community-Implementierungen. Die Grundidee — den KV-Cache aggressiv zu quantisieren — ist in eigenem Inferenz-Code reproduzierbar.
Funktioniert MRAM mit Transformern?
Samsung demonstrierte es an klassischen ML-Aufgaben (Ziffernklassifizierung, Gesichtserkennung). Transformer-Inferenz im großen Maßstab (7B+-Modelle) im MRAM-In-Memory-Compute wurde noch nicht veröffentlicht. Es ist plausibel, aber unbewiesen. Der SemiFive-Chip beansprucht eine Leistungsfähigkeit von 2B Parametern; echte Benchmarks werden wir erhalten, wenn das Silizium zurückkehrt und ausgeliefert wird.
Ist MRAM dasselbe wie 3D XPoint (Intel Optane)?
Nein. 3D XPoint war Intels proprietäre Storage-Class-Memory-Technologie (inzwischen eingestellt). MRAM ist eine andere nicht-flüchtige Speichertechnologie mit anderer Physik (magnetisch statt Phasenwechsel). Beide zielen auf denselben Problembereich — schnellen, langlebigen, nicht-flüchtigen Speicher — verwenden aber unterschiedliche Ansätze.
Wie viel Strom spart MRAM im Vergleich zu DRAM?
Im Standby (kein Refresh): MRAM spart ~0,5–1 mW pro Gigabyte. Bei aktiver Inferenz mit In-Memory-Compute: Samsungs Pressemitteilung beansprucht eine „erhebliche" Reduktion durch die Eliminierung des Datentransports, aber konkret quantifizierte Einsparungen sind nicht öffentlich offengelegt. Reale Zahlen werden kommen, wenn Silizium ausgeliefert und unabhängig gebenchmarkt wird.
Wird MRAM DRAM ersetzen?
Nicht als Hauptspeicher in absehbarer Zukunft. Die Stärken von MRAM sind Nicht-Flüchtigkeit und Null Standby-Power, was zu eingebetteten Caches und stromsparenden Edge-Beschleunigern passt. DRAM und HBM behalten weiterhin entscheidende Vorteile bei Dichte, Bandbreite und Kosten pro Bit — Samsungs HBM4 ist in Massenproduktion mit Multi-Terabyte-pro-Sekunde-Bandbreite, und LPDDR6 treibt 30–35 Gbps pro Pin für Edge-Geräte. Die realistische Rolle für MRAM ist eine ergänzende nicht-flüchtige Kachel oder In-Memory-Compute-Einheit, kein DRAM-Ersatz.
Hat Qualcomm 2026 den Speicher-Engpass gelöst?
Qualcomm kündigte HBC (High-Bandwidth Compute) unter seiner Marke Dragonfly auf seinem Investors Day 2026 an — eine Near-Memory-Architektur, die einen Rechenbeschleuniger unter dem LPDDR-Speicher über Through-Silicon-Vias (TSV) stapelt und dabei rund 6-fache Bandbreite-pro-Watt gegenüber HBM sowie 200-fache Kapazität-pro-Watt gegenüber SRAM beansprucht. Drei Unterschiede sind relevant: HBC ist near-memory (Rechenwerk neben dem Speicher), nicht MRAM-In-Memory-Computing (Rechenwerk im Speicher-Array); es zielt auf KI-Beschleuniger in Rechenzentren (AI250/AI300), nicht auf Smartphones; und die erste HBC-Generation ist für Mitte 2027 geplant, es wurde also 2026 nichts ausgeliefert. Es ist ein anderer Ansatz für dasselbe Memory-Wall-Problem, kein MRAM-Durchbruch.
Weiterführende Lektüre
- Wie viel VRAM für lokale LLMs — DRAM- vs. VRAM-Dimensionierung für On-Device-Inferenz heute.
- Beste GPUs für lokale LLMs — Aktuelle Hardware-Optionen, während man auf die Reife von MRAM wartet.
- LLM-Quantisierung erklärt — Q3, Q4, Q5 verstehen und wie Kompression den Speicherbedarf reduziert.
- Lösungen für den Speicher-Engpass lokaler LLMs — KV-Cache-Verwaltung, Inferenz-Optimierung und aktuelle Software-Ansätze.
- Apple-Silicon-Unified-Memory für lokale LLMs — Alternative zu dediziertem GPU-VRAM: eine Architektur, die die Vorteile von In-Memory-Compute teilweise widerspiegelt.