Wichtigste Erkenntnisse
- Speicherbandbreite, nicht TOPS, ist der Engpass in der Dekodierungsphase der KI-Inferenz. Formel: Tokens/Sekunde ≈ Speicherbandbreite / Modellgröße_in_Bytes. Ein 7B-Modell in FP16 (14 GB) bei LPDDR5X 85,6 GB/s = ~6 Tokens/Sekunde. Dasselbe Modell quantisiert Q4 (3,5 GB) = ~24 Tokens/Sekunde. Rechenzentrum H100 HBM3E (1.229 TB/s) = ~88 Tokens/Sekunde.
- SK Hynix führt bei HBM-Lieferungen (je nach Quartal 2026 etwa 50–62% Marktanteil) und beliefert Nvidia H100, H200, B200. HBM4 (>2 TB/s) ist bereits in Massenproduktion: SK Hynix zielt auf seine 16-Layer-Variante mit 48 GB für Q3 2026, während Samsung im Mai 2026 als Erster der Branche 12-Layer-HBM4E-Samples mit 3,6 TB/s pro Stack auslieferte — bei dieser konkreten Kennzahl vor SK Hynix.
- Samsung validierte LPDDR5X-PIM (Processing-In-Memory) auf der Hot Chips 2026 (25. August 2026) als reales, getestetes Silizium, nicht als Laborkonzept. Auf einem Edge-KI-Beschleuniger-SoC lief Llama-3.1-8B mit 81,3 Tokens/Sekunde statt 27,0 Tokens/Sekunde auf Standard-LPDDR5X: eine gemessene Verbesserung um 3,01x, mit bis zu 8x interner Bandbreite im PIM-Modus. Der Chip ist pinkompatibel mit Standard-LPDDR5X (gleiches 561-Ball-Package), also ein Drop-in-Upgrade.
- On-Device-KI wird für große Modelle weiterhin langsamer als Cloud-KI sein — HBM passt nicht in ein Telefon —, aber die Lücke auf Telefonen ist gerade kleiner geworden. LPDDR5X-PIM erreicht nicht die HBM-Bandbreite; es reduziert stattdessen Datenbewegung, weshalb der Durchsatzgewinn (3x) kleiner ist als die rohe Bandbreitenlücke (14x), aber für reale Workloads dennoch relevant.
- Exynos 2600 (Galaxy S26) wird weiterhin mit Standard-LPDDR5X ausgeliefert und erreicht ~8–15 Tokens/Sekunde realistisch für ein quantisiertes 7B-Modell. LPDDR5X-PIM ist validiert, aber noch nicht in einem ausgelieferten Telefon-SoC — erwarten Sie es zuerst in Edge-KI-Beschleunigern.
- Der Speicherbandbreiten-Engpass erklärt weiterhin, warum Fine-Tuning oder Distillation nicht helfen: Jeder Parameter muss bei jedem Forward-Pass in den Speicher geladen werden. Kleinere Modelle helfen (3B, 1B), und Quantisierung bleibt die Basislösung für Telefone — PIM ist ein zusätzlicher Hebel, kein Ersatz dafür.
Warum Speicherbandbreite die KI-Geschwindigkeit bestimmt
Während der Dekodierungsphase der LLM-Inferenz muss die GPU/NPU das gesamte Modell in den Speicher laden, pro Token einen Forward-Pass durchführen und die Ausgabe schreiben. Der Engpass: Wie schnell können Parameter an die Recheneinheiten geliefert werden? Das ist Speicherbandbreite, nicht Rechen-TOPS.
Vereinfachte Formel: Tokens/Sekunde = Speicherbandbreite / (Modellgröße_in_Bytes × Bytes_pro_Präzision). Bei FP16 (2 Bytes pro Parameter) ist ein 7B-Modell = 14 GB. Bei LPDDR5X 85,6 GB/s: 85,6 GB/s ÷ 14 GB = ~6 Tokens/Sekunde theoretisches Maximum. In der Praxis 3–5 Tokens/Sekunde durch Rechen- und Cache-Overhead.
Quantisierung verändert die Gleichung drastisch. Q4 (4-Bit, 0,5 Bytes pro Parameter) verkleinert ein 7B-Modell auf 3,5 GB. 85,6 GB/s ÷ 3,5 GB = ~24 Tokens/Sekunde theoretisch. Real ~8–15 Tokens/Sekunde, eine 3–4-fache Verbesserung.
Rechenzentrum-H100 mit HBM3E (1.229 TB/s) kann für dasselbe Modell 100+ Tokens/Sekunde halten, weil HBM 14x schneller ist. Deshalb laufen Frontier-Modelle (70B, 405B) nur in Rechenzentren—man braucht die HBM-Bandbreite.
Inferenz unterscheidet sich vom Training. Training ist rechenbegrenzt (1000+ Pässe zur Gewichtsaktualisierung). Inferenz (besonders bei Prompt-Caching) ist ein einzelner Forward-Pass, rein speicherbandbreitenbegrenzt.
📍 In einem Satz
LLM-Dekodierung ist speicherbandbreitenbegrenzt: Tokens/Sekunde = Bandbreite / Modellgröße. On-Device 85,6 GB/s vs Rechenzentrum 1.229 TB/s = 14x-Lücke.
💬 In einfachen Worten
Denken Sie an ein Fließband: Rechnen sind die Arbeiter, Speicher ist die Lieferkette. Mehr Arbeiter (mehr FLOPS) hilft nicht, wenn Nachschub (Daten) gleich langsam ankommt. Telefonen fehlt eine "schnelle Lieferkette" (HBM).
Speicherbandbreite im Vergleich: LPDDR5X vs HBM
Speichertyp | Bandbreite | Verwendet In | Tokens/Sek (7B FP16) | Tokens/Sek (7B Q4) |
|---|---|---|---|---|
| LPDDR5X 10,7 Gbps | 85,6 GB/s (x64-Bus) | Galaxy S26, Snapdragon 8 Elite Gen 5 | ~6 Tokens/Sek (Theorie); ~3–5 real | ~24 Tokens/Sek (Theorie); ~8–15 real |
| HBM2E | ~460 GB/s pro Stack | Ältere GPUs (P100, V100) | ~33 Tokens/Sek (Theorie) | ~131 Tokens/Sek (Theorie) |
| HBM3 19,2 Gbps | ~819 GB/s pro Stack | Nvidia A100, 80GB-Variante | ~59 Tokens/Sek (Theorie) | ~234 Tokens/Sek (Theorie) |
| HBM3E 21,4 Gbps | 1,18–1,229 TB/s pro Stack | Nvidia H100, H200, B200 | ~88 Tokens/Sek (Theorie); ~60–80 real | ~352 Tokens/Sek (Theorie); ~200+ real |
| HBM4 (SK Hynix, 16-Layer) | >2 TB/s pro Stack, 48 GB | Nvidia-GPUs (Massenprod. Q3 2026) | ~143 Tokens/Sek (Theorie) | ~571 Tokens/Sek (Theorie) |
| HBM4E (Samsung, 12-Layer) | 3,6 TB/s pro Stack | Samples ausgeliefert Mai 2026 | ~257 Tokens/Sek (Theorie) | ~1.029 Tokens/Sek (Theorie) |
| LPDDR5X-PIM (Samsung, validiert) | 85,6 GB/s + bis zu 8x intern (PIM-Modus) | Hot Chips 2026, pinkompatibel | Nicht gemessen für 7B FP16 | Llama-3.1-8B: 81,3 vs 27,0 Tok/Sek (3,01x) |
Samsung und SK Hynix: Wer macht was
SK Hynix — Führend beim HBM-Volumen: SK führt bei HBM-Lieferungen, mit einem berichteten Anteil von etwa 50–62% je nach Quartal 2026 und Messmethode. SK beliefert Nvidia mit HBM3E für H100-, H200- und B200-GPUs und zielt auf Massenproduktion seines 16-Layer-HBM4 (48 GB, >2 TB/s) für Q3 2026.
Samsung — HBM4E-Geschwindigkeitsvorsprung, LPDDR5X-PIM validiert: Samsung lieferte am 29. Mai 2026 als Erster der Branche 12-Layer-HBM4E-Samples mit 3,6 TB/s pro Stack aus — bei dieser Kennzahl vor der HBM4-Spezifikation von SK Hynix, obwohl SK weiterhin mehr Gesamtvolumen ausliefert. Auf der Telefon-Seite präsentierte Samsung LPDDR5X-PIM auf der Hot Chips 2026 (25. August 2026) als validiertes, getestetes Silizium: ein Edge-KI-Beschleuniger-SoC führte Llama-3.1-8B mit 81,3 Tokens/Sekunde statt 27,0 Tokens/Sekunde auf Standard-LPDDR5X aus (3,01x), mit bis zu 8x interner Bandbreite im PIM-Modus. Der Chip nutzt dasselbe 561-Ball-Package wie Standard-LPDDR5X, also ein direkter Ersatz, kein neuer Formfaktor.
Wettbewerbsdynamik: Samsung sampelt weiterhin HBM (HBM3E, jetzt HBM4E), lag aber historisch bei Ausbeute und Gesamtvolumen hinter SK. Samsungs Positionierung für LPDDR5X-PIM ist explizit: eine Ergänzung zu HBM, kein Ersatz — mit Fokus auf Smartphones, KI-PCs und Edge-Beschleuniger, wo Kosten, Stromverbrauch und Packaging-Komplexität von HBM zu hoch sind.
Beide Unternehmen beliefern Nvidia: SK Hynix und Samsung liefern HBM für Nvidia-GPU-VRAM; Standard-DRAM (LPDDR/DDR) deckt Host-/CPU-Speicher ab. Keines liefert das Rechenwerk (Nvidia entwirft die GPU-Kerne).
Zeitplan: HBM4 ist jetzt in Massenproduktion (SK Hynix zielt auf Q3 2026 für seinen 16-Layer-Teil; Samsung sampelt bereits 12-Layer-HBM4E). LPDDR5X-PIM ist seit August 2026 validiertes Silizium, deutlich früher als die zuletzt genannte Produktionsschätzung von 2027-2028. LPDDR6/LPDDR6X-PIM ist Samsungs nächstes Ziel, mit einer ersten JEDEC-Spezifikation, die für Ende 2026 erhofft wird.
On-Device-KI-Grenzen beim Galaxy S26
Das Galaxy S26 Exynos 2600 mit LPDDR5X 85,6 GB/s definiert die praktische Obergrenze für On-Device-LLM-Inferenz. Ein auf Q4 quantisiertes 7B-Modell erreicht ~8–15 Tokens/Sekunde realistische Leistung. Das eignet sich für latenzsensible Aufgaben, ist aber für lange Gespräche unpraktisch.
Modellgrößengrenzen: Ein 7B-Modell ist praktikabel. Ein 13B-Modell bei Q4 (~6,5 GB) erreicht 85,6 GB/s ÷ 6,5 GB = ~13 Tokens/Sekunde, kaum eine Verbesserung. Ein 70B-Modell bei Q4 (~35 GB) erreicht 85,6 GB/s ÷ 35 GB = ~2 Tokens/Sekunde—unbrauchbar.
Quantisierung ist essenziell: FP16 (2 Bytes/Parameter) ist unpraktisch. Q4 (0,5 Bytes/Parameter) ist der Sweet Spot—4x kleinere Modelle mit akzeptablem Qualitätsverlust.
Geschwindigkeit-vs-Qualität-Kompromiss: 7B Q4 ist ~8–15 Tokens/Sekunde. 3B Q4 ist ~24–36 Tokens/Sekunde. 1B Q4 ist ~60+ Tokens/Sekunde.
Praktische Anwendungsfälle: Autovervollständigung, Echtzeit-Code-Vorschläge, On-Device-Transkription, lokale Zusammenfassung. Nicht praktikabel: lange Gespräche, komplexes Reasoning, Multi-Turn-Dialog ohne Caching.
Der Engpass ist Bandbreite, nicht Rechenleistung oder Gewichtsgröße. LPDDR5X-PIM hilft, indem es die nötige Datenbewegung reduziert, beseitigt aber nicht die grundlegende Bandbreitengrenze.
- Nutzen Sie die LPDDR5X-85,6-GB/s-Bandbreite, um maximale Tokens/Sekunde zu schätzen: teilen Sie durch die Modellgröße in GB
- 7B Q4 (3,5 GB): ~24 Tokens/Sekunde Theorie; ~8–15 real (praktikabel)
- 13B Q4 (6,5 GB): ~13 Tokens/Sekunde Theorie; ~4–8 real (langsam)
- 1B Q4 (~500 MB): ~171 Tokens/Sekunde Theorie; ~50–100 real (schnell)
- Quantisierung ist Pflicht: Q4 ist die Basis für nutzbare On-Device-Modelle
- LPDDR5X-PIM (validiert, noch nicht im Galaxy S26) könnte bei Ankunft in einem Telefon-SoC ~3x Durchsatz hinzufügen
Rechenzentrum vs. Telefon: Die 14x-Bandbreitenlücke
Eine Nvidia H100 GPU mit HBM3E (1.229 TB/s) ist bei der Inferenz-Durchsatzleistung 14x schneller als ein Galaxy S26 (LPDDR5X 85,6 GB/s). Diese Lücke liegt nicht an Rechen-FLOPS (beide sind schnell), sondern an reiner Speicherbandbreite.
Warum die Lücke besteht: HBM ist physisch anders. LPDDR5X ist ein dünner Film neben der CPU (energieeffizient für Telefone). HBM ist ein Stapel von Speicherchips, direkt mit der GPU über Through-Silicon-Vias (TSVs) verbunden. HBM-Stacks sind 2+ Zoll hoch; unmöglich, in ein Telefon zu passen.
Warum sie sich nicht schließen lässt: Telefone sind thermisch und energetisch begrenzt. HBM verbraucht erhebliche Leistung (~100+ W pro vollem Stack). LPDDR5X ~5–10 W. Man kann HBM-Bandbreite nicht physisch in ein Telefon packen, ohne die Akkulaufzeit zu zerstören.
Konsequenz: On-Device-KI wird für große Modelle weiterhin langsamer sein als Cloud-KI. Kleinere Modelle, aggressive Quantisierung und cleveres Caching sind die Lösungen.
Die Kehrseite: On-Device ist privat, offline-fähig, und latenzfrei für datenschutzsensible Aufgaben. Die 14x-Geschwindigkeitseinbuße ist der Preis der Privatsphäre.
Update: Samsung validierte LPDDR5X-PIM auf der Hot Chips 2026 (25. August 2026) — 3,01x gemessener Durchsatzgewinn (27,0 → 81,3 Tokens/Sekunde bei Llama-3.1-8B) auf einem pinkompatiblen Chip, deutlich früher als der zuvor auf dieser Seite genannte Zeitplan von 2027-2028. LPDDR6 (weiterhin 2027-2028) zielt auf ~200 GB/s, ~6x langsamer als HBM3E. Zusammen verkleinern PIM jetzt und LPDDR6 später die Telefon-vs-Rechenzentrum-Lücke spürbar, ohne sie zu schließen — die rohe 14x-Bandbreitenlücke nähert sich in der Praxis eher 4-6x, sobald PIM in Telefon-SoCs ankommt.
Speicher-Roadmap: HBM4 und LPDDR6
HBM4 / HBM4E (SK Hynix + Samsung, jetzt in Massenproduktion): >2 TB/s pro Stack für SK Hynix' 16-Layer-HBM4 (Massenproduktion angestrebt Q3 2026); 3,6 TB/s pro Stack für Samsungs 12-Layer-HBM4E, seit Mai 2026 im Sampling. Kommt zuerst in Nvidias Next-Gen-GPUs. Für Telefone weiterhin irrelevant.
LPDDR5X-PIM (Samsung, validiert im August 2026): Processing-In-Memory integriert Rechenoperationen direkt in den DRAM-Die. Das bewegte sich von "in Entwicklung" zu "demonstriert, getestetes Silizium" auf der Hot Chips 2026: gemessener 3,01x-Inferenzgewinn (27,0 → 81,3 Tokens/Sekunde bei Llama-3.1-8B) mit bis zu 8x interner Bandbreite im PIM-Modus, auf einem pinkompatiblen Chip. Es wird die HBM-Bandbreite nicht erreichen, ist aber real und früher als die vorherige Schätzung von 2027-2028.
LPDDR6 / LPDDR6X-PIM (2027-2028): ~200+ GB/s geschätzt für reguläres LPDDR6 — etwa 2,3x LPDDR5X-Bandbreite. Für ein 7B-Q4-Modell: 200 GB/s ÷ 3,5 GB ≈ 57 Tokens/Sekunde theoretisch (hoch von 24), ~20–35 real. Samsung blickt bereits über LPDDR5X-PIM hinaus auf LPDDR6X-PIM und hofft auf eine erste JEDEC-Spezifikation noch 2026.
Realität: Selbst mit LPDDR5X-PIM in Auslieferung und LPDDR6 auf der Roadmap werden Telefone für Inferenz weiterhin mehrfach langsamer sein als Rechenzentren — Samsung selbst positioniert PIM als Ergänzung zu HBM für kosten-/energiebegrenzte Geräte, nicht als Bandbreitenparität.
Für On-Device-KI, Ende 2026: Exynos 2600 + Standard-LPDDR5X bleibt die Auslieferungsbasis für das Galaxy S26. LPDDR5X-PIM ist validiert, aber noch nicht in einem ausgelieferten Telefon-SoC—erwarten Sie, dass Edge-KI-Beschleuniger es zuerst erhalten.
Häufig gestellte Fragen
Wie hoch ist die Speicherbandbreite von LPDDR5X?
LPDDR5X liefert bei 10,7 Gbps auf einem x64-Bus 85,6 GB/s — die Speichergeschwindigkeit im Galaxy S26, Snapdragon 8 Elite Gen 5 und den meisten Flaggschiff-Handys von 2026. Das ist etwa 5,4- bis 14-mal langsamer als Rechenzentrums-HBM (von HBM2E mit 460 GB/s bis HBM4/HBM4E mit 2-3,6 TB/s pro Stack) — deshalb ist On-Device-KI-Inferenz bei gleicher Modellgröße deutlich langsamer als im Rechenzentrum. Samsungs im August 2026 validierte LPDDR5X-PIM-Variante schließt einen Teil dieser Lücke: In Samsungs eigener Hot-Chips-2026-Demonstration lief Llama-3.1-8B mit dem 3,01-Fachen der Tokens/Sekunde von Standard-LPDDR5X.
Warum ist Speicherbandbreite der Engpass für KI-Inferenz?
Weil die Dekodierungsphase (jeden Token erzeugen) das Laden des gesamten Modells in den Speicher für einen Forward-Pass erfordert. Die Recheneinheiten sind schnell fertig, aber der Speicher kann sie nicht schnell genug mit Daten versorgen.
Was ist die Tokens/Sekunde-Formel für On-Device-KI?
Vereinfacht: Tokens/Sekunde = Speicherbandbreite / (Modellgröße × Bytes_pro_Präzision). Für ein 7B-FP16-Modell (14 GB) bei 85,6 GB/s: 85,6 ÷ 14 = ~6 Tokens/Sekunde. Quantisiert Q4 (3,5 GB): 85,6 ÷ 3,5 = ~24 Tokens/Sekunde.
Dominiert SK Hynix den HBM-Markt?
SK Hynix führt bei HBM-Lieferungen, mit einem berichteten Anteil von 50–62% je nach Quartal 2026. Samsung hat einen Teil der Lücke geschlossen: Es lieferte im Mai 2026 12-Layer-HBM4E-Samples mit 3,6 TB/s aus, bei dieser Kennzahl vor SK Hynix' HBM4-Spezifikation.
Kann Samsung SK Hynix bei HBM einholen?
Samsung ist näher dran als zuvor: Seine 12-Layer-HBM4E-Samples (3,6 TB/s, Mai 2026) übertreffen auf dem Papier die HBM4-Bandbreitenspezifikation von SK Hynix, obwohl SK weiterhin beim Gesamtvolumen führt. Bei Telefonen versucht Samsung gar nicht erst, die HBM-Bandbreite zu erreichen—stattdessen validierte es LPDDR5X-PIM.
Wann kommt LPDDR6?
Weiterhin geschätzt für 2027-2028 in der Galaxy-S27/S28-Ära, unverändert seit der letzten Aktualisierung. ~200+ GB/s (2,3x LPDDR5X). LPDDR5X-PIM hingegen ist bereits seit August 2026 validiertes Silizium—es wird wahrscheinlich vor LPDDR6 Edge-Geräte erreichen.
Warum kann man kein HBM in ein Telefon packen?
Physische Beschränkungen: HBM-Stacks sind 2+ Zoll hoch. Der HBM-Stromverbrauch (~100+ W) zerstört die Akkulaufzeit. LPDDR5X ist Dünnfilm, 5–10 W. Das hat sich mit HBM4/HBM4E nicht geändert—die neuen Generationen sind schneller, aber nicht kleiner oder sparsamer.
Wird LPDDR5X-PIM die Lücke zu HBM schließen?
Teilweise, und jetzt gemessen, nicht projiziert. Samsung zeigte auf der Hot Chips 2026 einen echten Chip, der Llama-3.1-8B mit 81,3 Tokens/Sekunde gegenüber 27,0 Tokens/Sekunde auf Standard-LPDDR5X ausführte—ein 3,01x-Gewinn. Das bleibt weit unter der rohen 14x-Lücke zu HBM3E, ist aber eine größere reale Verbesserung als die zuvor auf dieser Seite genannte "~50%"-Schätzung.
Ist FLOPS-Rechenleistung für On-Device-KI relevant?
Nicht so sehr wie gedacht. Dekodierung ist speicherbegrenzt, nicht rechenbegrenzt. Eine langsamere Recheneinheit mit schnellerem Speicher schlägt eine schnellere mit langsamerem Speicher.
Kann ich ein 70B-Modell auf dem Galaxy S26 ausführen?
Technisch ja; praktisch nein. 70B Q4 (~35 GB) ergibt 85,6 GB/s ÷ 35 GB = ~2 Tokens/Sekunde. Das ist 1 Token pro Sekunde—unbrauchbar für interaktive Aufgaben. Bleiben Sie bei 7B oder kleiner.