重要なポイント
- メモリ帯域幅こそが、TOPSではなく、AI推論のデコード段階のボトルネックです。公式:tokens/sec ≈ memory_bandwidth / model_size_in_bytes。FP16の7Bモデル(14 GB)をLPDDR5X 85.6 GB/sで実行すると~6トークン/秒。同モデルをQ4量子化(3.5 GB)すると~24トークン/秒。データセンターH100 HBM3E(1.229 TB/s)は~88トークン/秒。
- SK HynixがHBM出荷を主導(2026年は四半期により約50〜62%のシェア)し、Nvidia H100, H200, B200に供給。HBM4(>2 TB/s)はすでに量産段階:SK Hynixは16層・48 GB版を2026年第3四半期の量産目標とし、一方Samsungは2026年5月、業界初となる12層HBM4Eサンプル(スタックあたり3.6 TB/s)を出荷し、この特定の指標ではSK Hynixに先行しました。
- Samsungは2026年8月25日のHot Chips 2026で、LPDDR5X-PIM(メモリ内処理)を実際にテストされたシリコンとして検証しました——ラボのコンセプトではありません。エッジAIアクセラレータSoCでLlama-3.1-8Bを実行したところ、標準LPDDR5Xの27.0トークン/秒に対し81.3トークン/秒を達成:実測3.01倍の向上で、PIMモードでは内部帯域幅が最大8倍になります。チップは標準LPDDR5Xとピン互換(同じ561ボールパッケージ)のため、ドロップイン型のアップグレードです。
- オンデバイスAIは大規模モデルでは依然クラウドAIより遅いままです——電話にHBMは収まりません——が、電話上のギャップはちょうど縮まったところです。LPDDR5X-PIMはHBM帯域幅に匹敵するわけではなく、データ移動を減らすことで実現しているため、スループット向上(3倍)は生の帯域幅ギャップ(14倍)より小さいものの、実際のワークロードには意味があります。
- Exynos 2600(Galaxy S26)は依然標準LPDDR5Xで出荷され、量子化7Bモデルで現実的には~8〜15トークン/秒を達成します。LPDDR5X-PIMは検証済みですが、まだ出荷済みの電話SoCには搭載されていません——まずエッジAIアクセラレータに登場すると見られます。
- メモリ帯域幅ボトルネックは、なぜファインチューニングや蒸留が役立たないかを引き続き説明します:すべてのパラメータを毎回のフォワードパスでメモリにロードする必要があります。より小さいモデル(3B、1B)は役立ち、量子化は電話向けの基本解決策であり続けます——PIMは追加の手段であり、置き換えではありません。
メモリ帯域幅がAI速度を決定する理由
LLM推論のデコード段階では、GPU/NPUはモデル全体をメモリにロードし、トークンごとに1回のフォワードパスを実行し、出力を書き込む必要があります。ボトルネック:パラメータを計算ユニットにどれだけ速く供給できるか?これはメモリ帯域幅であり、計算TOPSではありません。
簡略化した公式:tokens/sec = memory_bandwidth / (model_size_in_bytes × bytes_per_precision)。FP16(パラメータあたり2バイト)では、7Bモデル = 14 GB。LPDDR5X 85.6 GB/sでは:85.6 GB/s ÷ 14 GB = 理論最大値~6トークン/秒。実際には計算とキャッシュのオーバーヘッドにより3〜5トークン/秒。
量子化は方程式を劇的に変えます。Q4(4ビット、パラメータあたり0.5バイト)は7Bモデルを3.5 GBに縮小します。85.6 GB/s ÷ 3.5 GB = 理論上~24トークン/秒。現実世界では~8〜15トークン/秒、3〜4倍の改善です。
HBM3E(1.229 TB/s)搭載のデータセンターH100は、同じモデルで100+トークン/秒を維持できます。HBMが14倍速いためです。これがフロンティアモデル(70B、405B)がデータセンターでのみ動作する理由です——HBM帯域幅が必要です。
推論は訓練と異なります。訓練は計算制約(重み更新のため1000+回のパス)です。推論(特にプロンプトキャッシュ後)は単一のフォワードパスであり、純粋にメモリ帯域幅制約です。
📍 一文で説明
LLMデコードはメモリ帯域幅制約:tokens/sec = 帯域幅 / モデルサイズ。オンデバイス85.6 GB/s vs データセンター1.229 TB/s = 14倍のギャップ。
💬 簡潔に説明
組立ラインを想像してください:計算は労働者、メモリはサプライチェーンです。労働者が増えても(FLOPSが増えても)、供給(データ)が同じ速度でしか届かなければ意味がありません。電話には「速いサプライチェーン」(HBM)がありません。
メモリ帯域幅比較: LPDDR5X vs HBM
メモリタイプ | 帯域幅 | 使用先 | Tokens/sec(7B FP16) | Tokens/sec(7B Q4) |
|---|---|---|---|---|
| LPDDR5X 10.7 Gbps | 85.6 GB/s(x64バス) | Galaxy S26、Snapdragon 8 Elite Gen 5 | ~6 tokens/sec(理論); ~3–5 現実 | ~24 tokens/sec(理論); ~8–15 現実 |
| HBM2E | ~460 GB/s(スタックあたり) | 旧世代GPU(P100、V100) | ~33 tokens/sec(理論) | ~131 tokens/sec(理論) |
| HBM3 19.2 Gbps | ~819 GB/s(スタックあたり) | Nvidia A100、80GB版 | ~59 tokens/sec(理論) | ~234 tokens/sec(理論) |
| HBM3E 21.4 Gbps | 1.18–1.229 TB/s(スタックあたり) | Nvidia H100、H200、B200 | ~88 tokens/sec(理論); ~60–80 現実 | ~352 tokens/sec(理論); ~200+ 現実 |
| HBM4(SK Hynix、16層) | >2 TB/s(スタックあたり)、48 GB | Nvidia次世代GPU(2026年Q3量産目標) | ~143 tokens/sec(理論) | ~571 tokens/sec(理論) |
| HBM4E(Samsung、12層) | 3.6 TB/s(スタックあたり) | 2026年5月にサンプル出荷 | ~257 tokens/sec(理論) | ~1,029 tokens/sec(理論) |
| LPDDR5X-PIM(Samsung、検証済み) | 85.6 GB/s + PIMモードで内部最大8倍 | Hot Chips 2026で公開、ピン互換 | 7B FP16では未測定 | Llama-3.1-8B: 81.3 vs 27.0 tok/sec(3.01倍) |
SamsungとSK Hynix: 誰が何を作るか
SK Hynix — HBM出荷量のリーダー: SKはHBM出荷を主導しており、2026年の四半期や測定方法によって約50〜62%のシェアが報告されています。SKはH100、H200、B200 GPU向けにHBM3EをNvidiaに供給し、16層HBM4(48 GB、>2 TB/s)を2026年第3四半期の量産目標としています。
Samsung — HBM4E速度で先行、LPDDR5X-PIM検証済み: Samsungは2026年5月29日、業界初となる12層HBM4Eサンプルをスタックあたり3.6 TB/sで出荷しました——この指標ではSK HynixのHBM4仕様を上回りますが、SKは依然総出荷量で優位です。電話側では、Samsungは2026年8月25日のHot Chips 2026でLPDDR5X-PIMを検証済み・テスト済みのシリコンとして発表:エッジAIアクセラレータSoCがLlama-3.1-8Bを標準LPDDR5Xの27.0トークン/秒に対し81.3トークン/秒で実行(3.01倍)、PIMモードでは内部帯域幅が最大8倍。チップは標準LPDDR5Xと同じ561ボールパッケージを使用しており、新しいフォームファクタではなく直接的な置き換えです。
競争力学: SamsungはHBM(HBM3E、現在はHBM4E)のサンプリングを続けていますが、歩留まりと総HBM量では歴史的にSKに遅れをとってきました。SamsungのLPDDR5X-PIMに対する位置づけは明確です:HBMの置き換えではなく補完——HBMのコスト、消費電力、パッケージング複雑性が障壁となるスマートフォン、AI PC、エッジアクセラレータをターゲットにしています。
両社ともNvidiaに供給: SK HynixとSamsungはどちらもNvidia GPUのVRAM向けにHBMを供給しています;標準DRAM(LPDDR/DDR)はホスト/CPUメモリをカバーします。どちらも計算部分は供給しません(Nvidiaが GPUコアを設計)。
タイムライン: HBM4は現在量産段階(SK Hynixは16層版を2026年第3四半期目標;Samsungはすでに12層HBM4Eをサンプリング中)。LPDDR5X-PIMは2026年8月時点で検証済みシリコンであり、前回の更新で示された2027-2028年の量産見積もりを大きく前倒ししています。LPDDR6/LPDDR6X-PIMがSamsungの次のターゲットで、2026年内にJEDECの初期仕様を望んでいます。
Galaxy S26のオンデバイスAI制限
Galaxy S26 Exynos 2600のLPDDR5X 85.6 GB/sは、オンデバイスLLM推論の実質的な上限を定義しています。Q4に量子化された7Bモデルは現実的に~8〜15トークン/秒の性能に達します。これはレイテンシに敏感なタスクには適していますが、長い会話には実用的ではありません。
モデルサイズの制限:7Bモデルは実用的です。13B Q4モデル(~6.5 GB)は85.6 GB/s ÷ 6.5 GB = ~13トークン/秒に達し、ほとんど改善しません。70B Q4モデル(~35 GB)は85.6 GB/s ÷ 35 GB = ~2トークン/秒——使用不可能です。
量子化は不可欠です:FP16(パラメータあたり2バイト)は非実用的です。Q4(パラメータあたり0.5バイト)がスイートスポットです——4倍小さいモデルで許容可能な品質低下です。
速度対品質のトレードオフ:7B Q4は~8〜15トークン/秒。3B Q4は~24〜36トークン/秒。1B Q4は~60+トークン/秒。
実用的なユースケース:自動補完、リアルタイムコード提案、オンデバイス文字起こし、ローカル要約。実用的でない:長い会話、複雑な推論、キャッシュなしのマルチターン対話。
ボトルネックは帯域幅であり、計算や重みサイズではありません。LPDDR5X-PIMは必要なデータ移動を減らすことで役立ちますが、基本的な帯域幅の限界を排除するわけではありません。
- LPDDR5X 85.6 GB/sの帯域幅を使って最大トークン/秒を推定:GB単位のモデルサイズで割る
- 7B Q4(3.5 GB):理論~24 tokens/sec;現実~8–15(実用的)
- 13B Q4(6.5 GB):理論~13 tokens/sec;現実~4–8(遅い)
- 1B Q4(~500 MB):理論~171 tokens/sec;現実~50–100(速い)
- 量子化は必須:Q4が使用可能なオンデバイスモデルの基準
- LPDDR5X-PIM(検証済み、まだGalaxy S26には未搭載)は電話SoCに到達すればスループットを~3倍にできる可能性
データセンター vs 電話: 14倍の帯域幅ギャップ
HBM3E(1.229 TB/s)搭載のNvidia H100 GPUは、Galaxy S26(LPDDR5X 85.6 GB/s)より推論スループットで14倍速いです。このギャップは計算FLOPS(両方とも高速)によるものではなく、純粋なメモリ帯域幅によるものです。
ギャップが存在する理由:HBMは物理的に異なります。LPDDR5XはCPUの隣にある薄膜(電話向けに電力効率が良い)です。HBMはシリコン貫通ビア(TSV)を使用してGPUに直接ボンディングされたメモリチップのスタックで、膨大な帯域幅を生み出します。HBMスタックは2インチ以上の高さで、電話には収まりません。
なぜ埋められないのか:電話は熱と電力の制約を受けます。HBMは大きな電力を消費します(フルスタックで~100+ W)。LPDDR5Xは~5〜10 Wです。バッテリー寿命を破壊せずに物理的にHBM帯域幅を電話に収めることはできません。
結果:オンデバイスAIは大規模モデルでは常にクラウドAIより遅いままです。より小さいモデル、積極的な量子化、賢いキャッシングが解決策です。
裏を返せば:オンデバイスはプライベートで、オフラインで使用でき、プライバシーに敏感なタスクでレイテンシゼロです。14倍の速度ペナルティはプライバシーの対価です。
更新:Samsungは2026年8月25日のHot Chips 2026でLPDDR5X-PIMを検証しました——ピン互換のチップで実測3.01倍のスループット向上(27.0 → 81.3トークン/秒、Llama-3.1-8B)、このページが以前引用していた2027-2028年のタイムラインより大幅に前倒しです。LPDDR6(依然2027-2028年)は~200 GB/sを目指し、HBM3Eより~6倍遅いです。今のPIMと将来のLPDDR6を合わせると、電話対データセンターのギャップは埋まりはしないものの大幅に縮まります——生の14倍の帯域幅ギャップは、PIMが電話SoCに搭載されれば実質的に4〜6倍程度に近づきます。
メモリロードマップ: HBM4とLPDDR6
HBM4 / HBM4E(SK Hynix + Samsung、現在量産中): SK Hynixの16層HBM4はスタックあたり>2 TB/s(2026年第3四半期量産目標);Samsungの12層HBM4Eはスタックあたり3.6 TB/sで、2026年5月からサンプリング中。Nvidiaの次世代GPUに最初に搭載されます。電話には依然無関係です。
LPDDR5X-PIM(Samsung、2026年8月検証済み): Processing-In-MemoryはDRAMダイ内部に計算を組み込みます。これはHot Chips 2026で「開発中」から「実証済み、テスト済みシリコン」に変わりました:実測3.01倍の推論向上(27.0 → 81.3トークン/秒、Llama-3.1-8B)、PIMモードで内部帯域幅最大8倍、ピン互換チップ上で実現。HBM帯域幅には及びませんが、実物であり、以前の2027-2028年見積もりより前倒しです。
LPDDR6 / LPDDR6X-PIM(2027-2028年): 標準LPDDR6は~200+ GB/s推定——LPDDR5Xの約2.3倍の帯域幅。7B Q4モデルの場合:200 GB/s ÷ 3.5 GB ≈ 理論57トークン/秒(24から上昇)、現実~20〜35トークン/秒。SamsungはすでにLPDDR5X-PIMの先、LPDDR6X-PIMに目を向けており、2026年内にJEDECの初期仕様を期待しています。
現実: LPDDR5X-PIMの出荷とLPDDR6のロードマップがあっても、電話は推論においてデータセンターより依然数倍遅いままです——Samsung自身、PIMをコスト/電力制約デバイス向けのHBM補完と位置づけており、帯域幅の同等性を目指すものではありません。
2026年後半のオンデバイスAIについて: Exynos 2600 + 標準LPDDR5XがGalaxy S26の出荷基準であり続けています。LPDDR5X-PIMは検証済みですが、まだ出荷済み電話SoCには登場していません——エッジAIアクセラレータが最初に搭載すると予想されます。
よくある質問
LPDDR5Xのメモリ帯域幅はどれくらいですか?
x64バスで10.7GbpsのLPDDR5Xは85.6GB/sを実現します——Galaxy S26、Snapdragon 8 Elite Gen 5、2026年の主要フラッグシップスマートフォンで使われているメモリ速度です。これはデータセンター向けHBM(HBM2Eの460GB/sからHBM4/HBM4Eのスタックあたり2〜3.6TB/sまで)より約5.4倍〜14倍遅く、同じモデルサイズでもオンデバイスAI推論がデータセンター推論よりはるかに遅い理由です。2026年8月に検証されたSamsungのLPDDR5X-PIM版は、このギャップの一部を埋めます——SamsungのHot Chips 2026でのデモでは、Llama-3.1-8Bを標準LPDDR5Xの3.01倍のtokens/secで実行しました。
なぜメモリ帯域幅がAI推論のボトルネックなのですか?
デコード段階(各トークンの生成)は、1回のフォワードパスのためにモデル全体をメモリにロードする必要があるためです。計算ユニットはすぐに終わりますが、メモリが十分な速さでデータを供給できません。
オンデバイスAIのtokens/sec公式は何ですか?
簡略化:tokens/sec = memory_bandwidth / (model_size × bytes_per_precision)。85.6 GB/sでの7B FP16モデル(14 GB):85.6 ÷ 14 = ~6 tokens/sec。Q4量子化(3.5 GB):85.6 ÷ 3.5 = ~24 tokens/sec。
SK HynixはHBM市場を支配していますか?
SK HynixはHBM出荷を主導しており、2026年の四半期によって50〜62%のシェアが報告されています。Samsungは一部のギャップを埋めました:2026年5月に12層HBM4Eサンプル(3.6 TB/s)を出荷し、この特定の指標ではSK HynixのHBM4仕様を上回りました。
SamsungはHBMでSK Hynixに追いつけますか?
Samsungは以前より近づいています:その12層HBM4Eサンプル(3.6 TB/s、2026年5月)は紙の上ではSK HynixのHBM4帯域幅仕様を上回っていますが、SKは総出荷量で依然リードしています。電話向けには、SamsungはHBM帯域幅に匹敵しようとすらしておらず、代わりにLPDDR5X-PIMを検証しました。
LPDDR6はいつ出荷されますか?
依然として2027-2028年、Galaxy S27/S28時代の見込みで、前回の更新から変更はありません。~200+ GB/s(LPDDR5Xの2.3倍)。一方、LPDDR5X-PIMはすでに2026年8月時点で検証済みシリコンであり、LPDDR6より先にエッジデバイスに到達する可能性が高いです。
なぜ電話にHBMを入れられないのですか?
物理的制約:HBMスタックは2インチ以上の高さです。HBMの消費電力(~100+ W)はバッテリー寿命を破壊します。LPDDR5Xは薄膜で5〜10 Wです。これはHBM4/HBM4Eでも変わっていません——新世代は高速になりましたが、小型化や低消費電力化はしていません。
LPDDR5X-PIMはHBMとのギャップを埋めますか?
部分的にはい、そして今や実測値であり予測ではありません。SamsungはHot Chips 2026で実際のチップを見せ、Llama-3.1-8Bを標準LPDDR5Xの27.0トークン/秒に対し81.3トークン/秒で実行しました——3.01倍の向上です。HBM3Eとの生の14倍のギャップには遠く及びませんが、このページが以前引用していた「約50%」の見積もりよりも大きな実世界の改善です。
計算FLOPSはオンデバイスAIに関連がありますか?
思われているほどではありません。デコードはメモリ制約であり、計算制約ではありません。より速いメモリを持つ遅い計算ユニットは、より遅いメモリを持つ速い計算ユニットに勝ります。
Galaxy S26で70Bモデルを実行できますか?
技術的には可能ですが、実用的ではありません。70B Q4(~35 GB)は85.6 GB/s ÷ 35 GB = ~2トークン/秒になります。これは1秒に1トークンで、対話型タスクには使用不可能です。7B以下にとどめてください。