Key Takeaways
- LLM 추론 디코드 단계의 병목은 메모리 대역폭이지 TOPS가 아닙니다. 공식: tokens/sec ≈ memory_bandwidth / model_size_in_bytes. FP16 7B 모델(14 GB) LPDDR5X 85.6 GB/s = ~6 tokens/sec. 양자화 Q4(3.5 GB) = ~24 tokens/sec. 데이터 센터 H100 HBM3E(1.229 TB/s) = ~88 tokens/sec. 간격은 14배, 계산 때문이 아니라 데이터를 계산 단위로 얼마나 빨리 공급할 수 있는지 때문입니다.
- SK하이닉스는 HBM 출하량에서 선두를 유지합니다(2026년 분기별로 약 50–62% 점유율). SK는 Nvidia H100, H200, B200 GPU를 공급합니다. HBM4(>2 TB/s)는 이제 로드맵 항목이 아니라 실제 양산 단계입니다: SK하이닉스는 16단·48 GB HBM4를 2026년 3분기 양산 목표로 하고, Samsung은 2026년 5월 업계 최초 12단 HBM4E 샘플(스택당 3.6 TB/s)을 출하하며 이 특정 스펙에서 SK하이닉스를 앞섰습니다.
- Samsung은 2026년 8월 25일 Hot Chips 2026에서 LPDDR5X-PIM(메모리 내 처리)을 실험실 개념이 아닌 실제 검증·테스트된 실리콘으로 입증했습니다. 엣지 AI 가속기 SoC에서 Llama-3.1-8B를 실행한 결과 표준 LPDDR5X의 27.0 tokens/sec 대비 81.3 tokens/sec를 달성—실측 3.01배 향상이며, PIM 모드에서는 내부 대역폭이 최대 8배입니다. 이 칩은 표준 LPDDR5X와 핀 호환(동일한 561볼 패키지)되어 드롭인 교체가 가능합니다.
- 온디바이스 AI는 대형 모델에서 여전히 클라우드 AI보다 느릴 것입니다—폰에 HBM을 맞출 수 없기 때문입니다—하지만 폰에서의 격차는 방금 좁혀졌습니다. LPDDR5X-PIM은 HBM 대역폭을 따라잡는 것이 아니라 데이터 이동을 줄이는 방식이므로, 처리량 향상(3배)이 원시 대역폭 간격(14배)보다는 작지만 실제 워크로드에서는 의미가 있습니다.
- Exynos 2600(Galaxy S26)은 여전히 표준 LPDDR5X로 출하되며, 양자화 7B 모델에서 현실적으로 ~8–15 tokens/sec를 달성합니다. LPDDR5X-PIM은 검증되었지만 아직 출하된 폰 SoC에는 탑재되지 않았습니다—엣지 AI 가속기에 먼저 등장할 것으로 예상됩니다.
- 메모리 대역폭 병목은 여전히 미세 조정이나 증류가 도움이 되지 않는 이유를 설명합니다: 매 순전파마다 모든 매개변수를 메모리에 로드해야 합니다. 더 작은 모델(3B, 1B)이 도움이 되며, 양자화는 여전히 폰의 기본 솔루션입니다—PIM은 추가 수단이지 대체재가 아닙니다.
메모리 대역폭이 AI 속도를 결정하는 이유
LLM 추론의 디코드 단계에서 GPU/NPU는 전체 모델을 메모리에 로드하고, 토큰당 한 번의 전향 패스를 수행하고, 출력을 작성합니다. 병목: 얼마나 빨리 계산 단위로 매개변수를 공급할 수 있습니까? 이것은 메모리 대역폭이지 계산 TOPS가 아닙니다.
단순화된 공식: tokens/sec = memory_bandwidth / (model_size_in_bytes × bytes_per_precision). FP16(매개변수당 2 바이트)의 경우, 7B 모델 = 14 GB. LPDDR5X 85.6 GB/s에서: 85.6 GB/s ÷ 14 GB = ~6 tokens/sec 이론적 최대치. 실제로 계산과 캐시 오버헤드로 인해 3–5 tokens/sec.
양자화는 방정식을 극적으로 변경합니다. Q4(4비트, 매개변수당 0.5 바이트)는 7B 모델을 3.5 GB로 축소합니다. 85.6 GB/s ÷ 3.5 GB = ~24 tokens/sec 이론적. 실제 세계 ~8–15 tokens/sec, 3–4배 개선.
데이터 센터 H100 HBM3E(1.229 TB/s)는 같은 모델에 대해 100+ tokens/sec을 유지할 수 있습니다. HBM이 14배 빠르기 때문입니다. 이것이 최첨단 모델(70B, 405B)이 데이터 센터에서만 실행되는 이유입니다—HBM 대역폭이 필요합니다.
추론은 훈련과 다릅니다. 훈련은 계산 제약(무게 업데이트를 위해 1000+ 패스). 추론(특히 모델이 프롬프트 캐시되면)은 단일 전향 패스, 순수 메모리 대역폭 제약입니다. 이것이 폰의 추론이 서버보다 훨씬 느린 이유입니다—대역폭 간격을 엔지니어링할 수 없습니다.
LLM 디코드는 메모리 대역폭 제약: tokens/sec = 대역폭 / 모델 크기. 온디바이스 85.6 GB/s vs 데이터 센터 1.229 TB/s = 14배 간격.
공장 어셈블리 라인으로 생각하세요: 계산은 근로자, 메모리는 공급망입니다. 근로자는 빠르지만 공급이 천천히 도착하면 병목입니다. 더 많은 근로자(더 많은 FLOPS)는 공급이 같은 속도로 도착하면 도움이 되지 않습니다. 폰은 "빠른 공급망"(HBM)이 부족합니다.
메모리 대역폭 비교: LPDDR5X vs HBM
메모리 유형 | 대역폭 | 사용처 | Tokens/sec(7B FP16) | Tokens/sec(7B Q4) |
|---|---|---|---|---|
| LPDDR5X 10.7 Gbps | 85.6 GB/s(x64 버스) | Galaxy S26, Snapdragon 8 Elite Gen 5, 대부분 폰 | ~6 tokens/sec(이론); ~3–5 현실 | ~24 tokens/sec(이론); ~8–15 현실 |
| HBM2E | ~460 GB/s 스택당 | 구형 GPU(P100, V100 2020년 전) | ~33 tokens/sec(이론) | ~131 tokens/sec(이론) |
| HBM3 19.2 Gbps | ~819 GB/s 스택당 | Nvidia A100, 80GB 변형 | ~59 tokens/sec(이론) | ~234 tokens/sec(이론) |
| HBM3E 21.4 Gbps | 1.18–1.229 TB/s 스택당 | Nvidia H100, H200, B200(2+ 스택 공통) | ~88 tokens/sec(이론); ~60–80 현실 | ~352 tokens/sec(이론); ~200+ 현실 |
| HBM4(SK하이닉스, 16단) | 스택당 >2 TB/s, 48 GB | Nvidia 차세대 GPU(2026년 3분기 양산 목표) | ~143 tokens/sec(이론) | ~571 tokens/sec(이론) |
| HBM4E(Samsung, 12단) | 스택당 3.6 TB/s | 2026년 5월 샘플 출하 | ~257 tokens/sec(이론) | ~1,029 tokens/sec(이론) |
| LPDDR5X-PIM(Samsung, 검증됨) | 85.6 GB/s + PIM 모드 내부 최대 8배 | Hot Chips 2026 공개, 핀 호환 | 7B FP16 미측정 | Llama-3.1-8B: 81.3 vs 27.0 tok/sec(3.01배) |
삼성과 SK하이닉스: 누가 무엇을 만드나?
SK하이닉스 — HBM 출하량 리더: SK는 2026년 분기와 측정 방식에 따라 약 50–62%의 HBM 점유율을 보고합니다. SK는 H100, H200, B200 GPU에 대해 Nvidia로 HBM3E를 공급하며, 16단·48 GB HBM4(>2 TB/s)를 2026년 3분기 양산 목표로 합니다.
Samsung — HBM4E 속도 우위, LPDDR5X-PIM 검증: Samsung은 2026년 5월 29일 업계 최초로 12단 HBM4E 샘플을 스택당 3.6 TB/s로 출하—이 지표에서 SK하이닉스의 HBM4 스펙을 앞섰지만, SK는 여전히 총 출하량에서 우위입니다. 폰 쪽에서는 Samsung이 2026년 8월 25일 Hot Chips 2026에서 LPDDR5X-PIM을 검증·테스트된 실리콘으로 발표: 엣지 AI 가속기 SoC가 Llama-3.1-8B를 표준 LPDDR5X의 27.0 tokens/sec 대비 81.3 tokens/sec로 실행(3.01배), PIM 모드에서 내부 대역폭 최대 8배. 이 칩은 표준 LPDDR5X와 동일한 561볼 패키지를 사용해 새로운 폼팩터가 아닌 직접 교체가 가능합니다.
경쟁 역학: Samsung은 HBM(HBM3E, 이제 HBM4E) 샘플링을 계속하지만 수율과 총 HBM 물량에서 역사적으로 SK에 뒤처져 왔습니다. LPDDR5X-PIM에 대한 Samsung의 포지셔닝은 명확합니다: HBM의 대체가 아닌 보완재—HBM의 비용, 전력, 패키징 복잡성이 걸림돌이 되는 스마트폰, AI PC, 엣지 가속기를 타깃으로 합니다.
양사 모두 Nvidia에 공급: SK하이닉스와 Samsung 모두 Nvidia GPU VRAM용 HBM을 공급합니다; 표준 DRAM(LPDDR/DDR)은 호스트/CPU 메모리를 담당합니다. 두 회사 모두 연산 자체는 공급하지 않습니다(Nvidia가 GPU 코어를 설계).
타임라인: HBM4는 이제 양산 단계입니다(SK하이닉스는 16단 파트를 2026년 3분기 목표; Samsung은 이미 12단 HBM4E 샘플링 중). LPDDR5X-PIM은 2026년 8월 기준 검증된 실리콘으로, 지난 업데이트 때 제시된 2027-2028년 양산 추정치를 크게 앞당겼습니다. LPDDR6/LPDDR6X-PIM이 Samsung의 다음 목표이며, 2026년 내 JEDEC 초기 스펙을 기대하고 있습니다.
Galaxy S26의 온디바이스 AI 제한
Galaxy S26 Exynos 2600 LPDDR5X 85.6 GB/s는 온디바이스 LLM 추론의 실질적 천정을 정의합니다. Q4로 양자화된 7B 모델은 ~8–15 tokens/sec 현실 성능에 도달합니다. 이것은 지연 시간에 민감한 작업(자동완성, 실시간 필사, 간단한 작업)에 적합하지만 긴 대화에는 비실용적입니다.
모델 크기 제한: 7B 모델은 실용적(100 토큰 응답당 3–4시간 지연). 13B Q4 모델(~6.5 GB)은 85.6 GB/s ÷ 6.5 GB = ~13 tokens/sec에 도달합니다. 70B Q4 모델(~35 GB)은 85.6 GB/s ÷ 35 GB = ~2 tokens/sec—사용 불가능합니다.
양자화는 필수: FP16은 비실용적. Q4는 스윗 스팟—4배 더 작은 모델, 수용 가능한 품질 손실. Q3는 더 저장하지만 품질 손실; Q5는 품질 손실 적지만 대역폭 개선 미미.
속도 vs 품질 트레이드오프: 7B Q4는 ~8–15 tokens/sec(일부 사용 사례에 수용). 3B Q4는 ~24–36 tokens/sec(간단한 작업에 훌륭). 1B Q4는 ~60+ tokens/sec(실시간, Pixel 3 시대 성능).
실제 사용 사례: 자동완성, 실시간 코드 제안, 온디바이스 필사, 로컬 요약. 비실용적: 긴 대화, 복잡한 추론, 캐싱 없는 다중 회전 대화.
병목은 대역폭이고 계산이나 무게 크기가 아닙니다. 모델 매개변수를 0으로 줄이더라도 메모리는 여전히 전송해야 하고 대역폭은 고정되어 있습니다. 이것이 온디바이스 AI가 아키텍처적으로 제한되는 이유입니다—폰 폼 팩터에서 85.6 GB/s를 벗어날 수 없습니다.
- LPDDR5X 85.6 GB/s 대역폭을 사용하여 최대 tokens/sec를 추정: GB 단위 모델 크기로 나누기
- 7B Q4(3.5 GB): ~24 tokens/sec 이론; ~8–15 현실(실용적)
- 13B Q4(6.5 GB): ~13 tokens/sec 이론; ~4–8 현실(느림)
- 1B Q4(~500 MB): ~171 tokens/sec 이론; ~50–100 현실(빠름)
- 양자화는 필수: Q4는 사용 가능한 온디바이스 모델의 기준선
- 모델 크기를 지연 시간으로 트레이드오프; "충분히 좋은" 창 아래 5 tokens/sec에 맞는 모델 크기 없음
데이터 센터 vs 폰: 14배 대역폭 간격
HBM3E(1.229 TB/s)를 가진 Nvidia H100 GPU는 Galaxy S26(LPDDR5X 85.6 GB/s)보다 추론 처리량에서 14배 빠릅니다. 이 간격은 계산 FLOPS 때문이 아니라(둘 다 빠름), 순수 메모리 대역폭입니다. H100은 100+ tokens/sec을 할 수 있습니다; S26은 같은 7B Q4 모델에 대해 8–15 tokens/sec을 합니다.
간격이 존재하는 이유: HBM은 물리적으로 다릅니다. LPDDR5X는 CPU 옆에 있는 얇은 필름(폰의 전력 효율). HBM은 through-silicon via(TSV)를 사용하여 GPU에 직접 본딩된 메모리 칩의 스택입니다. HBM 스택은 2+ 인치 높음; 폰에 맞출 수 없습니다.
왜 닫을 수 없는가: 폰은 열과 전력 제약입니다. HBM은 상당한 전력(~100+ W 전체 스택). LPDDR5X는 ~5–10 W. 폰은 배터리로 실행; 데이터 센터는 무한 전력/냉각. 배터리 수명을 파괴하지 않고 폰에 HBM 대역폭을 물리적으로 맞출 수 없습니다.
결과: 온디바이스 AI는 항상 큰 모델에 대해 클라우드 AI보다 느릴 것입니다. 이것은 닫힐 기술 간격이 아니라 물리적 제약(전력, 열, 폼 팩터)입니다. 더 작은 모델, 적극적 양자화, 똑똑한 캐싱이 솔루션이고 더 나은 메모리에 희망을 갖는 것이 아닙니다.
플립 측면: 온디바이스는 프라이빗, 오프라인 가능, 프라이버시 민감 작업의 0 지연입니다. 14배 속도 페널티는 프라이버시의 가격입니다. 데이터 센터 AI는 속도를 트레이드오프합니다 프라이버시 손실.
업데이트: Samsung은 2026년 8월 25일 Hot Chips 2026에서 LPDDR5X-PIM을 검증했습니다—핀 호환 칩에서 실측 3.01배 처리량 향상(Llama-3.1-8B 기준 27.0 → 81.3 tokens/sec), 이 페이지가 이전에 인용한 2027-2028년 일정보다 크게 앞당겨진 것입니다. LPDDR6(여전히 2027-2028년)은 ~200 GB/s를 목표로 하며 HBM3E보다 ~6배 느립니다. 지금의 PIM과 나중의 LPDDR6이 합쳐져 폰 대 데이터 센터 격차를 의미 있게 좁히지만 완전히 없애지는 못합니다—PIM이 폰 SoC에 탑재되면 원시 14배 대역폭 격차는 실제로는 4-6배에 가까워집니다.
메모리 로드맵: HBM4 및 LPDDR6
HBM4 / HBM4E(SK하이닉스 + Samsung, 이제 양산 단계): SK하이닉스 16단 HBM4는 스택당 >2 TB/s(2026년 3분기 양산 목표); Samsung 12단 HBM4E는 스택당 3.6 TB/s로 2026년 5월부터 샘플링 중. Nvidia 차세대 GPU에 가장 먼저 탑재됩니다. 폰과는 여전히 무관합니다.
LPDDR5X-PIM(Samsung, 2026년 8월 검증): 메모리 내 처리는 DRAM 다이 내부에 직접 연산을 포함합니다. Hot Chips 2026에서 "개발 중"에서 "실증, 테스트된 실리콘"으로 바뀌었습니다: 실측 추론 향상 3.01배(Llama-3.1-8B 기준 27.0 → 81.3 tokens/sec), PIM 모드에서 내부 대역폭 최대 8배, 핀 호환 칩. HBM 대역폭에는 미치지 못하지만 실제이며 이전의 2027-2028년 추정보다 앞당겨졌습니다.
LPDDR6 / LPDDR6X-PIM(2027-2028): 표준 LPDDR6은 ~200+ GB/s 추정—LPDDR5X 대역폭의 약 2.3배. 7B Q4 모델의 경우: 200 GB/s ÷ 3.5 GB ≈ 이론상 57 tokens/sec(24에서 상승), 현실 ~20–35 tokens/sec. Samsung은 이미 LPDDR5X-PIM 너머 LPDDR6X-PIM을 보고 있으며, 2026년 내 JEDEC 초기 스펙을 기대합니다.
현실: LPDDR5X-PIM이 출하되고 LPDDR6이 로드맵에 있어도, 폰은 추론에서 여전히 데이터 센터보다 여러 배 느릴 것입니다—Samsung 스스로도 PIM을 비용/전력 제약 기기를 위한 HBM 보완재로 포지셔닝하고 있으며, 대역폭 동등화 솔루션은 아닙니다.
2026년 하반기 온디바이스 AI 기준: Exynos 2600 + 표준 LPDDR5X가 여전히 Galaxy S26의 출하 기준선입니다. LPDDR5X-PIM은 검증되었지만 아직 출하된 폰 SoC에 등장하지 않았습니다—엣지 AI 가속기가 먼저 이를 탑재할 것으로 예상됩니다.
자주 묻는 질문
LPDDR5X 메모리 대역폭은 얼마입니까?
x64 버스에서 10.7 Gbps로 동작하는 LPDDR5X는 85.6 GB/s를 제공합니다 — Galaxy S26, Snapdragon 8 Elite Gen 5, 그리고 2026년 대부분의 플래그십 폰에서 사용되는 메모리 속도입니다. 이는 데이터센터용 HBM(HBM2E의 460 GB/s부터 HBM4/HBM4E의 스택당 2~3.6 TB/s까지)보다 약 5.4배에서 14배 느립니다. 이 때문에 동일한 모델 크기라도 온디바이스 AI 추론이 데이터센터 추론보다 훨씬 느립니다. 2026년 8월 검증된 삼성의 LPDDR5X-PIM 변형은 이 격차의 일부를 좁혔습니다 — 삼성 자체의 Hot Chips 2026 시연에서 Llama-3.1-8B를 표준 LPDDR5X 대비 3.01배의 tokens/sec로 실행했습니다.
왜 AI 추론에 메모리 대역폭이 병목인가?
디코드 단계(각 토큰 생성)는 한 번의 전향 패스에 대해 전체 모델을 메모리에 로드해야 하기 때문. 계산 단위가 빨리 끝나지만 메모리가 충분히 빨리 데이터를 공급할 수 없습니다. FLOPS가 병목이 아니라 데이터 배달입니다.
온디바이스 AI의 tokens/sec 공식은 무엇입니까?
단순화: tokens/sec = memory_bandwidth / (model_size × bytes_per_precision). 7B FP16 모델(14 GB) 85.6 GB/s에서: 85.6 ÷ 14 = ~6 tokens/sec. Q4 양자화(3.5 GB): 85.6 ÷ 3.5 = ~24 tokens/sec.
SK하이닉스가 HBM 시장을 지배하나요?
SK하이닉스는 HBM 출하량에서 선두이며, 2026년 분기에 따라 50–62%의 점유율이 보고됩니다. Samsung은 격차 일부를 좁혔습니다: 2026년 5월 스택당 3.6 TB/s의 12단 HBM4E 샘플을 출하해 이 특정 지표에서 SK하이닉스의 HBM4 스펙을 앞섰습니다.
Samsung이 HBM에서 SK하이닉스를 따라잡을 수 있나요?
Samsung은 예전보다 가까워졌습니다: 12단 HBM4E 샘플(3.6 TB/s, 2026년 5월)이 문서상 SK하이닉스의 HBM4 대역폭 스펙을 능가하지만, SK는 여전히 총 출하량에서 앞섭니다. 폰의 경우 Samsung은 HBM 대역폭을 따라잡으려 하지 않고 대신 LPDDR5X-PIM을 검증했습니다.
LPDDR6는 언제 배송되나요?
지난 업데이트 이후 변함없이 여전히 2027-2028년 Galaxy S27/S28 시대로 추정됩니다. ~200+ GB/s(2.3x LPDDR5X). 반면 LPDDR5X-PIM은 이미 2026년 8월 기준 검증된 실리콘이며, LPDDR6보다 먼저 엣지 기기에 도달할 가능성이 높습니다.
왜 폰에 HBM을 넣을 수 없나요?
물리적 제약: HBM 스택은 2인치 이상 높습니다. HBM 전력 소비(~100+ W)는 배터리 수명을 파괴합니다. LPDDR5X는 얇은 필름으로 5–10 W입니다. HBM4/HBM4E에서도 이는 바뀌지 않았습니다—신세대는 더 빠르지만 더 작거나 저전력이지는 않습니다.
LPDDR5X-PIM이 HBM과의 격차를 좁힐까요?
부분적으로, 그리고 이제는 예측이 아니라 실측입니다. Samsung은 Hot Chips 2026에서 실제 칩이 Llama-3.1-8B를 표준 LPDDR5X 27.0 tokens/sec 대비 81.3 tokens/sec로 실행하는 것을 보여주었습니다—3.01배 향상. HBM3E와의 원시 14배 격차에는 여전히 크게 못 미치지만, 이 페이지가 이전에 인용한 "약 50%" 추정치보다 큰 실제 개선입니다.
계산 FLOPS가 온디바이스 AI에 중요한가요?
생각보다는 아닙니다. 디코딩은 메모리 제약이지 계산 제약이 아닙니다. 더 빠른 메모리를 가진 느린 계산 유닛이 더 느린 메모리를 가진 빠른 계산 유닛을 이깁니다.
Galaxy S26에서 70B 모델을 실행할 수 있나요?
기술적으로는 가능하지만 실질적으로는 불가능합니다. 70B Q4(~35 GB)는 85.6 GB/s ÷ 35 GB = ~2 tokens/sec입니다. 초당 1토큰으로, 어떤 대화형 작업에도 사용할 수 없습니다. 7B 이하를 사용하세요.