Key Takeaways
- LLM 추론 디코드 단계의 병목은 메모리 대역폭이지 TOPS가 아닙니다. 공식: tokens/sec ≈ memory_bandwidth / model_size_in_bytes. FP16 7B 모델(14 GB) LPDDR5X 85.6 GB/s = ~6 tokens/sec. 양자화 Q4(3.5 GB) = ~24 tokens/sec. 데이터 센터 H100 HBM3E(1.229 TB/s) = ~88 tokens/sec. 간격은 14배, 계산 때문이 아니라 데이터를 계산 단위로 얼마나 빨리 공급할 수 있는지 때문입니다.
- SK하이닉스는 62% HBM 시장 점유율을 보유합니다(2025년 2분기 정점, 2026년을 통해 >50% 예상). SK는 Nvidia H100, H200, B200 GPU를 공급합니다. SK하이닉스는 Nvidia로 HBM4 샘플을 배송합니다(>2 TB/s, 2026-2027년 도착).
- 온디바이스 AI는 폰에 HBM을 맞출 수 없기 때문에 항상 클라우드 AI보다 느릴 것입니다. LPDDR5X는 HBM보다 8-15배 느립니다. 이것은 근본적인 아키텍처 간격이고, 엔지니어링이 폰 폼 팩터로 닫을 수 있는 간격이 아닙니다.
- Exynos 2600(Galaxy S26)은 양자화 7B 모델에 대해 ~15 tokens/sec를 달성합니다. 칩 재설계는 이것을 수정할 수 없습니다. 더 많은 메모리 대역폭이 필요하며, 이는 더 크고 더 전력 소비적인 메모리 칩(HBM은 2+ 인치 높음; LPDDR5X는 얇은 필름)을 필요로 합니다.
- 메모리 대역폭 병목은 미세 조정이나 증류가 도움이 되지 않는 이유를 설명합니다: 여전히 모든 매개변수를 메모리에 로드해야 합니다. 더 작은 모델(3B, 1B)이 도움이 되지만 양자화가 폰의 유일한 실질적 솔루션입니다.
- Samsung의 PIM(메모리 내 처리) 전략은 메모리 칩 내부에서 연산을 수행하여 데이터 이동을 제거하는 것을 목표로 합니다. 이것은 결국 간격을 닫을 수 있지만 LPDDR5X-PIM은 여전히 초기 단계이고 2027-2028년까지 대량 배송되지 않을 것 같습니다.
메모리 대역폭이 AI 속도를 결정하는 이유
LLM 추론의 디코드 단계에서 GPU/NPU는 전체 모델을 메모리에 로드하고, 토큰당 한 번의 전향 패스를 수행하고, 출력을 작성합니다. 병목: 얼마나 빨리 계산 단위로 매개변수를 공급할 수 있습니까? 이것은 메모리 대역폭이지 계산 TOPS가 아닙니다.
단순화된 공식: tokens/sec = memory_bandwidth / (model_size_in_bytes × bytes_per_precision). FP16(매개변수당 2 바이트)의 경우, 7B 모델 = 14 GB. LPDDR5X 85.6 GB/s에서: 85.6 GB/s ÷ 14 GB = ~6 tokens/sec 이론적 최대치. 실제로 계산과 캐시 오버헤드로 인해 3–5 tokens/sec.
양자화는 방정식을 극적으로 변경합니다. Q4(4비트, 매개변수당 0.5 바이트)는 7B 모델을 3.5 GB로 축소합니다. 85.6 GB/s ÷ 3.5 GB = ~24 tokens/sec 이론적. 실제 세계 ~8–15 tokens/sec, 3–4배 개선.
데이터 센터 H100 HBM3E(1.229 TB/s)는 같은 모델에 대해 100+ tokens/sec을 유지할 수 있습니다. HBM이 14배 빠르기 때문입니다. 이것이 최첨단 모델(70B, 405B)이 데이터 센터에서만 실행되는 이유입니다—HBM 대역폭이 필요합니다.
추론은 훈련과 다릅니다. 훈련은 계산 제약(무게 업데이트를 위해 1000+ 패스). 추론(특히 모델이 프롬프트 캐시되면)은 단일 전향 패스, 순수 메모리 대역폭 제약입니다. 이것이 폰의 추론이 서버보다 훨씬 느린 이유입니다—대역폭 간격을 엔지니어링할 수 없습니다.
LLM 디코드는 메모리 대역폭 제약: tokens/sec = 대역폭 / 모델 크기. 온디바이스 85.6 GB/s vs 데이터 센터 1.229 TB/s = 14배 간격.
공장 어셈블리 라인으로 생각하세요: 계산은 근로자, 메모리는 공급망입니다. 근로자는 빠르지만 공급이 천천히 도착하면 병목입니다. 더 많은 근로자(더 많은 FLOPS)는 공급이 같은 속도로 도착하면 도움이 되지 않습니다. 폰은 "빠른 공급망"(HBM)이 부족합니다.
메모리 대역폭 비교: LPDDR5X vs HBM
| 메모리 유형 | 대역폭 | 사용처 | Tokens/sec(7B FP16) | Tokens/sec(7B Q4) |
|---|---|---|---|---|
| LPDDR5X 10.7 Gbps | 85.6 GB/s(x64 버스) | Galaxy S26, Snapdragon 8 Elite Gen 5, 대부분 폰 | ~6 tokens/sec(이론); ~3–5 현실 | ~24 tokens/sec(이론); ~8–15 현실 |
| HBM2E | ~460 GB/s 스택당 | 구형 GPU(P100, V100 2020년 전) | ~33 tokens/sec(이론) | ~131 tokens/sec(이론) |
| HBM3 19.2 Gbps | ~819 GB/s 스택당 | Nvidia A100, 80GB 변형 | ~59 tokens/sec(이론) | ~234 tokens/sec(이론) |
| HBM3E 21.4 Gbps | 1.18–1.229 TB/s 스택당 | Nvidia H100, H200, B200(2+ 스택 공통) | ~88 tokens/sec(이론); ~60–80 현실 | ~352 tokens/sec(이론); ~200+ 현실 |
삼성과 SK하이닉스: 누가 무엇을 만드나?
SK하이닉스 — HBM 리더: SK는 ~62% HBM 시장을 보유(2025년 2분기 정점, 2026년을 통해 >50% 예상). SK는 H100, H200, B200 GPU에 대해 Nvidia로 HBM3E를 공급합니다. SK는 2026-2027년 출시 다음 세대 GPU를 위해 HBM4(>2 TB/s)를 Nvidia로 샘플링합니다.
Samsung — LPDDR5X & PIM 푸시: Samsung은 Galaxy S26, Snapdragon 폰, Apple(A18 Pro)을 위해 LPDDR5X를 제조합니다. Samsung은 메모리 다이 내부에 연산 작업을 포함하는 LPDDR5X-PIM(메모리 내 처리)을 개발합니다. 이것은 데이터 왕복을 줄이고 결국 대역폭 간격을 좁힐 수 있습니다.
경쟁 역학: Samsung은 HBM(HBM3, HBM3E 샘플)을 추구했지만 수율과 비용에서 SK에 진다. Samsung은 HBM 대역폭을 맞추려고 시도하는 것이 아니라 폰 메모리를 더 똑똑하게 만드는 것으로 LPDDR5X-PIM으로 피벗. "경쟁할 수 없다, 그래서 다르게 혁신"한다.
타임라인: HBM4는 2026-2027년에 생산 시작(SK하이닉스). LPDDR5X-PIM은 2027-2028년에 제한된 생산 시작(Samsung). LPDDR6은 2027-2028년에 폰 시장 진입, LPDDR5X보다 ~2배 대역폭(~200+ GB/s vs 85.6 GB/s)—여전히 HBM3E보다 6배 느리지만 의미 있는 개선입니다.
Galaxy S26의 온디바이스 AI 제한
Galaxy S26 Exynos 2600 LPDDR5X 85.6 GB/s는 온디바이스 LLM 추론의 실질적 천정을 정의합니다. Q4로 양자화된 7B 모델은 ~8–15 tokens/sec 현실 성능에 도달합니다. 이것은 지연 시간에 민감한 작업(자동완성, 실시간 필사, 간단한 작업)에 적합하지만 긴 대화에는 비실용적입니다.
모델 크기 제한: 7B 모델은 실용적(100 토큰 응답당 3–4시간 지연). 13B Q4 모델(~6.5 GB)은 85.6 GB/s ÷ 6.5 GB = ~13 tokens/sec에 도달합니다. 70B Q4 모델(~35 GB)은 85.6 GB/s ÷ 35 GB = ~2 tokens/sec—사용 불가능합니다.
양자화는 필수: FP16은 비실용적. Q4는 스윗 스팟—4배 더 작은 모델, 수용 가능한 품질 손실. Q3는 더 저장하지만 품질 손실; Q5는 품질 손실 적지만 대역폭 개선 미미.
속도 vs 품질 트레이드오프: 7B Q4는 ~8–15 tokens/sec(일부 사용 사례에 수용). 3B Q4는 ~24–36 tokens/sec(간단한 작업에 훌륭). 1B Q4는 ~60+ tokens/sec(실시간, Pixel 3 시대 성능).
실제 사용 사례: 자동완성, 실시간 코드 제안, 온디바이스 필사, 로컬 요약. 비실용적: 긴 대화, 복잡한 추론, 캐싱 없는 다중 회전 대화.
병목은 대역폭이고 계산이나 무게 크기가 아닙니다. 모델 매개변수를 0으로 줄이더라도 메모리는 여전히 전송해야 하고 대역폭은 고정되어 있습니다. 이것이 온디바이스 AI가 아키텍처적으로 제한되는 이유입니다—폰 폼 팩터에서 85.6 GB/s를 벗어날 수 없습니다.
- LPDDR5X 85.6 GB/s 대역폭을 사용하여 최대 tokens/sec를 추정: GB 단위 모델 크기로 나누기
- 7B Q4(3.5 GB): ~24 tokens/sec 이론; ~8–15 현실(실용적)
- 13B Q4(6.5 GB): ~13 tokens/sec 이론; ~4–8 현실(느림)
- 1B Q4(~500 MB): ~171 tokens/sec 이론; ~50–100 현실(빠름)
- 양자화는 필수: Q4는 사용 가능한 온디바이스 모델의 기준선
- 모델 크기를 지연 시간으로 트레이드오프; "충분히 좋은" 창 아래 5 tokens/sec에 맞는 모델 크기 없음
데이터 센터 vs 폰: 14배 대역폭 간격
HBM3E(1.229 TB/s)를 가진 Nvidia H100 GPU는 Galaxy S26(LPDDR5X 85.6 GB/s)보다 추론 처리량에서 14배 빠릅니다. 이 간격은 계산 FLOPS 때문이 아니라(둘 다 빠름), 순수 메모리 대역폭입니다. H100은 100+ tokens/sec을 할 수 있습니다; S26은 같은 7B Q4 모델에 대해 8–15 tokens/sec을 합니다.
간격이 존재하는 이유: HBM은 물리적으로 다릅니다. LPDDR5X는 CPU 옆에 있는 얇은 필름(폰의 전력 효율). HBM은 through-silicon via(TSV)를 사용하여 GPU에 직접 본딩된 메모리 칩의 스택입니다. HBM 스택은 2+ 인치 높음; 폰에 맞출 수 없습니다.
왜 닫을 수 없는가: 폰은 열과 전력 제약입니다. HBM은 상당한 전력(~100+ W 전체 스택). LPDDR5X는 ~5–10 W. 폰은 배터리로 실행; 데이터 센터는 무한 전력/냉각. 배터리 수명을 파괴하지 않고 폰에 HBM 대역폭을 물리적으로 맞출 수 없습니다.
결과: 온디바이스 AI는 항상 큰 모델에 대해 클라우드 AI보다 느릴 것입니다. 이것은 닫힐 기술 간격이 아니라 물리적 제약(전력, 열, 폼 팩터)입니다. 더 작은 모델, 적극적 양자화, 똑똑한 캐싱이 솔루션이고 더 나은 메모리에 희망을 갖는 것이 아닙니다.
플립 측면: 온디바이스는 프라이빗, 오프라인 가능, 프라이버시 민감 작업의 0 지연입니다. 14배 속도 페널티는 프라이버시의 가격입니다. 데이터 센터 AI는 속도를 트레이드오프합니다 프라이버시 손실.
미래: LPDDR5X-PIM(2027-2028)과 LPDDR6(2027-2028)은 폰 대역폭을 ~200 GB/s로 개선(여전히 HBM3E보다 6배 느림). 이것은 의미 있음(2배 tokens/sec)이지만 폰이 데이터 센터 속도와 일치하지 않을 것. 간격은 6배로 남을 것이고, 14배 아님.
메모리 로드맵: HBM4 및 LPDDR6
HBM4(SK하이닉스, 2026-2027): >2 TB/s 스택당. 2026-2027년 Nvidia 다음 세대 GPU에서 첫 도착. HBM4는 폰과는 무관하지만 데이터 센터 추론을 더 빠르게 밀 것입니다.
LPDDR6(2027-2028): ~200+ GB/s(추정; x64 버스, 12.8 Gbps). LPDDR5X 대역폭의 ~2.3배. 7B Q4 모델: 200 GB/s ÷ 3.5 GB ≈ 57 tokens/sec 이론(24에서 올라옴). 현실 ~20–35 tokens/sec. 의미 있는 개선이지만 여전히 데이터 센터 HBM3E보다 3배 느림. LPDDR6은 Galaxy S27/S28 시대(2027-2028)에서 배송될 것입니다.
LPDDR5X-PIM(Samsung, 2027-2028): 메모리 내 처리는 DRAM 다이 내부에서 연산을 포함합니다. 메모리에서 모든 모델 무게를 로드하는 대신, 메모리 내부에서(행렬 곱셈)을 계산하여 데이터 이동을 제거합니다. Samsung은 적극적으로 이것을 개발합니다. 성공하면 표준 LPDDR5X vs 50%+ 처리량 개선 추정.
현실: LPDDR6 + PIM도, 폰은 여전히 추론에서 데이터 센터보다 3–6배 느릴 것. 이것은 폰의 물리적 설계(더 크고, 더 뜨겁고, 더 많은 전력)를 변경하지 않고는 닫힐 수 없는 근본적 간격입니다.
온디바이스 AI 2026-2027의 경우: Exynos 2600 + LPDDR5X는 현재 기준선. Exynos 2700(S27)은 계산을 개선할 수 있지만 대역폭이 병목이 될 것입니다. LPDDR6과 PIM을 증분 개선으로 예상합니다, 변혁적 아님.
자주 묻는 질문
왜 AI 추론에 메모리 대역폭이 병목인가?
디코드 단계(각 토큰 생성)는 한 번의 전향 패스에 대해 전체 모델을 메모리에 로드해야 하기 때문. 계산 단위가 빨리 끝나지만 메모리가 충분히 빨리 데이터를 공급할 수 없습니다. FLOPS가 병목이 아니라 데이터 배달입니다.
온디바이스 AI의 tokens/sec 공식은 무엇입니까?
단순화: tokens/sec = memory_bandwidth / (model_size × bytes_per_precision). 7B FP16 모델(14 GB) 85.6 GB/s에서: 85.6 ÷ 14 = ~6 tokens/sec. Q4 양자화(3.5 GB): 85.6 ÷ 3.5 = ~24 tokens/sec. 현실 ~40–60% 이론적.
SK하이닉스가 HBM을 지배하나요?
예. SK는 ~62% HBM 시장을 보유(2025년 2분기 정점). SK는 Nvidia H100, H200, B200 GPU를 공급합니다.
LPDDR6는 언제 배송되나요?
추정 2027-2028년 Galaxy S27/S28에서. ~200+ GB/s(2.3x LPDDR5X). 온디바이스 토큰 처리량을 2배가 할 것이지만 여전히 데이터 센터 HBM3E보다 3–6배 느림.