Home/Local LLMs/HBM과 온디바이스 AI: 삼성·SK하이닉스 메모리가 AI 속도를 결정하는 이유 (2026)

Hardware & Performance

HBM과 온디바이스 AI: 삼성·SK하이닉스 메모리가 AI 속도를 결정하는 이유 (2026)

Last updated: June 2026·11분 읽기·By Hans Kuepper · Founder of PromptQuorum, multi-model AI dispatch tool · PromptQuorum

언어 선택:

🇺🇸en 🇩🇪de 🇫🇷fr 🇯🇵ja 🇨🇳zh 🇪🇸es 🇧🇷pt 🇸🇦ar 🇰🇷ko

LLM 추론의 디코드 단계는 대역폭 제약이고, 계산 제약이 아닙니다: tokens/sec ≈ memory_bandwidth / model_size_in_bytes. Galaxy S26 LPDDR5X(85.6 GB/s)는 7B 모델을 최대 ~24 tokens/sec로 제한합니다. 데이터 센터 H100 GPU HBM3E(1.229 TB/s)는 100+ tokens/sec를 칩니다. 14배 대역폭 간격이 속도 차이를 설명합니다. SK하이닉스는 62% HBM 시장 점유율을 보유합니다. Samsung은 메모리 내 처리(LPDDR5X-PIM)로 데이터 이동을 줄이는 것에 집중합니다. HBM4(>2 TB/s)는 2026-2027년에 도착합니다. 이 메모리 병목은 로컬 AI가 항상 클라우드보다 느릴 것인 근본적 이유입니다—폰에 HBM을 맞출 수 없기 때문입니다.

메모리 대역폭, 계산 TOPS가 아니라, AI 추론의 병목입니다. Galaxy S26(Exynos 2600)은 LPDDR5X 85.6 GB/s를 가집니다. 데이터 센터는 HBM3E 1.229 TB/s를 사용합니다—14배 차이. 이 간격은 7B 매개변수 모델이 폰에서 8–15 tokens/sec로 실행되지만 데이터 센터 GPU는 100+ tokens/sec를 처리하는 이유를 설명합니다. 삼성과 SK하이닉스는 핵심 플레이어입니다: SK하이닉스가 HBM을 지배하고(62% 시장 점유율), Samsung은 LPDDR5X-PIM(메모리 내 처리)을 밀어붙이고 있습니다. 이 가이드는 메모리 병목, Samsung과 SK하이닉스의 역할, 2026 이후 온디바이스 AI의 의미를 설명합니다.

Key Takeaways

LLM 추론 디코드 단계의 병목은 메모리 대역폭이지 TOPS가 아닙니다. 공식: tokens/sec ≈ memory_bandwidth / model_size_in_bytes. FP16 7B 모델(14 GB) LPDDR5X 85.6 GB/s = ~6 tokens/sec. 양자화 Q4(3.5 GB) = ~24 tokens/sec. 데이터 센터 H100 HBM3E(1.229 TB/s) = ~88 tokens/sec. 간격은 14배, 계산 때문이 아니라 데이터를 계산 단위로 얼마나 빨리 공급할 수 있는지 때문입니다.
SK하이닉스는 62% HBM 시장 점유율을 보유합니다(2025년 2분기 정점, 2026년을 통해 >50% 예상). SK는 Nvidia H100, H200, B200 GPU를 공급합니다. SK하이닉스는 Nvidia로 HBM4 샘플을 배송합니다(>2 TB/s, 2026-2027년 도착).
온디바이스 AI는 폰에 HBM을 맞출 수 없기 때문에 항상 클라우드 AI보다 느릴 것입니다. LPDDR5X는 HBM보다 8-15배 느립니다. 이것은 근본적인 아키텍처 간격이고, 엔지니어링이 폰 폼 팩터로 닫을 수 있는 간격이 아닙니다.
Exynos 2600(Galaxy S26)은 양자화 7B 모델에 대해 ~15 tokens/sec를 달성합니다. 칩 재설계는 이것을 수정할 수 없습니다. 더 많은 메모리 대역폭이 필요하며, 이는 더 크고 더 전력 소비적인 메모리 칩(HBM은 2+ 인치 높음; LPDDR5X는 얇은 필름)을 필요로 합니다.
메모리 대역폭 병목은 미세 조정이나 증류가 도움이 되지 않는 이유를 설명합니다: 여전히 모든 매개변수를 메모리에 로드해야 합니다. 더 작은 모델(3B, 1B)이 도움이 되지만 양자화가 폰의 유일한 실질적 솔루션입니다.
Samsung의 PIM(메모리 내 처리) 전략은 메모리 칩 내부에서 연산을 수행하여 데이터 이동을 제거하는 것을 목표로 합니다. 이것은 결국 간격을 닫을 수 있지만 LPDDR5X-PIM은 여전히 초기 단계이고 2027-2028년까지 대량 배송되지 않을 것 같습니다.

메모리 대역폭이 AI 속도를 결정하는 이유

LLM 추론의 디코드 단계에서 GPU/NPU는 전체 모델을 메모리에 로드하고, 토큰당 한 번의 전향 패스를 수행하고, 출력을 작성합니다. 병목: 얼마나 빨리 계산 단위로 매개변수를 공급할 수 있습니까? 이것은 메모리 대역폭이지 계산 TOPS가 아닙니다.

단순화된 공식: tokens/sec = memory_bandwidth / (model_size_in_bytes × bytes_per_precision). FP16(매개변수당 2 바이트)의 경우, 7B 모델 = 14 GB. LPDDR5X 85.6 GB/s에서: 85.6 GB/s ÷ 14 GB = ~6 tokens/sec 이론적 최대치. 실제로 계산과 캐시 오버헤드로 인해 3–5 tokens/sec.

양자화는 방정식을 극적으로 변경합니다. Q4(4비트, 매개변수당 0.5 바이트)는 7B 모델을 3.5 GB로 축소합니다. 85.6 GB/s ÷ 3.5 GB = ~24 tokens/sec 이론적. 실제 세계 ~8–15 tokens/sec, 3–4배 개선.

데이터 센터 H100 HBM3E(1.229 TB/s)는 같은 모델에 대해 100+ tokens/sec을 유지할 수 있습니다. HBM이 14배 빠르기 때문입니다. 이것이 최첨단 모델(70B, 405B)이 데이터 센터에서만 실행되는 이유입니다—HBM 대역폭이 필요합니다.

추론은 훈련과 다릅니다. 훈련은 계산 제약(무게 업데이트를 위해 1000+ 패스). 추론(특히 모델이 프롬프트 캐시되면)은 단일 전향 패스, 순수 메모리 대역폭 제약입니다. 이것이 폰의 추론이 서버보다 훨씬 느린 이유입니다—대역폭 간격을 엔지니어링할 수 없습니다.

LLM 디코드는 메모리 대역폭 제약: tokens/sec = 대역폭 / 모델 크기. 온디바이스 85.6 GB/s vs 데이터 센터 1.229 TB/s = 14배 간격.

공장 어셈블리 라인으로 생각하세요: 계산은 근로자, 메모리는 공급망입니다. 근로자는 빠르지만 공급이 천천히 도착하면 병목입니다. 더 많은 근로자(더 많은 FLOPS)는 공급이 같은 속도로 도착하면 도움이 되지 않습니다. 폰은 "빠른 공급망"(HBM)이 부족합니다.

메모리 대역폭 비교: LPDDR5X vs HBM

메모리 유형	대역폭	사용처	Tokens/sec(7B FP16)	Tokens/sec(7B Q4)
LPDDR5X 10.7 Gbps	85.6 GB/s(x64 버스)	Galaxy S26, Snapdragon 8 Elite Gen 5, 대부분 폰	~6 tokens/sec(이론); ~3–5 현실	~24 tokens/sec(이론); ~8–15 현실
HBM2E	~460 GB/s 스택당	구형 GPU(P100, V100 2020년 전)	~33 tokens/sec(이론)	~131 tokens/sec(이론)
HBM3 19.2 Gbps	~819 GB/s 스택당	Nvidia A100, 80GB 변형	~59 tokens/sec(이론)	~234 tokens/sec(이론)
HBM3E 21.4 Gbps	1.18–1.229 TB/s 스택당	Nvidia H100, H200, B200(2+ 스택 공통)	~88 tokens/sec(이론); ~60–80 현실	~352 tokens/sec(이론); ~200+ 현실

삼성과 SK하이닉스: 누가 무엇을 만드나?

SK하이닉스 — HBM 리더: SK는 ~62% HBM 시장을 보유(2025년 2분기 정점, 2026년을 통해 >50% 예상). SK는 H100, H200, B200 GPU에 대해 Nvidia로 HBM3E를 공급합니다. SK는 2026-2027년 출시 다음 세대 GPU를 위해 HBM4(>2 TB/s)를 Nvidia로 샘플링합니다.

Samsung — LPDDR5X & PIM 푸시: Samsung은 Galaxy S26, Snapdragon 폰, Apple(A18 Pro)을 위해 LPDDR5X를 제조합니다. Samsung은 메모리 다이 내부에 연산 작업을 포함하는 LPDDR5X-PIM(메모리 내 처리)을 개발합니다. 이것은 데이터 왕복을 줄이고 결국 대역폭 간격을 좁힐 수 있습니다.

경쟁 역학: Samsung은 HBM(HBM3, HBM3E 샘플)을 추구했지만 수율과 비용에서 SK에 진다. Samsung은 HBM 대역폭을 맞추려고 시도하는 것이 아니라 폰 메모리를 더 똑똑하게 만드는 것으로 LPDDR5X-PIM으로 피벗. "경쟁할 수 없다, 그래서 다르게 혁신"한다.

타임라인: HBM4는 2026-2027년에 생산 시작(SK하이닉스). LPDDR5X-PIM은 2027-2028년에 제한된 생산 시작(Samsung). LPDDR6은 2027-2028년에 폰 시장 진입, LPDDR5X보다 ~2배 대역폭(~200+ GB/s vs 85.6 GB/s)—여전히 HBM3E보다 6배 느리지만 의미 있는 개선입니다.

Galaxy S26의 온디바이스 AI 제한

Galaxy S26 Exynos 2600 LPDDR5X 85.6 GB/s는 온디바이스 LLM 추론의 실질적 천정을 정의합니다. Q4로 양자화된 7B 모델은 ~8–15 tokens/sec 현실 성능에 도달합니다. 이것은 지연 시간에 민감한 작업(자동완성, 실시간 필사, 간단한 작업)에 적합하지만 긴 대화에는 비실용적입니다.

모델 크기 제한: 7B 모델은 실용적(100 토큰 응답당 3–4시간 지연). 13B Q4 모델(~6.5 GB)은 85.6 GB/s ÷ 6.5 GB = ~13 tokens/sec에 도달합니다. 70B Q4 모델(~35 GB)은 85.6 GB/s ÷ 35 GB = ~2 tokens/sec—사용 불가능합니다.

양자화는 필수: FP16은 비실용적. Q4는 스윗 스팟—4배 더 작은 모델, 수용 가능한 품질 손실. Q3는 더 저장하지만 품질 손실; Q5는 품질 손실 적지만 대역폭 개선 미미.

속도 vs 품질 트레이드오프: 7B Q4는 ~8–15 tokens/sec(일부 사용 사례에 수용). 3B Q4는 ~24–36 tokens/sec(간단한 작업에 훌륭). 1B Q4는 ~60+ tokens/sec(실시간, Pixel 3 시대 성능).

실제 사용 사례: 자동완성, 실시간 코드 제안, 온디바이스 필사, 로컬 요약. 비실용적: 긴 대화, 복잡한 추론, 캐싱 없는 다중 회전 대화.

병목은 대역폭이고 계산이나 무게 크기가 아닙니다. 모델 매개변수를 0으로 줄이더라도 메모리는 여전히 전송해야 하고 대역폭은 고정되어 있습니다. 이것이 온디바이스 AI가 아키텍처적으로 제한되는 이유입니다—폰 폼 팩터에서 85.6 GB/s를 벗어날 수 없습니다.

LPDDR5X 85.6 GB/s 대역폭을 사용하여 최대 tokens/sec를 추정: GB 단위 모델 크기로 나누기
7B Q4(3.5 GB): ~24 tokens/sec 이론; ~8–15 현실(실용적)
13B Q4(6.5 GB): ~13 tokens/sec 이론; ~4–8 현실(느림)
1B Q4(~500 MB): ~171 tokens/sec 이론; ~50–100 현실(빠름)
양자화는 필수: Q4는 사용 가능한 온디바이스 모델의 기준선
모델 크기를 지연 시간으로 트레이드오프; "충분히 좋은" 창 아래 5 tokens/sec에 맞는 모델 크기 없음

데이터 센터 vs 폰: 14배 대역폭 간격

HBM3E(1.229 TB/s)를 가진 Nvidia H100 GPU는 Galaxy S26(LPDDR5X 85.6 GB/s)보다 추론 처리량에서 14배 빠릅니다. 이 간격은 계산 FLOPS 때문이 아니라(둘 다 빠름), 순수 메모리 대역폭입니다. H100은 100+ tokens/sec을 할 수 있습니다; S26은 같은 7B Q4 모델에 대해 8–15 tokens/sec을 합니다.

간격이 존재하는 이유: HBM은 물리적으로 다릅니다. LPDDR5X는 CPU 옆에 있는 얇은 필름(폰의 전력 효율). HBM은 through-silicon via(TSV)를 사용하여 GPU에 직접 본딩된 메모리 칩의 스택입니다. HBM 스택은 2+ 인치 높음; 폰에 맞출 수 없습니다.

왜 닫을 수 없는가: 폰은 열과 전력 제약입니다. HBM은 상당한 전력(~100+ W 전체 스택). LPDDR5X는 ~5–10 W. 폰은 배터리로 실행; 데이터 센터는 무한 전력/냉각. 배터리 수명을 파괴하지 않고 폰에 HBM 대역폭을 물리적으로 맞출 수 없습니다.

결과: 온디바이스 AI는 항상 큰 모델에 대해 클라우드 AI보다 느릴 것입니다. 이것은 닫힐 기술 간격이 아니라 물리적 제약(전력, 열, 폼 팩터)입니다. 더 작은 모델, 적극적 양자화, 똑똑한 캐싱이 솔루션이고 더 나은 메모리에 희망을 갖는 것이 아닙니다.

플립 측면: 온디바이스는 프라이빗, 오프라인 가능, 프라이버시 민감 작업의 0 지연입니다. 14배 속도 페널티는 프라이버시의 가격입니다. 데이터 센터 AI는 속도를 트레이드오프합니다 프라이버시 손실.

미래: LPDDR5X-PIM(2027-2028)과 LPDDR6(2027-2028)은 폰 대역폭을 ~200 GB/s로 개선(여전히 HBM3E보다 6배 느림). 이것은 의미 있음(2배 tokens/sec)이지만 폰이 데이터 센터 속도와 일치하지 않을 것. 간격은 6배로 남을 것이고, 14배 아님.

메모리 로드맵: HBM4 및 LPDDR6

HBM4(SK하이닉스, 2026-2027): >2 TB/s 스택당. 2026-2027년 Nvidia 다음 세대 GPU에서 첫 도착. HBM4는 폰과는 무관하지만 데이터 센터 추론을 더 빠르게 밀 것입니다.

LPDDR6(2027-2028): ~200+ GB/s(추정; x64 버스, 12.8 Gbps). LPDDR5X 대역폭의 ~2.3배. 7B Q4 모델: 200 GB/s ÷ 3.5 GB ≈ 57 tokens/sec 이론(24에서 올라옴). 현실 ~20–35 tokens/sec. 의미 있는 개선이지만 여전히 데이터 센터 HBM3E보다 3배 느림. LPDDR6은 Galaxy S27/S28 시대(2027-2028)에서 배송될 것입니다.

LPDDR5X-PIM(Samsung, 2027-2028): 메모리 내 처리는 DRAM 다이 내부에서 연산을 포함합니다. 메모리에서 모든 모델 무게를 로드하는 대신, 메모리 내부에서(행렬 곱셈)을 계산하여 데이터 이동을 제거합니다. Samsung은 적극적으로 이것을 개발합니다. 성공하면 표준 LPDDR5X vs 50%+ 처리량 개선 추정.

현실: LPDDR6 + PIM도, 폰은 여전히 추론에서 데이터 센터보다 3–6배 느릴 것. 이것은 폰의 물리적 설계(더 크고, 더 뜨겁고, 더 많은 전력)를 변경하지 않고는 닫힐 수 없는 근본적 간격입니다.

온디바이스 AI 2026-2027의 경우: Exynos 2600 + LPDDR5X는 현재 기준선. Exynos 2700(S27)은 계산을 개선할 수 있지만 대역폭이 병목이 될 것입니다. LPDDR6과 PIM을 증분 개선으로 예상합니다, 변혁적 아님.

자주 묻는 질문

왜 AI 추론에 메모리 대역폭이 병목인가?

디코드 단계(각 토큰 생성)는 한 번의 전향 패스에 대해 전체 모델을 메모리에 로드해야 하기 때문. 계산 단위가 빨리 끝나지만 메모리가 충분히 빨리 데이터를 공급할 수 없습니다. FLOPS가 병목이 아니라 데이터 배달입니다.

온디바이스 AI의 tokens/sec 공식은 무엇입니까?

단순화: tokens/sec = memory_bandwidth / (model_size × bytes_per_precision). 7B FP16 모델(14 GB) 85.6 GB/s에서: 85.6 ÷ 14 = ~6 tokens/sec. Q4 양자화(3.5 GB): 85.6 ÷ 3.5 = ~24 tokens/sec. 현실 ~40–60% 이론적.

SK하이닉스가 HBM을 지배하나요?

예. SK는 ~62% HBM 시장을 보유(2025년 2분기 정점). SK는 Nvidia H100, H200, B200 GPU를 공급합니다.

LPDDR6는 언제 배송되나요?

추정 2027-2028년 Galaxy S27/S28에서. ~200+ GB/s(2.3x LPDDR5X). 온디바이스 토큰 처리량을 2배가 할 것이지만 여전히 데이터 센터 HBM3E보다 3–6배 느림.

A Note on Third-Party Facts

This article references third-party AI models, benchmarks, prices, and licenses. The AI landscape changes rapidly. Benchmark scores, license terms, model names, and API prices can shift between the time of writing and the time you read this. Before making deployment or compliance decisions based on this article, verify current figures on each provider’s official source: Hugging Face model cards for licenses and benchmarks, provider websites for API pricing, and EUR-Lex for current GDPR and EU AI Act text. This article reflects publicly available information as of May 2026.

Run PromptQuorum with a local LLM, your own API keys, or both — you pick the backend.

Join the PromptQuorum Waitlist →

← Back to Local LLMs