Home/Local LLMs/MRAM과 인메모리 컴퓨팅: 온디바이스 AI의 다음 도약?

Hardware & Performance

MRAM과 인메모리 컴퓨팅: 온디바이스 AI의 다음 도약?

Last updated: 2026년 7월 1일·12 min·By Hans Kuepper · Founder of PromptQuorum, multi-model AI dispatch tool · PromptQuorum

언어 선택:

🇺🇸en 🇩🇪de 🇫🇷fr 🇯🇵ja 🇨🇳zh 🇪🇸es 🇧🇷pt 🇸🇦ar 🇰🇷ko

MRAM은 0 대기전력과 바이트 단위 주소 지정이 가능한 비휘발성 자성메모리이며, 인메모리 컴퓨팅은 신경망 연산을 메모리 어레이 내부에서 직접 수행하여 에너지 집약적인 데이터 이동을 제거합니다. 온디바이스 AI의 미래일까요? 유망하지만 아직 입증되지 않았습니다 — Samsung은 2022년 Nature에서 개념 증명을 입증했고, SemiFive/ICYTech는 2026년 5월 8nm eMRAM 엣지 SoC(최대 2B 파라미터)를 테이프아웃했으나 아직 출하된 실리콘은 없습니다. MRAM이 DRAM을 대체할까요? 아닙니다 — 대역폭 대체가 아니라 저전력 비휘발성 타일로서 DRAM을 보완합니다(HBM4와 LPDDR6가 여전히 대역폭을 담당합니다). 또한 Qualcomm HBC와도 구별되는데, HBC는 near-memory 방식이고 데이터센터 중심이며 2027년 예정입니다. 소비자 배포(폰, PC)는 현실적으로 3~5년 이상 멀어 있습니다.

MRAM(자성메모리)과 인메모리 컴퓨팅 아키텍처는 메모리 내부에서 연산을 수행함으로써 온디바이스 AI를 재편할 수 있으며, 현재 로컬 LLM 추론을 제약하는 에너지 집약적인 데이터 이동 병목을 제거할 수 있습니다. Samsung의 연구는 신경망에서 개념 증명 정확도를 보여주었고, SemiFive와 ICYTech는 2026년 5월 2B 파라미터 엣지 AI 칩을 목표로 하는 실리콘 테이프아웃을 달성했습니다. 하지만 MRAM은 여전히 R&D 및 초기 제품 단계에 있으며 아직 소비자 PC나 폰에는 없습니다.

Key Takeaways

MRAM(자성메모리): 자기 터널 접합(MTJ)을 사용하는 비휘발성 메모리입니다. 리프레시가 필요 없고 대기 전력 소모도 없습니다. DRAM처럼 바이트 단위 주소 지정이 가능합니다.
인메모리 컴퓨팅: 곱셈-누산(MAC) 연산을 메모리 어레이 내부에서 직접 수행합니다. CPU/GPU와 메모리 간 데이터 이동을 제거하는데, 이는 추론에서 가장 큰 에너지 비용입니다.
현재 상태: Samsung SAIT는 Nature 논문(2022)에서 이미지 작업 98% 정확도로 이를 입증했습니다. SemiFive + ICYTech는 8nm eMRAM 테이프아웃(2026년 5월)을 달성했습니다. 아직 소비자 제품은 없습니다.
함정: 테이프아웃 ≠ 실리콘 반환 ≠ 출하된 제품입니다. 실제 전력 효율 수치는 미정입니다. 소비자용 폰/PC는 2029~2031년 이전에는 나오기 어렵습니다.
대안: Google TurboQuant(ICLR 2026)는 KV 캐시를 정확도 손실 없이 3비트로 압축하며 — 동일한 문제에 대한 소프트웨어 전용 접근법으로 지금 바로 사용할 수 있습니다.

MRAM이란 무엇인가?

MRAM은 전하(DRAM처럼)나 갇힌 전자(Flash처럼) 대신 자기적 특성을 사용해 데이터를 저장합니다. 핵심 단위는 자기 터널 접합(MTJ)으로, 두 자성층 사이에 얇은 절연층을 끼운 구조입니다. 작은 전류가 접합을 높은 저항 또는 낮은 저항 상태로 설정하며 — 높음 = "1", 낮음 = "0"입니다.

주요 특성:

비휘발성: 전원 없이도 데이터가 유지됩니다. 리프레시 사이클이 필요 없습니다.
바이트 단위 주소 지정: DRAM처럼 개별 바이트를 읽고 쓸 수 있습니다. 페이지 기반인 Flash와 다릅니다.
0 대기 전력: DRAM은 데이터를 유지하기 위해서만 기가바이트당 약 0.5~1 mW(리프레시 전류)가 필요합니다. MRAM은 전혀 필요하지 않습니다.
높은 내구성: 상용 MRAM은 10^10에서 10^14 쓰기 사이클을 달성합니다. DRAM/SRAM은 약 10^16(사실상 무제한)입니다. NAND Flash는 10^3~10^5입니다. MRAM은 Flash보다 월등히 뛰어나며 DRAM에 견줄 만합니다.
공정 통합: Samsung, TSMC 등은 MRAM을 28nm, 14nm 및 그 이하 노드의 로직 다이에 직접 임베드할 수 있습니다.

온디바이스 AI의 메모리 병목

현대 AI 추론은 단 하나의 문제에 지배됩니다: 폰 노이만 병목. 연산(CPU/GPU)과 메모리는 물리적으로 분리되어 있습니다. 모든 신경망 연산은 데이터 — 가중치, 활성값, 트랜스포머의 KV 캐시 — 가 앞뒤로 왕복해야 합니다.

이 데이터 이동은 실제 연산에 비해 엄청나게 비쌉니다:

일반적인 로컬 LLM 추론 워크로드에서 데이터 이동은 전체 에너지 소비의 최대 90%를 차지합니다. 연산 자체 — 실제 신경망 계산 — 는 거의 반올림 오차 수준입니다. 이는 왜곡된 유인을 만듭니다: 메모리 버스가 벽이라면 더 크고 빠른 CPU/GPU는 도움이 되지 않습니다.

배터리로 구동되는 폰, 노트북, 엣지 기기의 온디바이스 AI에서 이 병목은 배터리를 소모하지 않으면서 추론 시간을 늘리는 데 있어 가장 큰 장애물입니다.

Operation	Energy cost	Relative
32-bit DRAM access	~640 pJ	MAC 연산의 약 200배
32-bit on-chip SRAM access	~5 pJ	MAC 연산의 약 5배
32-bit floating-point multiply-accumulate (MAC)	~0.9 pJ	기준값 (1×)

32비트 연산당 에너지 비용: DRAM 액세스는 약 640pJ(MAC 연산의 약 200배), SRAM 액세스는 약 5pJ, 곱셈-누산(MAC) 연산 자체는 약 0.9pJ에 불과 — 로컬 LLM 추론 에너지의 최대 90%가 데이터 이동에 소모된다.

인메모리 컴퓨팅이 문제를 해결하는 방식

인메모리 컴퓨팅(processing-in-memory 또는 PIM이라고도 함)은 연산을 메모리 어레이 자체로 이동시켜 이 문제를 해결합니다. 가중치와 활성값을 별도의 ALU로 불러오는 대신, MAC 연산이 메모리 셀의 크로스바에서 직접 일어납니다.

작동 방식:

신경망 가중치가 MRAM 셀(또는 다른 아날로그 호환 메모리)로 저장됩니다.
입력 활성값은 행 전압으로 인가됩니다.
메모리 어레이의 아날로그 특성이 한 번에 행렬-벡터 곱셈을 계산합니다 — 이는 트랜스포머 추론의 핵심 연산입니다.
결과는 읽혀 다시 디지털로 양자화됩니다.

MRAM의 현재 상태 (2026년 6월)

Samsung SAIT Nature 논문 (2022년 1월):

인메모리 컴퓨팅을 수행하는 64×64 MRAM 크로스바 어레이의 실증을 발표했습니다.
달성 정확도: 손글씨 숫자 분류(MNIST)에서 98%, 얼굴 검출에서 93%.
전력 효율: 데이터 이동 제거로 인한 이점은 방향성 측면에서 확인되었으나, DRAM 대비 구체적으로 정량화된 전력 절감치는 공개 자료에 공개되지 않았습니다.
한계: 고전적 ML 작업(숫자 분류, 객체 검출)에 고도로 특화되어 있습니다. 대규모 트랜스포머 추론에서는 아직 실증되지 않았습니다.
SemiFive + ICYTech PNM MRAM 엣지 칩 (2026년 5월):
Samsung Foundry 8nm(8LPU)에 임베디드 MRAM을 적용하여 테이프아웃에 성공했습니다.
테이프아웃 = 제조를 위해 설계를 제출한 단계입니다. 실리콘은 아직 반환되지 않았고, 벤치마크도 발표되지 않았으며, 제품도 출하되지 않았습니다.
주장된 성능: 네트워크 연결 없이 최대 20억 파라미터 모델까지 온디바이스 추론.
목표: 엣지 AI, 휴머노이드 로봇, 자동차에서의 텍스트 요약, 번역, 대화형 추론.
첫 상용화는 아시아를 목표로 하며, 북미 일정은 발표되지 않았습니다.

MRAM vs HBM vs DRAM vs LPDDR5: 트레이드오프

MRAM이 HBM에는 없는 것을 제공하는 점:

비휘발성: 전원이 꺼져도 가중치가 유지되어, 디스크에서 다시 불러올 필요 없이 즉시 켜지는 추론이 가능합니다.
0 리프레시 전력: 대기 전류 오버헤드를 제거합니다.
직접 다이 통합: 별도의 메모리 패키지가 필요 없습니다.
간헐적으로 전력이 공급되는 엣지 노드와 웨어러블에 적합합니다.
HBM이 (현재) MRAM에는 없는 것을 제공하는 점:
훨씬 높은 대역폭: HBM4는 1.6 TB/s를 제공하는 반면 MRAM의 임베디드 대역폭은 미공개이며 대략 10~100 GB/s 범위로 추정됩니다.
대규모 모델 학습을 위한 대규모 밀도가 검증됨.
특수한 MTJ 공정 통합에 의존하지 않음.
오늘날 양산 AI 가속기에서 사용 가능함.

Memory Type	Peak Bandwidth	Non-Volatile	Standby Power	Form Factor	Best For	Status for AI
HBM4 (High Bandwidth Memory)	~1.6 TB/s per stack	아니오	높음 (리프레시)	인터포저 위 적층	AI 학습, 고급 추론	양산, 대규모 검증됨
LPDDR5X (mobile DRAM)	68–77 GB/s	아니오	높음 (리프레시)	와이어본딩 패키지	엣지 AI, 모바일 추론	폰/태블릿의 현행 표준
MRAM (embedded eMRAM)	아직 미공개	예	거의 0	SoC 다이 내 임베디드	상시 구동 엣지 AI, 특수 워크로드	R&D, 테이프아웃(2026년 5월), 아직 소비자용 아님
Standard DRAM	~100–200 GB/s	아니오	중간 (리프레시)	DIMM, SO-DIMM	일반 컴퓨팅, 데스크톱 추론	양산, 어디에나

결론: MRAM과 HBM은 오늘날 경쟁 관계가 아닙니다. HBM은 고대역폭 AI 가속기(데이터센터의 GPU, TPU)를 겨냥합니다. MRAM은 원시 대역폭보다 비휘발성과 SoC 통합이 더 중요한 엣지 추론과 특수 인메모리 연산을 겨냥합니다.

소프트웨어 대안: TurboQuant KV 캐시 압축

하드웨어 연구자들이 MRAM 인메모리 컴퓨팅에 매달리는 동안, 소프트웨어 엔지니어들은 다른 각도에서 메모리 병목을 공략하고 있습니다: 압축.

Google TurboQuant (ICLR 2026, 2026년 3월 발표):

트랜스포머 추론의 KV(키-값) 캐시를 일반적인 16비트나 8비트 형식에서 3비트로 압축합니다.
KV 캐시 메모리 사용량 6배 감소. 긴 컨텍스트 추론에서 KV 캐시는 VRAM의 30~50%를 소비할 수 있습니다.
건초 더미 속 바늘 찾기 평가(긴 컨텍스트 검색)를 포함한 벤치마크에서 정확도 손실 0.
H100 GPU에서 어텐션 로짓 계산 시 최대 8배 속도 향상(4비트 TurboQuant vs 32비트 비양자화).
학습이나 파인튜닝이 필요 없습니다. 기존 추론 파이프라인에 그대로 대체 적용 가능합니다.
작동 방식: 2단계 프로세스 — PolarQuant(Lloyd-Max 중심점을 사용한 극좌표 양자화) + QJL(Quantized Johnson-Lindenstrauss 변환, 극한 압축에서 내적 정확도를 보존하기 위한 오류 보정 추가).
여러 독립적인 오픈소스 구현이 존재합니다. Google 공식 코드 공개는 2026년 2분기로 예상됩니다.
중요한 이유: 소프트웨어 전용 메모리 절감은 *지금* 사용 가능하고, 새 하드웨어가 필요 없으며, 표준 추론 라이브러리를 갖춘 모든 NVIDIA/AMD GPU 또는 CPU에서 작동합니다. MRAM의 성숙을 기다리는 동안 메모리 병목에 대한 실용적인 해법입니다.

MRAM이 소비자 기기에 도달한다면

소비자용 스마트폰과 PC의 MRAM 채택은 온디바이스 AI를 세 가지 방식으로 재편할 것입니다:

즉시 켜지는 추론: 폰이 부팅되면 AI 모델 가중치가 이미 SoC의 비휘발성 MRAM에 있어 저장소에서 다시 불러올 필요가 없습니다. 음성 비서, 실시간 번역, 온디바이스 추론이 즉시 시작됩니다.
배터리 수명: 메모리 서브시스템에 대기 리프레시 소모가 없습니다. 상시 구동 AI 기능(백그라운드 청취, 프라이버시 보호 분석)에서 에너지 절감이 배가됩니다.
고정된 전력 예산에서 더 큰 모델: 인메모리 컴퓨팅이 LPDDR5 + 연산 분리 대비 2~10배 에너지 효율을 달성한다면, 폰은 오늘날의 1B~2B 모델과 동일한 배터리 영향으로 5B~10B 모델을 구동할 수 있습니다.

타임라인 & 솔직한 전망

확정된 사항 (발표된 로드맵과 공지 기준):

확정되지 않은 사항:
주요 스마트폰 OEM(Apple, Qualcomm, MediaTek) 중 MRAM 통합을 발표한 곳은 없습니다.
소비자 VRAM 규모(8~16 GB)를 위한 MRAM 대역폭 및 밀도 사양은 공개되지 않았습니다.
대규모 모델 추론(30B 이상)의 전력 효율 향상은 실리콘에서 측정되지 않았습니다.
LPDDR5나 HBM과의 비용 동등성은 어떤 발표된 로드맵에도 없습니다.
현실적인 타임라인:
2026~2028: 소형 MRAM 인메모리 연산 유닛을 갖춘 엣지 AI SoC(로봇, 자동차, IoT). 제한된 2B 규모 모델. 아시아 우선 배포.
2028~2030: 비휘발성 캐시 또는 특수 AI 가속기 타일로서의 스마트폰 통합 가능성(주 메모리 대체는 아님).
2030년 이후: DRAM 대체로서의 주류 소비자용 폰 배포는 아직 해결되지 않은 밀도, 대역폭, 비용 문제를 해결해야 합니다. 2031~2035년 이전에는 기대하기 어렵습니다.

Year	Milestone	Status
2019	Samsung, 28nm eMRAM 양산	✓ 완료
2024	Samsung 14nm eMRAM 양산	✓ 완료
2026	Samsung 8nm eMRAM 양산; SemiFive/ICYTech 테이프아웃	✓ 완료 (2026년 6월)
2027	Samsung 5nm eMRAM 공정 제공 (로드맵)	순조로움
2028–2029	MRAM 인메모리 연산을 탑재한 최초의 엣지 AI SoC 출하 가능성 (SemiFive 등)	가능하나 미확정
2029–2031	소비자용 스마트폰 MRAM 통합 가능성 (비휘발성 캐시 또는 특수 AI 다이)	추측성

AI용 MRAM 로드맵: 28nm eMRAM(2019년)과 14nm(2024년) 양산은 완료; 8nm eMRAM과 SemiFive/ICYTech 테이프아웃(2026년 6월)은 확정; 5nm eMRAM(2027년)은 계획대로 진행 중; 엣지 AI SoC(2028~2029년)와 소비자 스마트폰용 MRAM(2029~2031년)은 가능성은 있으나 미확정.

자주 묻는 질문

지금 제 PC나 폰에 쓸 MRAM을 구매할 수 있나요?

아닙니다. MRAM은 산업용 마이크로컨트롤러, 자동차 칩, 엔터프라이즈 스토리지용으로는 양산 중입니다. 소비자 AI의 경우 2026년 6월 기준 R&D 단계에 불과합니다. SemiFive/ICYTech 칩은 테이프아웃 단계로 실리콘이 아직 반환되지 않았습니다. 소비자 배포는 현실적으로 3~5년 이상 남았습니다.

MRAM이 제 GPU의 VRAM을 대체할까요?

가까운 시일 내에는 어렵습니다. MRAM은 배터리가 제약된 엣지 기기에서 중요한 저대기전력과 비휘발성에서 뛰어납니다. HBM은 다른 문제를 해결합니다: 데이터센터 학습과 대규모 배치 추론을 위한 최대 대역폭입니다. 소비자용 폰과 특수 엣지 AI에서는 MRAM이 하나의 구성 요소(임베디드 캐시 또는 가속기 타일)가 될 수 있습니다. 게이밍 GPU나 데이터센터 가속기의 VRAM은 당분간 HBM 또는 GDDR로 유지될 것입니다.

인메모리 컴퓨팅과 벡터 데이터베이스의 차이는 무엇인가요?

서로 다른 계층입니다. 벡터 데이터베이스는 임베딩을 저장하고 유사도로 검색합니다(RAG 파이프라인에서 사용). 인메모리 컴퓨팅은 신경망의 핵심 연산(행렬-벡터 곱셈)을 메모리 자체 안에서 수행하여 데이터 이동을 제거합니다. 둘을 함께 사용할 수도 있습니다: 추론 엔진에는 인메모리 연산, 검색에는 벡터 DB.

지금 구동 중인 로컬 LLM에 TurboQuant 압축을 사용할 수 있나요?

주류 추론 라이브러리에서는 아직 아니지만 구현체는 존재합니다. TurboQuant는 학술 연구(ICLR 2026)입니다. Ollama, LM Studio 및 기타 소비자용 도구는 아직 이를 통합하지 않았습니다. 커뮤니티 구현은 GitHub에서 확인하세요. 핵심 아이디어 — KV 캐시를 공격적으로 양자화하는 것 — 는 커스텀 추론 코드에서 재현할 수 있습니다.

MRAM은 트랜스포머와 함께 작동하나요?

Samsung은 고전적 ML 작업(숫자 분류, 얼굴 검출)에서 이를 실증했습니다. MRAM 인메모리 연산에서 트랜스포머 규모 추론(7B+ 모델)은 아직 발표되지 않았습니다. 가능성은 있으나 입증되지 않았습니다. SemiFive 칩은 2B 파라미터 성능을 주장하며, 실리콘이 반환되어 출하되면 실제 벤치마크를 얻게 될 것입니다.

MRAM은 3D XPoint(Intel Optane)와 같은 것인가요?

아닙니다. 3D XPoint는 Intel의 독점 스토리지 클래스 메모리 기술(현재 단종)이었습니다. MRAM은 다른 물리(자기 대 상변화)를 가진 별개의 비휘발성 메모리 기술입니다. 둘 다 동일한 문제 영역 — 빠르고 내구성 있는 비휘발성 저장 — 을 겨냥하지만 서로 다른 접근법을 사용합니다.

MRAM은 DRAM 대비 전력을 얼마나 절약하나요?

대기 상태(리프레시 없음)의 경우: MRAM은 기가바이트당 약 0.5~1 mW를 절약합니다. 인메모리 연산을 사용한 활성 추론의 경우: Samsung의 보도자료는 데이터 이동 제거로 인한 "상당한" 절감을 주장하지만, 구체적으로 정량화된 절감치는 공개되지 않았습니다. 실제 수치는 실리콘이 출하되어 독립적으로 벤치마크될 때 나올 것입니다.

MRAM이 DRAM을 대체할까요?

가까운 시일 내에 주 메모리로서는 아닙니다. MRAM의 강점은 비휘발성과 0 대기전력으로, 임베디드 캐시와 저전력 엣지 가속기에 적합합니다. DRAM과 HBM은 여전히 밀도, 대역폭, 비트당 비용에서 결정적 우위를 지닙니다 — Samsung의 HBM4는 초당 다중 테라바이트 대역폭으로 양산 중이고, LPDDR6는 엣지 기기용으로 핀당 30~35 Gbps를 밀어붙이고 있습니다. MRAM의 현실적 역할은 DRAM 대체가 아니라 보완적인 비휘발성 타일 또는 인메모리 연산 유닛입니다.

Qualcomm이 2026년에 메모리 병목을 해결했나요?

Qualcomm은 2026년 Investors Day에서 Dragonfly 브랜드로 HBC(High-Bandwidth Compute)를 발표했습니다 — 실리콘 관통 비아(TSV)를 사용해 LPDDR 메모리 아래에 연산 가속기를 적층하는 near-memory 아키텍처로, HBM 대비 약 6배의 와트당 대역폭과 SRAM 대비 200배의 와트당 용량을 주장합니다. 세 가지 구별점이 중요합니다: HBC는 near-memory(메모리 옆의 연산)이지 MRAM 인메모리 컴퓨팅(메모리 어레이 내부의 연산)이 아니고; 폰이 아니라 데이터센터 AI 가속기(AI250/AI300)를 겨냥하며; 1세대 HBC는 2027년 중반으로 예정되어 있어 2026년에는 아무것도 출하되지 않았습니다. 이는 동일한 메모리 월 문제에 대한 다른 접근법일 뿐 MRAM 돌파구는 아닙니다.

A Note on Third-Party Facts

This article references third-party AI models, benchmarks, prices, and licenses. The AI landscape changes rapidly. Benchmark scores, license terms, model names, and API prices can shift between the time of writing and the time you read this. Before making deployment or compliance decisions based on this article, verify current figures on each provider’s official source: Hugging Face model cards for licenses and benchmarks, provider websites for API pricing, and EUR-Lex for current GDPR and EU AI Act text. This article reflects publicly available information as of May 2026.

Run PromptQuorum with a local LLM, your own API keys, or both — you pick the backend.

Download the PromptQuorum Beta →

← Back to Local LLMs