70B LLM 로컬 실행 2026: 하드웨어·RAM·속도

70B 모델은 약 700억 개의 파라미터, 즉 신경망을 이루는 학습된 가중치를 가진 대규모 언어 모델입니다. "B"는 10억(billion)을 뜻합니다. Llama 3.3 70B는 706억 개, Qwen2.5 72B는 727억 개의 파라미터를 가집니다.

메모리는 파라미터 수에 가중치당 바이트 수를 곱한 값입니다. 16비트 가중치는 개당 2바이트(약 141 GB), 8비트(Q8_0)는 약 1바이트(75 GB), 4비트 Q4_K_M은 약 0.6바이트(43 GB)입니다. 그래서 70B는 소비자 하드웨어에 처음으로 40 GB 이상의 빠른 메모리가 필요해지는 크기이고, 7B-14B 모델은 평범한 노트북에도 들어갑니다.

모델에 약 43 GB, 컨텍스트에 3-10 GB의 빠른 메모리가 필요하며, 이는 GPU VRAM, Apple 통합 메모리 또는 시스템 RAM에 있어야 합니다. 메모리가 빠를수록 모델도 빠르게 생성합니다.

아래 속도는 짧은 컨텍스트에서의 단일 사용자 채팅 추정치로, 메모리 대역폭에서 구한 값입니다("메모리 대역폭이 속도를 정하는 이유" 참조). 상한을 일반적인 효율 60-80%로 낮춘 값이며 PromptQuorum이 실행한 벤치마크가 아닙니다. 예외는 DGX Spark 수치로, 제3자가 측정한 값입니다.

아래 크기는 Ollama 라이브러리의 Llama 3.3 70B 파일 기준이며, 다른 70B 모델은 몇 퍼센트 정도 차이가 납니다. 가중치만의 크기이므로 다음 섹션의 컨텍스트 메모리를 더해야 합니다.

컨텍스트는 가중치 위에 메모리를 추가합니다. Llama 3.3 70B는 FP16에서 토큰당 약 0.33 MB의 KV 캐시를 저장하며, 이는 8K 토큰에서 약 2.7 GB, 32K에서 10.7 GB, 128K에서 43 GB입니다. 이 값은 모델 구조에서 나옵니다. 80개 레이어 x 8개 key-value 헤드 x 128차원 x 2(키와 값) x 2바이트 = 토큰당 327,680바이트입니다.

동시 세션은 각자 KV 캐시를 따로 가지며 가중치는 공유합니다. 에이전트 네 개가 각각 32K 토큰을 쓰는 멀티 에이전트 시스템은 가중치 약 43 GB에 캐시 약 43 GB가 필요합니다. Ollama에서 플래시 어텐션과 8비트 KV 캐시(OLLAMA_FLASH_ATTENTION=1과 OLLAMA_KV_CACHE_TYPE=q8_0)를 켜면 캐시가 대략 절반으로 줄어듭니다.

생성되는 모든 토큰은 모델 가중치를 한 번씩 전부 읽으므로, 디코드 속도의 상한은 메모리 대역폭을 모델 크기로 나눈 값입니다. 614 GB/s 대역폭에서 43 GB Q4_K_M 모델의 상한은 약 14 tokens/sec이며, 실제 속도는 보통 상한의 60-80%입니다.

같은 규칙이 "메모리가 크다고 빠른 것은 아니다"를 설명해 줍니다. 128 GB DGX Spark는 273 GB/s이므로 Q4_K_M에서 상한이 약 6 tokens/sec이고, LMSYS는 Llama 3.1 70B를 FP8(약 70 GB, 상한 3.9)로 실행했을 때 2.7 tokens/sec를 측정했습니다. 용량은 모델이 실행되는지를, 대역폭은 얼마나 빠른지를 정합니다. 프롬프트 처리(prefill)는 연산 속도에 좌우되어 다르게 동작합니다.

Apple Silicon은 CPU와 GPU가 하나의 통합 메모리 풀을 공유하므로, 70B 모델 전체를 GPU가 접근할 수 있는 메모리에 올리는 가장 간단한 방법입니다. 64 GB 이상의 Mac은 레이어 오프로딩 없이 Q4_K_M을 실행하며, 속도는 칩의 대역폭에 따라 정해집니다. 추정치로 M5 Max에서 대략 9-11 tokens/sec, 중고 M2 Ultra에서 12-15 tokens/sec입니다. M5 칩의 70B 벤치마크는 아직 공개된 것을 찾지 못했습니다.

Apple은 2026년 8월 25일에 M5 Max와 M5 Ultra를 탑재한 Mac Studio를 발표했고, 두 제품 모두 2026년 9월 22일에 출하되었습니다. M5 Max는 36 GB 모델이 $2,499부터이며 최대 614 GB/s로 128 GB까지 구성할 수 있습니다. 70B에는 64 GB 이상으로 구성하십시오. M5 Ultra는 96 GB 모델이 $5,499부터이며 최대 1.2 TB/s로 512 GB까지 구성할 수 있고 Q8_0도 여유롭게 실행합니다. 512 GB 구성은 10월 말 도착으로 안내되었습니다.

Mac mini M5 Pro는 64 GB가 아니라 24 GB 모델이 $1,699부터입니다. 64 GB 주문 제작 구성(307 GB/s, Thunderbolt 5)은 Q4_K_M 70B 모델을 담을 수 있지만 생성 속도는 약 4-5 tokens/sec에 그치며, 리뷰에 따르면 CPU와 저장 장치에 따라 대략 $2,700-$3,200입니다. 기본형 Mac mini M6($899)는 최대 32 GB, 170 GB/s이며 어떤 양자화로도 70B 모델을 실행할 수 없습니다.

macOS는 기본적으로 GPU가 접근할 수 있는 메모리를 RAM의 약 75%(64 GB Mac에서 약 48 GB)로 제한합니다. Q5_K_M(50 GB)을 실행하려면 한도를 올려야 합니다. 예를 들어 64 GB Mac에서 sudo sysctl iogpu.wired_limit_mb=57344를 실행하며, 이 설정은 재부팅하면 초기화되고 OS에는 약 8 GB만 남습니다.

NVIDIA DGX Spark는 GB10 Grace Blackwell Superchip 기반에 CUDA를 지원하며, 273 GB/s의 128 GB 통합 LPDDR5x 메모리를 갖춘 소형 데스크톱 AI 컴퓨터입니다. 70B 모델을 Q8_0(75 GB)로도 올릴 수 있지만 대역폭이 생성 속도를 제한합니다. LMSYS는 Llama 3.1 70B를 FP8로 실행했을 때 디코드 속도를 2.7 tokens/sec로 측정했고, 커뮤니티의 llama.cpp Q4_K_M 실행은 4-5 tokens/sec 범위로 보고됩니다.

가격은 크게 움직였습니다. NVIDIA는 메모리 공급 제약을 이유로 2026년 2월 Founders Edition을 $3,999에서 $4,699로 올렸고, 2026년 10월에는 $6,950의 가격이 보도되었으며, 파트너사가 2026년 10월 23일부터 판매하는 $4,999의 64 GB 버전도 함께 보도되었습니다. 구매 전에 실시간 가격을 확인하십시오.

AMD Ryzen AI Max+ 395("Strix Halo") 미니 PC와 노트북은 256 GB/s의 LPDDR5X 128 GB를 제공하여 같은 급의 대역폭이며, 덴스 70B 모델에서 약 4-5 tokens/sec로 비슷하게 추정됩니다. 두 플랫폼 모두 빠른 덴스 70B 채팅보다는 Mixture-of-Experts 모델(아래 참조)과 CUDA 또는 파인튜닝 작업에 더 잘 맞습니다.

Ollama와 llama.cpp는 모델을 GPU VRAM과 시스템 RAM에 나눠 올립니다. VRAM의 레이어는 GPU 속도로, RAM의 레이어는 CPU 메모리 속도로 실행되며, 느린 쪽이 전체 속도를 좌우합니다. RTX 4090(24 GB)에는 Q4_K_M 70B 모델의 약 55%가 GPU에 올라가고, 나머지는 약 90 GB/s의 DDR5에서 스트리밍되어 생성 속도가 약 2-4 tokens/sec로 제한됩니다. RTX 5090(32 GB)은 약 70%를 담아 추정 4-6 tokens/sec에 이릅니다.

Ollama는 자동으로 오프로딩하므로 플래그가 필요 없습니다. ollama ps를 실행하면 분할 상태를 볼 수 있습니다(PROCESSOR 열, 예: 45%/55% CPU/GPU). llama.cpp에서는 -ngl로 레이어 수를 지정합니다.

사용자 한 명이라면 레이어 분할을 쓰는 Ollama나 llama.cpp가 가장 간단한 멀티 GPU 방법이고, 동시 사용자나 에이전트가 여럿이라면 텐서 병렬을 쓰는 vLLM이나 SGLang이 훨씬 높은 총 처리량을 냅니다. 24 GB 카드(RTX 3090 또는 4090) 두 장이면 48 GB로, Q4_K_M과 짧은 컨텍스트를 담기에 충분합니다.

레이어 분할은 토큰마다 한 번 카드 사이로 활성값을 전달하며 일반 PCIe에서도 동작하므로 서로 다른 소비자용 카드 조합에 알맞습니다. 텐서 병렬은 각 레이어를 GPU에 나누므로 빠른 연결이 유리합니다. RTX 3090은 NVLink 브리지를 지원하지만 RTX 4090과 5090은 지원하지 않습니다.

CPU 전용 70B 추론은 메모리 대역폭에 제한됩니다. 듀얼 채널 데스크톱 DDR5(약 90 GB/s)에서는 Q4_K_M 기준 대략 1-2 tokens/sec이며, RAM 용량을 늘려도 빨라지지 않습니다. 1.5 tokens/sec에서는 200단어 응답(약 270 토큰)에 약 3분이 걸립니다.

RAM 256 GB가 바꾸는 것은 속도가 아니라 올릴 수 있는 모델의 범위입니다. Q8_0(75 GB)이나 FP16(141 GB)을 긴 컨텍스트와 함께 올릴 수 있습니다. 속도는 메모리 채널 수에 달려 있어서, 8채널 Threadripper PRO나 12채널 EPYC 서버는 데스크톱의 3-5배 대역폭을 가집니다. 큰 DIMM 네 개를 꽂은 데스크톱 보드는 두 개일 때보다 메모리가 느리게 동작하는 경우가 많습니다. 긴 입력의 프롬프트 처리도 CPU에서는 느립니다.

아래 추정치는 대역폭 규칙에 효율 70%를 적용한 값이며 실측 벤치마크가 아닙니다.

Mixture-of-Experts(MoE) 모델은 전체 파라미터를 담을 메모리가 필요하지만 토큰마다 활성 전문가만 읽으므로, 같은 메모리 크기의 덴스 70B 모델보다 훨씬 빠르게 생성합니다. OpenAI gpt-oss-120b는 약 1,170억 개 파라미터 중 약 51억 개가 활성이고, Meta Llama 4 Scout는 1,090억 개 중 170억 개가 활성입니다.

대역폭 규칙은 활성 가중치에 적용되므로, MoE 모델은 DGX Spark, Ryzen AI Max+ 395 PC, 64 GB Mac mini M5 Pro처럼 용량은 크고 대역폭은 보통인 머신을 가장 잘 활용합니다. 이런 하드웨어에서 덴스 70B 모델은 4-5 tokens/sec로 예상하십시오. 내려받기 전에 각 MoE 모델의 파일 크기를 자신의 메모리와 대조해 확인하십시오.

Llama 3.3 70B가 기본 덴스 70B 모델입니다. Meta는 MMLU(CoT) 86.0과 HumanEval 88.4, 128K 컨텍스트 윈도를 보고했습니다. 다국어와 코딩 용도의 주요 대안은 Qwen2.5 72B입니다. Qwen3 72B는 없습니다. Qwen3 덴스 모델은 32B에서 끝나므로, "Qwen3 72B"라는 언급은 Qwen2.5 72B를 뜻합니다.

명령어: ollama run llama3.3:70b, ollama run qwen2.5:72b, ollama run deepseek-r1:70b.

70B 모델의 QLoRA 파인튜닝에는 실행당 대략 35-48 GB의 GPU 메모리가 필요합니다. FSDP+QLoRA를 쓰는 24 GB GPU 두 장 또는 48-80 GB GPU 한 장입니다. QLoRA는 기본 모델을 4비트(약 35 GB)로 유지하고 작은 어댑터만 학습하며, Answer.AI는 이를 24 GB 게이밍 GPU 두 장에서 시연했습니다.

16비트 전체 파인튜닝은 가중치, 그래디언트, 옵티마이저 상태에 파라미터당 약 16바이트, 즉 대략 1 TB가 필요하며 멀티 GPU 서버의 영역입니다. 가끔 하는 실행이라면 하드웨어를 구축하기보다 80 GB 클라우드 GPU를 임대하는 편이 보통 더 현실적입니다.

EU / GDPR: 70B 로컬 모델은 대부분의 조직이 비공개로 실행할 수 있는 AI 품질의 현실적인 상한입니다. 법률, 의료, 금융 문서를 온프레미스에서 처리하면 프롬프트와 출력이 자체 인프라 안에 머물러 데이터 최소화와 전송 위험 통제에 도움이 됩니다. 다만 이것만으로 배포가 GDPR을 준수하게 되는 것은 아니므로 전체 처리 활동을 평가하십시오.

EU 공급망 하드웨어가 필요한 조직의 경우, Apple(미국)과 NVIDIA(미국)는 EU 외 공급업체이며, Dell, HP, Lenovo는 현지 지원이 포함된 GB10 기반 시스템을 판매합니다. 모델 측면에서 Mistral Large 2는 EU 개발사의 모델이지만 상업적 사용을 허용하지 않는 연구용 라이선스로 공개됩니다.

일본: Qwen2.5 72B는 일본어 텍스트에 흔히 선택됩니다: `ollama run qwen2.5:72b`. 하드웨어와 모델 버전을 문서화하면(`ollama ps` 출력이 로드된 모델을 식별합니다) 일본의 업무용 AI 가이드라인에 따른 내부 거버넌스에 도움이 됩니다.

중국: 로컬에서 호스팅한 Qwen2.5 72B는 데이터를 자체 인프라에 두므로 중국 데이터안전법(数据安全法)과 관련이 있습니다. 내부에서 서비스하는 모델이 CAC 생성형 AI 규정의 적용을 받는지는 공중에 제공되는지 여부에 달려 있으므로, 자격을 갖춘 법률 전문가와 확인하십시오.