Key Takeaways
- Apple M5 Pro (64GB, ~$2,399): 대부분의 사용자에게 최고의 올라운드. 30B 모델에서 40–60 tok/s, 낮은 전력 소비(추론 시 ~25W), VRAM 상한 없음.
- NVIDIA RTX 5090 (32GB, $2,000): 7B–14B 모델에서 최속인 150–200 tok/s. CPU 오프로딩 없이는 30B 이상 로드 불가. 프로덕션 워크로드에 최적.
- NVIDIA RTX 5070 (12GB, ~$600): 최고 가성비 GPU. 8B 모델에서 60–80 tok/s. 7B–8B 전체 정밀도로 제한.
- Apple M5 Max (64–128GB, ~$3,199+): 460–614 GB/s 대역폭. 30B–70B를 네이티브로 실행. 연구자와 30B+ 헤비 유저에게 최적.
- CPU 단독 (최신 Ryzen/Intel): 빠른 DDR5 RAM으로 7B 모델에서 10–20 tok/s. 가끔 사용에는 적합하지만 실시간 채팅에는 비실용적.
- 결론: 대부분의 사용자에게는 64GB Apple M5 Pro가 승자입니다 — 단일 GPU보다 큰 모델을, GPU 빌드보다 낮은 비용으로, 전력은 10분의 1만 사용합니다. RTX 50 시리즈는 7B–14B 최고 속도나 프로덕션 워크로드가 필요한 경우에만 선택하세요.
로컬 LLM: Apple M5 Pro 64GB(~$2,399)가 30B 모델에서 40–60 tok/s로 종합 최고; RTX 5090 32GB(~$2,000)는 7B–14B 최속(150–200 tok/s)이지만 30B 이상 불가; RTX 5070 12GB(~$600)가 GPU 최고 가성비; CPU 단독: 7B에서 10–20 tok/s.
GPU는 높은 컴퓨팅 대역폭으로 소형 모델(14B 미만)에서 가장 빠릅니다. Apple Silicon은 메모리와 컴퓨팅을 통합해 낮은 전력으로 대형 모델(30B+)에 최적입니다. CPU 단독은 가장 느리지만 어떤 노트북에서도 동작합니다.
성능 비교: 속도, 대역폭, 비용
*CPU 오프로딩 필요 — 상당한 속도 저하 및 낮은 비트 폭에서 품질 저하
Hardware | Qwen3 8B | Qwen3 30B | Power | Cost |
|---|---|---|---|---|
| RTX 5090 (GPU, 32 GB GDDR7) | 150–200 tok/s | 불가능* | ~450W | $2,000 |
| RTX 5080 (GPU, 16 GB GDDR7) | 100–130 tok/s | 불가능* | ~360W | $1,000 |
| RTX 5070 Ti (GPU, 16 GB) | 80–100 tok/s | 불가능* | ~300W | $750 |
| RTX 5070 (GPU, 12 GB) | 60–80 tok/s | 불가능* | ~250W | $600 |
| MacBook Pro M5 Pro (36–64 GB, 307 GB/s) | 40–60 tok/s | 20–30 tok/s | ~25W | $2,399+ |
| MacBook Pro M5 Max (64–128 GB, 460–614 GB/s) | 60–80 tok/s | 35–50 tok/s | ~35W | $3,199+ |
| Mac mini M5 base (16–32 GB, 200 GB/s) | 25–35 tok/s | 오프로드* | ~15W | $599+ |
| Intel Core Ultra 9 / AMD Ryzen 9 (CPU, DDR5) | 10–20 tok/s | 3–5 tok/s | ~65W | 포함 |
GPU를 선택해야 할 때 (RTX 50 시리즈)
7B–14B 모델에서 최고 속도가 필요하거나 24/7 프로덕션 워크로드를 실행할 때 RTX 50 시리즈 NVIDIA GPU를 선택하세요.
- RTX 5090 (32GB GDDR7, 1,792 GB/s): 8B 모델에서 150–200 tok/s. $2,000. 프로덕션 파이프라인, 파인튜닝, 속도가 중요한 애플리케이션에 최적.
- RTX 5080 (16GB GDDR7): 8B에서 100–130 tok/s. $1,000. 8B–13B에서 속도와 비용의 좋은 균형.
- RTX 5070 Ti / 5070 (12–16GB): 8B에서 60–100 tok/s. $600–$750. 단일 사용자 채팅 및 코딩에 최고 가성비.
- CUDA 생태계 장점: vLLM, llama.cpp, LM Studio 모두 네이티브로 최적화되어 있습니다. 네이티브 정밀도에서 가장 빠른 추론.
- 구조적 한계: RTX 50 시리즈 카드는 어느 것도 30B 모델을 전체 품질로 로드하지 못합니다(20GB 이상 VRAM 필요). 시스템 RAM으로의 오프로딩은 5–10배의 속도 패널티를 발생시킵니다.
전력 소비가 핵심 트레이드오프입니다: RTX 5090은 부하 시 450W를 사용하는 반면 M5 Pro는 25W에 불과합니다. $0.35/kWh 기준, 하루 8시간 사용 시 RTX 5090은 월 약 $55의 추가 전기료가 발생합니다.
Apple Silicon을 선택해야 할 때 (M5)
14B–70B 모델을 실행해야 하거나, 에너지 효율을 중시하거나, macOS를 주 운영체제로 사용할 때 Apple Silicon M5를 선택하세요.
- M5 base (16–32GB, 200 GB/s): 7B–8B를 네이티브로 25–35 tok/s에 실행. $599부터(Mac mini). 좋은 입문 옵션.
- M5 Pro (36–64GB, 307 GB/s): 최대 30B를 네이티브로 20–30 tok/s에 실행. ~$2,399(MacBook Pro). 최고의 올라운드 가치.
- M5 Max (64–128GB, 460–614 GB/s): 30B–70B를 네이티브로 35–50 tok/s에 실행. ~$3,199+. 연구자와 70B 헤비 워크로드에 최적.
- 통합 메모리 장점: VRAM 상한 없음. 64GB M5 Pro는 30B 모델을 네이티브로 로드하고, 128GB M5 Max는 70B 모델을 네이티브로 로드합니다.
- Apple 발표: M5 세대는 M4 대비 LLM 추론 속도가 4배 향상.
- MLX 프레임워크: Apple의 MLX는 Apple Silicon에 최적화되어 있습니다. Qwen3 모델은 MLX에서 뛰어나게 동작합니다. DeepSeek-R1 14B도 우수한 성능을 보입니다.
트레이드오프: 7B에서 RTX 5090의 원시 속도에는 미치지 못합니다. 파인튜닝은 더 느립니다. CUDA 전용 도구는 사용할 수 없습니다.
CPU 단독으로 충분한 경우
가끔씩만 응답이 필요하고 소형 모델(7B Q4)을 실행한다면 CPU 단독 추론도 실용적입니다.
- DDR5-5600을 갖춘 최신 Intel Core Ultra 9 / AMD Ryzen 9: Qwen3 8B나 Llama 3.2 8B에서 10–20 tok/s. 비대화형 배치 작업에 사용 가능.
- 구형 CPU / DDR4: 5–8 tok/s. 응답당 눈에 띄는 지연(5–8초)으로 대화형 채팅은 불쾌한 경험이 됩니다.
- 추가 하드웨어 비용 없음: 이미 쓸만한 데스크톱이 있다면 llama.cpp나 Ollama는 바로 동작합니다.
- 전력 소비: 완전 추론 부하 시 CPU는 65–125W를 사용합니다 — GPU보다 적고 Apple Silicon보다는 많습니다.
CPU 추론에 적합한 용도: 배치 문서 요약, 야간 처리, 가끔씩의 질의응답. 실시간 채팅, 코딩 어시스턴트, 8B보다 큰 모델에는 CPU 단독을 피하세요.
메모리 대역폭: 진짜 속도 병목
LLM 추론은 연산이 아닌 메모리에 의해 제한됩니다. 토큰 생성 속도는 메모리에서 모델 가중치를 얼마나 빠르게 로드할 수 있는지에 의해 제한됩니다. 메모리 대역폭이 높을수록 토큰 생성이 빨라집니다.
공식: 추론 속도 ≈ 메모리 대역폭 ÷ 메모리 내 모델 가중치
- RTX 5090의 1,792 GB/s는 2026년 기준 사용 가능한 단일 GPU 중 가장 빠른 대역폭입니다.
- M5 Max의 460–614 GB/s는 RTX 5080의 대역폭에 필적하거나 능가합니다 — VRAM 16GB 대비 통합 메모리 128GB로.
- M5 Pro의 307 GB/s는 최적점입니다: 30B 모델에 충분한 대역폭을, M5 Max의 절반 비용으로 제공합니다.
- CPU DDR5의 89 GB/s는 RTX 5090보다 20배 느리지만 DDR4보다는 4배 빠릅니다 — CPU 추론에서 의미 있는 개선입니다.
- 통합 메모리 장점: CPU↔GPU 전송 오버헤드가 없습니다. M5 Pro는 64GB 풀 내에 30B 모델 전체를 유지합니다.
Platform | Memory Bandwidth | Effective Speed (8B) |
|---|---|---|
| RTX 5090 (GDDR7) | 1,792 GB/s | 150–200 tok/s |
| RTX 5080 (GDDR7) | 960 GB/s | 100–130 tok/s |
| RTX 5070 (GDDR7) | 672 GB/s | 60–80 tok/s |
| M5 Max (통합, 128 GB) | 460–614 GB/s | 60–80 tok/s |
| M5 Pro (통합, 64 GB) | 307 GB/s | 40–60 tok/s |
| M5 base (통합, 32 GB) | 200 GB/s | 25–35 tok/s |
| DDR5-5600 RAM (CPU 전용) | 89 GB/s | 10–20 tok/s |
| DDR4-3200 RAM (CPU 전용) | 51 GB/s | 5–8 tok/s |
tok/s당 비용: 실제 가치 분석
tok/s당 비용은 초기 비용을 지속 가능한 토큰 속도로 나누어 하드웨어 가치를 비교합니다.
순수 속도 기준으로는 RTX 5070이 tok/s당 비용이 가장 좋습니다. M5 Pro는 전력 면에서 우세합니다: $0.15/kWh로 하루 8시간 사용 시 M5 Pro는 월 약 $1.10인 반면 RTX 5090은 약 $16.50입니다.
M5 Pro가 탑재된 Mac을 이미 보유하고 있다면 하드웨어 부분의 tok/s당 비용은 사실상 $0입니다.
Hardware | Initial Cost | Tok/s (8B) | Cost per tok/s | Power (inference) |
|---|---|---|---|---|
| RTX 5090 (32 GB) | $2,000 | 175 | $11.4 | 450W |
| RTX 5070 (12 GB) | $600 | 70 | $8.6 | 250W |
| M5 Pro MacBook Pro (64 GB) | $2,399 | 50 | $48 | 25W |
| M5 Max MacBook Pro (128 GB) | $3,199 | 70 | $46 | 35W |
| CPU (최신 DDR5 데스크톱) | 포함 | 15 | $0 | 65W |
플랫폼 선택 가이드
모델 크기, 예산, 사용 사례에 따른 의사결정 프레임워크:
- RTX 5090 / 5080 선택: 7B–14B 최고 속도, 프로덕션 파이프라인, 파인튜닝, 24/7 서버 워크로드.
- RTX 5070 / 5070 Ti 선택: 7B–13B 단일 사용자 채팅 및 코딩에 최고 가성비 GPU. $600–$750.
- M5 Pro (64GB) 선택: 대부분의 사용자에게 최고의 올라운드. 30B를 네이티브로 실행, 낮은 전력, macOS 워크플로우. ~$2,399.
- M5 Max (128GB) 선택: 연구용, 70B 모델 네이티브 실행, 최고의 Apple Silicon 성능. ~$3,199+.
- CPU 단독: 추가 투자 없음, 가끔 7B 사용, 야간 배치 처리.
하드웨어 선택 시 흔한 실수
- 30B 이상 모델에 GPU를 선택하는 것. RTX 50 시리즈 카드는 어느 것도 30B를 VRAM에 로드할 수 없습니다. RAM으로의 오프로딩은 5–10배의 속도 패널티를 발생시킵니다. 대신 M5 Pro나 M5 Max를 사용하세요.
- M5 base(16GB)로 충분하다고 가정하는 것. 7B만 로드할 수 있습니다. 14B 모델에는 32GB가, 30B에는 64GB(M5 Pro)가 필요합니다.
- 항상 켜져 있는 GPU 서버의 전력 비용을 무시하는 것. RTX 5090을 하루 8시간 사용하면 $0.15/kWh 기준 연간 약 $200의 전기료가 듭니다. M5 Pro는 약 $14입니다.
- 8B 채팅을 위해 RTX 5090을 구매하는 것. $600의 RTX 5070이 8B에서 70 tok/s를 제공합니다 — 30%의 비용으로 80%의 속도.
- CPU가 실시간 채팅에 실용적일 것이라 기대하는 것. 20 tok/s조차 느리게 느껴집니다. DDR4에서의 5–8 tok/s는 대화형 사용에는 무용지물입니다.
자주 묻는 질문
로컬 LLM 실행에 GPU와 CPU 중 어느 것이 더 낫습니까?
실시간 추론에는 NVIDIA GPU가 더 빠릅니다: RTX 5070은 8B 모델을 60–80 tok/s로 실행하는 반면 DDR5를 갖춘 최신 CPU는 10–20 tok/s입니다. Apple M5 Pro도 40–60 tok/s로 CPU를 능가하며 30B 모델을 네이티브로 실행하는 능력을 추가로 제공합니다.
Apple Silicon으로 로컬 LLM을 실행할 수 있습니까?
예. Apple M5 시리즈는 칩 등급에 따라 7B 모델을 25–80 tok/s로 실행합니다. M5 Pro(64GB)는 30B 모델을 네이티브로 20–30 tok/s에 실행합니다 — 어떤 소비자용 GPU도 따라올 수 없는 수준입니다. M5 Max(128GB)는 70B 모델을 네이티브로 35–50 tok/s에 실행합니다.
로컬 LLM에 필요한 최소 GPU VRAM은 얼마입니까?
12GB VRAM(RTX 5070)은 Q4–Q8 양자화로 7B–8B 모델을 원활하게 실행합니다. 16GB(RTX 5080)는 13B 모델을 처리합니다. 단일 소비자용 GPU로 30B를 완전히 로드할 수 있는 것은 없으므로, 이 경우 64GB Apple M5 Pro를 사용하세요.
LLM 추론에서 GPU는 CPU보다 얼마나 빠릅니까?
RTX 5090은 DDR5를 갖춘 최신 CPU보다 8B 모델에서 8–15배 빠릅니다(175 tok/s 대 15 tok/s). 차이는 메모리 대역폭에서 비롯됩니다: 1,792 GB/s(GDDR7) 대 89 GB/s(DDR5). 307 GB/s의 Apple M5 Pro는 그 중간인 40–60 tok/s입니다.
로컬 LLM만을 위해 GPU를 구매할 가치가 있습니까?
RTX 5070($600)을 3년에 걸쳐 상각하면 하루 2시간 이상 사용하는 헤비 유저의 OpenAI API 비용보다 저렴합니다. 70 tok/s로 실시간 채팅과 코딩 지원을 처리합니다. 30B 이상의 모델이 필요하다면 M5 Pro가 초기 비용이 더 높더라도 더 나은 가치를 제공합니다.
메모리 대역폭이란 무엇이며 LLM에서 왜 중요합니까?
LLM 추론은 메모리에 의해 제한됩니다. 토큰 속도 ≈ 메모리 대역폭 ÷ 모델 가중치. RTX 5090: 1,792 GB/s. M5 Max: 460–614 GB/s. M5 Pro: 307 GB/s. CPU DDR5: 89 GB/s. 이것이 통합 메모리를 가진 Apple Silicon이 최상위 GPU보다 원시 대역폭이 낮음에도 대형 모델을 효율적으로 실행할 수 있는 이유입니다.
2026년 로컬 LLM에 가장 적합한 Apple Silicon 칩은 무엇입니까?
M5 Pro(64GB, 307 GB/s)는 대부분의 사용자에게 최고의 올라운드입니다 — 약 $2,399에 30B 모델을 네이티브로 20–30 tok/s에 실행합니다. M5 Max(128GB, 460–614 GB/s)는 70B 모델에 35–50 tok/s를 제공합니다(~$3,199+). 7B를 넘어서는 용도에는 M5 base(16GB)를 피하세요.
Apple Silicon이 30B와 70B 모델을 실행할 수 있습니까?
M5 Pro(64GB)는 30B 모델을 네이티브로 20–30 tok/s에 실행합니다. M5 Max(128GB)는 70B 모델을 네이티브로 35–50 tok/s에 실행합니다. 이는 CPU 오프로딩 없는 실제 처리량 수치이며, 30B 이상에서 이를 따라올 소비자용 GPU는 없습니다.
RTX 5090은 로컬 LLM에 $2,000의 가치가 있습니까?
워크플로우가 최고 속도의 7B–14B 모델을 필요로 하거나 프로덕션 추론 파이프라인을 운영하는 경우에만 가치가 있습니다. 대부분의 사용자에게는 RTX 5070($600)이 30%의 비용으로 80%의 속도를 제공합니다. 30B 이상 모델에는 예산과 무관하게 M5 Pro가 더 나은 선택입니다.
GPU와 Apple Silicon의 전력 소비는 어떻게 비교됩니까?
RTX 5090은 추론 부하 시 약 450W를 사용합니다. M5 Pro는 약 25W를 사용합니다. 하루 8시간, $0.15/kWh 기준으로 연간 $200(RTX 5090) 대 $14(M5 Pro)에 해당합니다. 가정용 사용자와 상업용 전기 요금을 지불하는 사용자에게 M5 Pro의 전력 효율은 상당한 비용 이점입니다.
인텔 MacBook Pro(i9, 16GB RAM)에서 LLM 추론 속도는 어느 정도입니까?
Apple Silicon보다 느리고, 최신 DDR5 데스크톱보다도 느립니다. 인텔 MacBook Pro는 llama.cpp를 위한 통합 메모리 GPU 경로가 없습니다 — 추론은 DDR4를 통해 CPU에서만 실행되며, 최신 DDR5 데스크톱 CPU의 89 GB/s에 비해 듀얼 채널 대역폭이 약 38–45 GB/s에 불과합니다. 위에서 소개한 메모리 대역폭 ÷ 모델 크기 공식을 사용하면, 양자화된 7B 모델(Q4에서 약 4.5 GB)은 이론상 약 8–10 tok/s, CPU 연산 오버헤드를 고려한 실제 속도는 4–7 tok/s 정도입니다. 총 16GB RAM으로는 OS를 위한 여유를 두면 Q4 기준 7B–8B 정도가 한계이며, 심한 스와핑과 큰 속도 저하 없이 13B 이상 모델을 실행하기는 어렵습니다.
pp tok/s와 tg tok/s의 차이는 무엇입니까?
pp tok/s(프롬프트 처리)는 모델이 입력 프롬프트를 얼마나 빨리 처리하는지를 측정하는 지표로, "프리필" 단계에 해당하며 연산 능력에 좌우되고 GPU 같은 병렬 하드웨어에서 잘 확장됩니다. tg tok/s(토큰 생성)는 새로운 출력 토큰을 얼마나 빨리 생성하는지를 측정하는 지표로, "디코드" 단계에 해당하며 위의 대역폭 공식에서 보듯 메모리 대역폭에 좌우됩니다. GPU는 일반적으로 pp/tg 격차가 크게 나타나며(프리필은 빠르지만 생성은 대역폭에 제한됨), Apple Silicon의 통합 메모리는 두 수치를 더 가깝게 유지합니다. 벤치마크를 비교할 때는 항상 어떤 수치를 보고 있는지 확인하세요 — 동일한 하드웨어에서도 pp와 tg는 5~20배 차이가 날 수 있습니다.
출처
- NVIDIA GPU 사양 — RTX 40/50 시리즈 GPU 사양, VRAM, 메모리 대역폭.
- Apple M3 성능 — M5 Max 통합 메모리 아키텍처 및 추론 성능.
- vLLM 벤치마크 — 프로덕션 LLM 추론 처리량 벤치마크.
- 하드웨어마다 다른 토큰 속도를 생성하지만, 모든 추론은 구조화된 프롬프트의 혜택을 받습니다. 긴 컨텍스트 요청은 짧은 요청과 다른 기술이 필요합니다: 컨텍스트 윈도우 설명은 어떤 하드웨어에서든 적용할 수 있는 전략을 다룹니다.