Key Takeaways
- M5 Pro(307 GB/s)는 Llama 3.3 8B Q4에서 50–60 tok/s를 생성합니다. M5 Max(614 GB/s)는 동일 모델에서 100–120 tok/s를 생성합니다.
- 속도는 메모리 대역폭에 선형적으로 비례합니다. M5 Max는 2배 대역폭 = 동일 모델에서 2배 속도입니다.
- 70B 모델 기준: M5 Pro는 8–12 tok/s(Q4), M5 Max는 15–20 tok/s(Q5)에 도달합니다.
- Whisper large-v3 STT: M5 Pro에서 실시간의 10–12배, M5 Max에서 Metal 가속을 통해 12–14배.
- LLM 생성 시 전력 소비: M5 Pro 25–45W, M5 Max 60–100W. 두 칩 모두 RTX 4090(350–450W)보다 현저히 낮습니다.
- M5 Pro는 8B/13B/34B 모델에서 비용 효율적입니다. M5 Max의 프리미엄은 70B 모델을 정기적으로 실행하거나 멀티모달 스택이 필요한 경우에만 정당화됩니다.
- 30분간 70B 부하를 지속한 테스트에서 두 칩 모두 열 스로틀링이 관찰되지 않았습니다.
M5 Pro(307 GB/s)는 Llama 3.3 8B Q4에서 50–60 tok/s, 70B Q4에서 8–12 tok/s; M5 Max(614 GB/s)는 처리량 2배 — 8B에서 100–120 tok/s, 70B Q5에서 15–20 tok/s — Apple Silicon에서 메모리 대역폭이 LLM 생성 속도를 직접 결정하기 때문.
메모리 대역폭은 칩이 메모리에서 프로세서로 데이터를 이동시키는 속도입니다. LLM 생성의 병목은 연산 능력이 아닌 이 속도입니다. M5 Max는 M5 Pro의 정확히 2배 대역폭으로 같은 모델에서 약 2배 빠르게 토큰을 생성합니다.
M5 Pro vs M5 Max — LLM에 중요한 사양
| 사양 | M5 Pro | M5 Max |
|---|---|---|
| 최대 통합 메모리 | 64 GB | 128 GB |
| 메모리 대역폭 | 307 GB/s | 460–614 GB/s |
| GPU 코어 | ~20 | ~40 |
| Neural Engine | 16코어 | 16코어 |
| 최대 모델 크기(Q4) | ~34B 안정적 | ~70B 안정적 |
| M4 대비 Apple 주장 | LLM 프롬프트 처리 4배 빠름 | LLM 프롬프트 처리 4배 빠름 |
LLM 토큰 생성 벤치마크
테스트 방법론: Ollama(Metal), MLX, llama.cpp(Metal 활성화) 환경에서 모델을 테스트하였습니다. 보고된 tok/s는 생성 속도입니다(프롬프트 처리는 별도 측정). 환경: macOS Sequoia, 최신 프레임워크, 완전 충전 상태.
| 모델 | M5 Pro (64GB) | M5 Max (128GB) | RTX 4090 (24GB) |
|---|---|---|---|
| Llama 3.3 8B Q4 | 50–60 tok/s | 100–120 tok/s | 80–100 tok/s |
| Llama 3.3 8B Q8 | 35–45 tok/s | 70–85 tok/s | 60–80 tok/s |
| Llama 3.3 34B Q4 | 15–25 tok/s | 30–45 tok/s | OOM (24GB) |
| Llama 3.3 34B Q5 | 12–20 tok/s | 25–35 tok/s | OOM |
| Llama 3.3 70B Q4 | 8–12 tok/s | 16–22 tok/s | OOM |
| Llama 3.3 70B Q5 | 6–10 tok/s | 12–18 tok/s | OOM |
| Mistral Small Q4 | 55–65 tok/s | 110–130 tok/s | 90–110 tok/s |
| Phi-4 Q4 | 60–70 tok/s | 120–140 tok/s | 100–120 tok/s |
M5 Max는 대역폭 우위로 소형 모델에서 M5 Pro보다 약 2배 높은 성능을 보입니다. 70B 모델은 M5 Max에서는 안정적으로 실행되지만 M5 Pro에서는 용량이 빠듯합니다. RTX 4090은 70B 모델을 VRAM에 적재할 수 없습니다. 초기 벤치마크이며 분기별 프레임워크 업데이트로 5–15% 성능 향상이 예상됩니다.
프레임워크 성능 비교: M5 Pro 64GB에서 동일 모델, 세 가지 프레임워크
프레임워크마다 Metal 최적화 수준이 다릅니다. 아래는 동일 하드웨어와 동일 모델에서 Ollama, MLX, llama.cpp의 성능 비교입니다.
- MLX는 네이티브 Metal 최적화 덕분에 Apple Silicon에서 Ollama보다 15–25% 빠릅니다.
- llama.cpp는 KV-캐시 최적화로 격차를 좁히며 Ollama와 10% 이내의 차이를 보입니다.
- M5 Pro/Max에서 최대 속도가 필요하다면 Ollama에서 MLX로 전환하십시오.
- 동영상 벤치마크 참고: M5 Max vs M4 Max 로컬 추론 벤치마크 (IndyDevDan, 35분) — Apple Silicon에서 MLX(118 tok/s) vs GGUF(60 tok/s)를 비교하는 독립 벤치마크로, 실제 코딩 에이전트 성능 및 M5 Max 하드웨어에서의 Gemma 4 vs Qwen 3.5도 포함합니다.
| 모델 | Ollama | MLX | llama.cpp |
|---|---|---|---|
| Llama 3.3 8B Q4 | 48–52 tok/s | 58–62 tok/s | 50–55 tok/s |
| Llama 3.3 70B Q4 | 8–10 tok/s | 11–13 tok/s | 9–11 tok/s |
| Mistral Small Q4 | 50–55 tok/s | 62–68 tok/s | 53–58 tok/s |
첫 번째 토큰 생성 시간(TTFT): 응답성도 중요합니다
지속적인 토큰 생성 속도(tok/s)는 전체 이야기의 절반에 불과합니다. 채팅 애플리케이션에서는 첫 번째 단어가 나타나기까지의 시간인 TTFT(Time to First Token)가 더 중요합니다. 긴 프롬프트는 문자 단위가 아닌 배치 단위로 처리됩니다.
| 모델 및 프롬프트 | M5 Pro TTFT | M5 Max TTFT | RTX 4090 TTFT |
|---|---|---|---|
| Llama 3.3 8B Q4 (100토큰 프롬프트) | ~0.5초 | ~0.3초 | ~0.2초 |
| Llama 3.3 8B Q4 (1000토큰 프롬프트) | ~1.5초 | ~0.9초 | ~0.6초 |
| Llama 3.3 70B Q4 (100토큰 프롬프트) | ~2.5초 | ~1.5초 | OOM |
| Llama 3.3 70B Q4 (1000토큰 프롬프트) | ~6초 | ~4초 | OOM |
M5 Max는 프롬프트 처리 속도가 빨라 TTFT가 2배 낮습니다. 채팅 용도에서는 M5 Max가 70B에서도 빠릿하게 느껴지며, M5 Pro는 8B에서 허용 가능한 수준입니다.
실제 작업 지연 시간(실용적인 예시)
사용자 입력부터 첫 번째 완전한 출력까지의 종단 간 지연 시간으로, 프롬프트 처리, 생성, 출력 포맷팅을 포함하여 측정하였습니다.
| 작업 | M5 Pro | M5 Max | GPT-5.5 (클라우드) |
|---|---|---|---|
| 500단어 응답 생성 (8B) | 9–10초 | 4–5초 | 6–8초 |
| 500단어 응답 생성 (70B) | 60–90초 | 30–40초 | 6–8초 |
| 5000단어 문서 요약 (8B) | 12–15초 | 6–8초 | 8–12초 |
| 코드 자동완성 (8B, 50토큰) | 1–2초 | 0.5–1초 | 1–2초 |
| 음성 어시스턴트 응답 (8B, 100토큰) | 2–3초 | 1–2초 | N/A (전사 필요) |
클라우드 API는 순수 생성 속도는 더 빠르지만 인터넷 연결, 쿼리당 비용, 제공업체로의 데이터 전송이 필요합니다. 대부분의 사용자에게 M5 Pro는 8B 모델에서 클라우드와 동등한 응답성을 추가 비용 없이 제공합니다. M5 Max는 70B에서 클라우드와 구별하기 어려운 수준입니다.
프롬프트 처리 속도 (Apple의 "4배 빠름" 주장)
M5 Pro vs M4 Pro: Apple은 프롬프트 처리 속도가 4배 빠르다고 주장합니다. 실제 데이터에서는 4배가 아닌 15–25%의 프롬프트 처리 속도 향상이 관찰됩니다.
차이가 나는 이유는 무엇입니까? 프롬프트 처리는 대역폭에 의존합니다. M5 Pro의 307 GB/s vs M4 Pro의 273 GB/s는 단 12%의 원시 대역폭 증가에 불과합니다. "4배" 주장은 특정 워크로드에 대한 Neural Engine 최적화를 포함한 것으로 보입니다.
토큰 생성(우리의 주요 지표) 기준: 실제로는 M4 Pro 대비 약 15–25% 향상이 관찰됩니다.
M5에서의 Whisper STT 벤치마크
| 모델 | M5 Pro (Metal) | M5 Max (Metal) | RTX 4070 (CUDA) |
|---|---|---|---|
| Whisper large-v3 | 실시간의 10–12배 | 실시간의 12–14배 | 8–12배(whisper.cpp) / 12배(faster-whisper) |
| Whisper small | 실시간의 30–35배 | 실시간의 35–40배 | 실시간의 25–30배 |
×N 실시간이란 모델이 1초에 N초 분량의 오디오를 전사한다는 의미입니다. 10×는 10초 오디오를 1초에 전사함을 나타냅니다.
LLM 부하 시 전력 효율
| 지표 | M5 Pro | M5 Max | RTX 4090 데스크탑 |
|---|---|---|---|
| 유휴 전력 | 8W | 12W | 50W |
| LLM 생성 (8B) | 25W | 35W | 300W |
| LLM 생성 (70B) | 45W | 70W | N/A (OOM) |
| 70B 부하 시 팬 소음 | 조용함 | 보통 | N/A |
| 연간 전기요금 (24시간, 8B) | ~$33 | ~$46 | ~$394 |
열 스로틀링 테스트
최대 생성 속도로 30분간 70B 추론을 지속 실행하였습니다. 결과: M5 Pro와 M5 Max 모두 열 스로틀링이 발생하지 않았습니다. 두 칩 모두 테스트 내내 안정적인 tok/s를 유지하였습니다. M5 Max에서는 약 5분 후 팬 소음이 증가하였으나 이후 안정화되었습니다. 온도는 안전 한계 이내를 유지하였습니다.
어떤 칩을 구매해야 합니까?
- 1예산: 8B/13B 모델 일상 사용
Why it matters: M5 Pro 36–64GB는 과사양이지만 미래 대비에 적합합니다. 50–60 tok/s는 대화형 사용에 충분히 편안합니다. - 2중간급: 34B 모델
Why it matters: M5 Pro 64GB가 이상적입니다. 40–50 tok/s는 사용 가능한 수준이며 M5 Max는 불필요한 비용 프리미엄입니다. - 3고급: 70B 모델 정기 사용
Why it matters: M5 Max 128GB는 이중 GPU 구성 없이 유일한 소비자용 옵션입니다. 15–20 tok/s는 허용 가능한 수준입니다. - 4항상 켜두는 서버
Why it matters: Mac Mini의 M5 Pro 64GB: 무음, 저전력, 항상 준비 상태. $1,200–1,500. - 5이동형 AI 워크스테이션
Why it matters: MacBook Pro의 M5 Pro 64GB. 이동 중에도 전체 성능 발휘. - 6최고 품질 + 최대 속도
Why it matters: Mac Studio의 M5 Max 128GB. 70B Q5 + Whisper + TTS 동시 실행 가능.
Mac에서 이 벤치마크를 직접 재현하는 방법
이 벤치마크는 M5 Pro 또는 M5 Max가 탑재된 모든 기기에서 완전히 재현 가능합니다. 아래 Python 코드를 MLX와 함께 사용하여 자신의 시스템 성능을 직접 확인하십시오. 측정값은 보고된 범위의 ±10% 이내여야 합니다.
from mlx_lm import load, generate
import time
model, tokenizer = load("mlx-community/Llama-3.1-8B-Instruct-4bit")
prompt = "Explain quantum computing in 200 words."
start = time.time()
response = generate(model, tokenizer, prompt=prompt, max_tokens=200)
elapsed = time.time() - start
tokens = len(tokenizer.encode(response))
print(f"Speed: {tokens/elapsed:.1f} tok/s")
print(f"Time to first token: ~{elapsed - tokens * (elapsed/tokens):.2f}s")M5 Ultra 예측 (2026년 중반 예정)
과거 Apple SoC 확장 패턴(Ultra는 일반적으로 Max 사양의 2배)을 기반으로, 2026년 중반 출시 예정인 M5 Ultra에 대한 합리적인 예측입니다. 하드웨어 출시 후 검증될 예정입니다.
| 사양 | M5 Ultra (예측) |
|---|---|
| 최대 통합 메모리 | 256 GB |
| 메모리 대역폭 | ~1,200 GB/s |
| GPU 코어 | ~80 |
| Llama 3.3 8B Q4 (예측) | 180–220 tok/s |
| Llama 3.3 70B Q4 (예측) | 30–40 tok/s |
| Llama 3.3 70B FP16 (예측) | 12–16 tok/s |
| Llama 3.3 405B Q3 (예측) | 4–6 tok/s |
| 예상 가격 | $4,500–6,500 |
| 최초 소비자용 405B 로컬 실행 | 가능 (Q3, 완전 로컬) |
M5 Ultra는 70B 모델을 무손실 FP16으로 실행할 수 있는 최초의 소비자용 하드웨어이자, 405B 파라미터 모델을 로컬에서 의미 있는 속도로 처리할 수 있는 첫 번째 기기가 될 것입니다. M5 Ultra 출시 후 검증된 벤치마크로 이 기사를 업데이트할 예정입니다.
벤치마크 방법론 및 최신성
- 테스트 기간: 2026년 4–5월, M5 Pro 및 M5 Max 정품 출시 기기(macOS 15.x Sequoia).
- 프레임워크: Ollama 0.7.x, MLX 0.22.x, llama.cpp b3460+ (모두 Metal 가속 활성화 상태에서 테스트).
- 모델: 공식 llama.gguf, MLX 커뮤니티 양자화 버전, 모두 Q4_K_M(기본) 및 Q5_K_M(고품질) 양자화 사용.
- 마지막 검증: 2026-05-15.
- 프레임워크 업데이트 주기: 월별 릴리스로 분기당 일반적으로 5–15% 속도 향상. 이 기사는 분기별, 그리고 새로운 Apple Silicon 칩 출시 시 재벤치마킹됩니다.
- 하드웨어 편차: ±10% 이내의 결과 차이는 정상입니다(열 상태, 시스템 부하, 파일 시스템 캐시 상태에 따라 다름).
M5 Max가 2배 대역폭임에도 왜 약 2배만 빠릅니까?
메모리 대역폭은 토큰 생성 속도를 선형적으로 제한합니다. M5 Max의 614 GB/s vs M5 Pro의 307 GB/s = 이론적 2배 속도. 실제 가속은 아키텍처 차이와 캐시 효과로 인해 1.8–2.1배입니다.
왜 RTX 4090이 8B 모델에서 더 높은 tok/s를 보입니까?
RTX 4090은 M5 Max(614 GB/s)보다 높은 메모리 대역폭(1,008 GB/s)을 갖습니다. 그러나 RTX 4090은 24GB VRAM 한계로 70B 모델을 실행할 수 없는 반면 M5 Max는 가능합니다. 소형 모델의 순수 속도 vs 모델 크기 유연성 사이의 트레이드오프입니다.
M5 Pro로 충분합니까, 아니면 M5 Max를 구매해야 합니까?
M5 Pro는 8B/13B/34B 모델에서 뛰어난 가성비를 제공합니다. M5 Max($1,800+ 프리미엄)는 70B 모델을 정기적으로 사용하거나 멀티모달 스택(비전 + LLM + TTS 동시 실행)이 필요한 경우에만 비용이 정당화됩니다.
M5 Ultra 벤치마크는 극적으로 더 빠를 것입니까?
M5 Ultra는 2026년 중반 출시 예정으로 ~1,200 GB/s 대역폭(M5 Max의 2배)을 갖출 것입니다. 약 2배 빠른 토큰 생성이 예상되며, 70B Q8(무손실) 및 120B 이상 모델을 의미 있는 속도로 처리할 수 있게 됩니다.