로컬 LLM용 Apple Silicon 2026: M5 Pro vs M5 Max vs Mac Studio 비교

로컬 LLM에 Apple Silicon M5가 중요한 이유

• 통합 메모리 아키텍처: M5 Pro와 M5 Max는 CPU, GPU, Neural Engine이 동시에 접근하는 단일 고속 메모리 풀(24GB–128GB)을 공유합니다. VRAM/RAM 병목이 없고, 모델이 고속 메모리에 머물러 추론 응답성이 유지됩니다.
• 메모리 대역폭이 진짜 병목: LLM 생성은 연산이 아니라 메모리에 좌우되며, 토큰 하나를 생성할 때마다 모델 가중치를 한 번 읽습니다. M5 Max의 460–614GB/s는 소형 모델에서 RTX 4090의 1,008GB/s에 못 미치지만, 24GB 대비 최대 128GB를 담을 수 있어 4090에 들어가지 않는 모델을 실행합니다. M5 Ultra는 최대 1.2TB/s로 4090을 넘어서며 최대 512GB를 담습니다.
• Mac의 'VRAM'은 통합 메모리: 별도의 VRAM 풀은 없습니다. GPU는 macOS와 같은 메모리를 사용하며, 기본적으로 macOS는 GPU가 전체 RAM의 약 3분의 2에서 4분의 3을 고정하도록 허용합니다(비율은 RAM 크기에 따라 다름). 64GB Mac에서는 모델과 컨텍스트에 약 48GB를 예상하세요. 한도는 `sudo sysctl iogpu.wired_limit_mb=<MB>`로 올릴 수 있습니다(재부팅 시 초기화).
• Apple Fusion 아키텍처(M5 신규): M5 Pro와 M5 Max는 CPU와 GPU를 한 패키지 안의 별도 3nm 다이로 분리하여 독립적인 확장과 열 최적화를 가능하게 하고, 모놀리식 칩보다 전력 효율을 높입니다.
• 모든 GPU 코어의 뉴럴 액셀러레이터: 각 GPU 코어에 AI 워크로드용 전용 뉴럴 액셀러레이터가 있어 공유 Neural Engine을 보완합니다. MLX나 Ollama의 MLX 백엔드처럼 이를 활용하는 런타임에서는 M5 계열 칩에서 프롬프트 처리가 더 빨라집니다.
• M4 대비 세대 향상: Apple은 M4 Pro/M4 Max 대비 멀티스레드 CPU 성능이 최대 30% 향상되었다고 밝힙니다. LLM 생성에서 중요한 것은 대역폭입니다. M5 Pro 307GB/s 대 M4 Pro 273GB/s(+12%), 최상위 M5 Max 614GB/s 대 M4 Max 546GB/s(+12%)입니다. 코어별 뉴럴 액셀러레이터 덕분에 프롬프트 처리 향상 폭은 더 큽니다.
• Thunderbolt 5(M5 Pro/Max): M5 Pro와 M5 Max는 기본 80Gbps(Thunderbolt 4의 두 배)의 Thunderbolt 5를 지원하여 고속 외장 스토리지와 다중 디스플레이에 유리합니다.
• Apple N1 칩의 Wi-Fi 7과 Bluetooth 6: M5 시스템에는 Wi-Fi 7과 Bluetooth 6.0을 지원하는 새 N1 무선 칩이 들어 있어 원격 추론 클라이언트나 클라우드 모델 API 사용 시 응답성이 좋아집니다.
• 빠르게 성숙하는 MLX 프레임워크: Apple의 MLX 프레임워크는 최적화된 커널로 Llama 3.3, Qwen, Mistral, Gemma를 지원합니다. Ollama는 2026년 3월부터 Apple Silicon용 MLX 백엔드를 제공하고 있으며(프리뷰), 처음에는 일부 모델로 제한되었습니다.
• 전력 효율은 실제입니다: M5 Max는 지속적인 추론 시 약 65–100W로 추정됩니다(Apple 공식 수치가 아닌 추정치이며, Apple은 Mac Studio 본체의 최대 연속 전력을 480W로 표기합니다). 100W로 한 달(720시간) 연속 추론하면 약 72kWh로, 미국 전기요금 기준 약 $8–12입니다. 350W의 RTX 4090은 같은 기간 약 $40–60입니다.
• 조용한 동작: Mac Studio 팬은 일반적인 LLM 부하에서 거의 들리지 않습니다. MacStories는 일상 사용 중 M5 Ultra Mac Studio의 팬 소리를 들을 수 없었다고 보고했습니다. MacBook Pro 팬은 지속적인 추론 시 들립니다.

Apple Silicon M5 비교표

M5, M5 Pro, M5 Max, M5 Ultra 메모리 대역폭 비교

• M5 Pro vs M5 Max: M5 Max는 M5 Pro의 1.5배(32코어 GPU, 460GB/s) 또는 2배(40코어 GPU, 614GB/s) 대역폭을 가지므로, 같은 모델에서 그만큼 더 빠르게 생성됩니다.
• M5 Max vs M5 Ultra: M5 Ultra는 M5 Max 두 개를 연결하여 40코어 GPU M5 Max의 614GB/s를 약 1.2TB/s로 두 배 늘립니다. 이전 세대 M3 Ultra의 819GB/s보다 50% 높습니다.
• 용량 vs 대역폭: 메모리가 많다고 칩이 빨라지지는 않습니다. 40코어 GPU M5 Max는 64GB든 128GB든 614GB/s로 동일하며, 추가 메모리는 더 큰 모델이나 더 많은 모델을 불러오게 해 줄 뿐입니다.

대역폭이 초당 토큰이 되는 과정

• 표 읽는 법: 값은 이론상 토큰/초 상한입니다. 현실적인 범위는 0.6–0.8을 곱해 구하세요. 614GB/s M5 Max에서 Llama 3.3 70B Q4는 대략 9–12토큰/초입니다.
• 독립 검증: MacStories는 M5 Ultra Mac Studio에서 Qwen3.8 27B 생성 속도를 48토큰/초(6,091토큰 프롬프트)로 측정했으며, RTX 5090(대역폭 1.79TB/s)은 59토큰/초였습니다. 실제 속도는 코어 수가 아니라 대역폭을 따랐습니다.
• 용량 산정 기준: 모델 파일과 KV 캐시는 통합 메모리의 약 3분의 2에서 4분의 3 안에 들어가야 하므로, 70B Q4 모델(약 42.5GB)에는 64GB Mac이 필요하고 Q5와 Q8에는 128GB가 필요합니다.

Mac mini M5 Pro: 로컬 LLM을 위한 새로운 저가 진입점

• CPU: 15코어 또는 18코어 M5 Pro
• GPU: 16코어 또는 20코어 M5 Pro GPU
• 메모리: 기본 24GB, 48GB 또는 64GB LPDDR5X 통합 메모리로 변경 가능
• 메모리 대역폭: 307GB/s(MacBook Pro의 M5 Pro와 동일)
• 저장 장치: 512GB–2TB SSD(변경 가능)
• 포트: Thunderbolt 5(Mac mini 최초)
• 연결: Wi-Fi 7, Bluetooth 6
• 가격: $1,699(15코어 CPU/16코어 GPU, 24GB), $2,699(18코어 CPU/20코어 GPU, 64GB)
• 제공 상태: 2026년 9월 22일부터 출하 중

Mac Studio M5 Max 36GB: 기본 구성

• CPU: 18코어 M5 Max
• GPU: 32코어 M5 Max GPU
• 메모리: 이 GPU 등급에서는 36GB LPDDR5X 통합 메모리
• 메모리 대역폭: 460GB/s(MacBook Pro의 32코어 M5 Max와 동일)
• 저장 장치: 512GB–8TB SSD(변경 가능)
• 포트: Thunderbolt 5
• 전력: 지속 추론 시 약 65–100W 추정, 팬은 거의 돌지 않음
• 가격: $2,499
• 제공 상태: 2026년 9월 22일부터 출하 중

Mac Studio M5 Max 48–128GB: 70B 로컬 LLM 최고 가성비

• CPU: 18코어 M5 Max
• GPU: 40코어 M5 Max GPU
• 메모리: 기본 48GB, 64GB 또는 128GB LPDDR5X 통합 메모리로 변경 가능
• 메모리 대역폭: 614GB/s(MacBook Pro의 40코어 M5 Max와 동일)
• 저장 장치: 512GB–8TB SSD
• 포트: Thunderbolt 5
• 전력: 지속 추론 시 약 65–100W 추정, 다중 모델 고부하 시 팬이 적당히 동작
• 가격: $3,099(48GB), $3,499(64GB), $5,099(128GB)
• 제공 상태: 2026년 9월 22일부터 출하 중

Mac Studio M5 Ultra: 새로운 최고 성능 등급

• CPU: 30코어 M5 Ultra(36코어로 변경 가능)
• GPU: 기본 64코어, 80코어로 변경 가능
• 메모리: 기본 96GB, 현재 256GB까지, 512GB는 2026년 10월 하순
• 메모리 대역폭: 최대 1.2TB/s(1,228.8GB/s, M3 Ultra의 819GB/s보다 50% 높음)
• 저장 장치: 1TB–16TB SSD
• 포트: Thunderbolt 5
• 가격: $5,499(기본 96GB: 30코어 CPU/64코어 GPU), 512GB는 $10,000를 크게 웃돌 전망
• 제공 상태: 2026년 9월 22일부터 출하 중(96–256GB), 2026년 10월 하순(512GB)

MacBook Pro 16인치 M5 Max: 휴대용 로컬 LLM

• CPU: 18코어 M5 Max(슈퍼 6 + 성능 12코어)
• GPU: 32코어 또는 40코어 M5 Max GPU
• 메모리: 64GB 또는 128GB 통합 메모리
• 디스플레이: 16.2인치 Liquid Retina XDR, 3456×2234
• 메모리 대역폭: 460GB/s(64GB, 32코어 GPU) 또는 614GB/s(128GB, 40코어 GPU)
• 저장 장치: 512GB–8TB SSD
• 배터리: 동영상 재생 시간으로 표기되며, 지속 추론 시에는 훨씬 빨리 소모됩니다
• 무게: 2.14kg
• 포트: Thunderbolt 5 ×3, HDMI 2.1, SD 카드 슬롯, 헤드폰 잭
• 가격: $3,499(64GB, 32코어 GPU) ~ $4,499(128GB, 40코어 GPU)

🏆 추천: 로컬 LLM용으로 어떤 Mac을 살까

• 🏆 💰 최저가 M5 PRO: Mac mini M5 Pro($1,699, 출하 중) • 이유: 최초의 M5 Pro Mac mini. MacBook Pro를 포함해 M5 Pro를 얻는 기존 어떤 방법보다 저렴합니다. 24GB 기본은 7B–14B, 64GB로 구성하면 30B를 다룹니다. • 대상: 예산을 중시하는 첫 Apple Silicon 구매자. • Apple Store에서 구매 →
• 🥇 70B 최고 가성비: Mac Studio M5 Max 64GB($3,499, 출하 중) • 이유: 614GB/s 전체 대역폭으로 Llama 3.3 70B Q4를 추정 약 9–12토큰/초로 실행합니다. 데스크톱 냉각 덕분에 열 스로틀링이 없습니다. • 대상: 휴대성이 필요 없고 70B 워크플로로 표준화하려는 개발자. • Apple Store에서 구매 →
• 🔥 최고 성능: Mac Studio M5 Ultra 96GB($5,499, 출하 중) • 이유: 최상위 등급. 최대 1.2TB/s 대역폭으로 M5 Max의 두 배입니다. 512GB 구성은 2026년 10월 하순에 출하되어 가장 큰 로컬 모델을 다룹니다. • 상태: 첫 독립 측정값이 나왔습니다(MacStories: Qwen3.8 27B에서 48토큰/초, RTX 5090은 59). • Apple Store에서 구매 →
• 💼 최고의 휴대용: MacBook Pro 16인치 M5 Max(64GB·460GB/s $3,499, 128GB·614GB/s $4,499) • 이유: Mac Studio와 같은 M5 Max 실리콘을 Liquid Retina XDR 디스플레이 노트북에 담았습니다. 열 스로틀링으로 지속 속도가 10–15% 낮아지는 점은 감수해야 합니다. • 대안: 휴대성이 필요 없다면 같은 가격의 Mac Studio M5 Max 64GB($3,499)가 614GB/s와 더 나은 지속 냉각을 제공합니다. • Apple Store에서 구매 →

로컬 LLM 성능: 대역폭 기반 추정과 M5 Ultra 독립 측정 결과

• ## Llama 3.1 8B(Q4_K_M, 약 4.9GB) • M5 Pro(307GB/s): 38–50토큰/초 • M5 Max(460GB/s): 56–75토큰/초 • M5 Max(614GB/s): 75–100토큰/초 • 참고(RTX 4090): 90–120토큰/초
• ## Mistral Small 24B(Q4_K_M, 약 14GB) • M5 Pro(307GB/s): 13–17토큰/초 • M5 Max(460GB/s): 19–26토큰/초 • M5 Max(614GB/s): 26–34토큰/초
• ## Qwen3 32B(Q4_K_M, 약 20GB) • M5 Pro(307GB/s): 9–12토큰/초 • M5 Max(460GB/s): 14–19토큰/초 • M5 Max(614GB/s): 19–25토큰/초
• ## Llama 3.3 70B(Q4_K_M, 약 42.5GB) • M5 Pro 64GB(307GB/s): 4–6토큰/초 • M5 Max(460GB/s): 6–9토큰/초 • M5 Max(614GB/s): 9–12토큰/초 • M5 Ultra: 상한 약 29토큰/초(70B 독립 측정은 아직 없음) • 참고(RTX 4090): 부분 CPU 오프로드로 6–10토큰/초
• ## Llama 3.3 70B(Q5_K_M, 약 50GB) • M5 Pro 64GB: 여유 부족 • M5 Max 128GB(614GB/s): 7–10토큰/초 • 참고(RTX 4090): 불가능(VRAM 한계)
• ## Llama 3.3 70B(Q8_0, 약 75GB) • M5 Max 128GB(614GB/s): 5–7토큰/초 • RTX 4090: 불가능(멀티 GPU 오프로드 필요)
• ## M5 Ultra 독립 측정 결과(MacStories, 256GB 장비, oMLX) • Qwen3.8 27B, 6,091토큰 프롬프트: M5 Ultra 생성 48토큰/초, 프롬프트 읽기 1,701토큰/초, 첫 토큰까지 4.0초 — RTX 5090은 59토큰/초, 3,031토큰/초, 2.0초 • Qwen3.8 27B 긴 컨텍스트(생성): 64K에서 38.9, 128K에서 32.4, 256K에서 24.3토큰/초 — RTX 5090은 49.6, 40.4, 30.0 • Flash-Next, 짧은 프롬프트: M5 Ultra 108토큰/초, M3 Ultra 70(+54%)
• ## 방법론 M5 Pro와 M5 Max 범위는 대역폭 ÷ 모델 파일 크기의 60–80%로 도출한 뒤, 저희 M5 Pro vs M5 Max 벤치마크 페이지에서 인용한 MLX 대 GGUF 테스트 같은 커뮤니티 결과와 비교했습니다. M5 Ultra 수치는 MacStories가 macOS 27.0에서 oMLX 0.7.0.dev2로 직접 측정한 값이며, 모델 이름도 그쪽 표기입니다. 위에 나열되지 않은 모델의 M5 Ultra 초당 토큰 수치는 검증되지 않은 것으로 취급하세요.

Apple Silicon M5 vs PC 워크스테이션(로컬 LLM)

• ## Mac Studio M5 Max/Ultra가 앞서는 점: • 통합 메모리: 최대 128GB(M5 Max) 또는 512GB(M5 Ultra)를 어떤 모델에도 사용 가능, VRAM 상한 없음 • 전력 효율: 동급 PC의 600W+ 대비 약 100W • 조용한 동작: 일반적인 부하에서 팬 소리가 거의 들리지 않음 • macOS 생태계: MLX, Metal, Core ML 통합 • 총소유비용: 3년간 전기요금이 적음 • 32GB 초과 모델: RTX 5090의 VRAM은 최대 32GB
• ## PC 워크스테이션(RTX 4090/5090)이 앞서는 점: • VRAM에 들어가는 모델의 순수 속도: MacStories는 Qwen3.8 27B에서 RTX 5090 59토큰/초, M5 Ultra 48토큰/초를 측정했고 프롬프트 읽기는 약 1.8배 빠름(3,031 대 1,701토큰/초) • CUDA 생태계의 폭: 더 많은 모델, 도구, 연구 코드 • 파인튜닝: PyTorch + CUDA가 MLX보다 우세 • 업그레이드 유연성: GPU 교체, VRAM 추가 • 저가 등급 가격: 저렴한 RTX 4070 Ti($800–1,200)가 소형 모델에서 M5 Pro를 앞섬 • LLM 이외의 AI: Stable Diffusion, 학습, 멀티모달은 일반적으로 NVIDIA가 더 빠름
• ## 솔직한 결론 30B–70B 모델의 순수 로컬 LLM 추론에서는 Mac Studio M5 Max 128GB($5,099)가 $4,500 이상의 PC 빌드와 직접 경쟁하며, Mac Studio M5 Ultra는 256GB나 512GB가 필요한 모델까지 상한을 끌어올립니다. 통합 메모리의 이점은 실제이며 측정 가능합니다. VRAM 24–32GB에 들어가는 모델에서는 RTX 4090 또는 5090 PC가 어떤 Mac보다 빠릅니다. 모델이 작을수록 Apple의 이점은 줄어듭니다. 파인튜닝, 학습, 대규모 Stable Diffusion, 운영 환경 PyTorch에서는 PC + NVIDIA가 앞섭니다. MLX가 개선되고 있지만 격차는 남아 있습니다.

Apple Silicon의 MLX vs Ollama vs llama.cpp

• ## MLX(Apple 네이티브) • 성능: M5에서 보통 가장 빠른 토큰/초. 네이티브 Metal 최적화와 뉴럴 액셀러레이터 지원. • 모델 지원: 확대 중(Llama, Qwen, Mistral, Gemma 사용 가능) • 설정: Python 중심, 명령줄에 익숙해야 함 • 적합한 사용자: 최대 성능을 원하는 파워 유저 • 단점: Ollama보다 사용하기 불편함
• ## Ollama(크로스 플랫폼) • 성능: GGUF 모델은 llama.cpp의 Metal 백엔드로 실행. MLX 백엔드(Ollama 0.19, 2026년 3월부터 프리뷰)는 일부 모델, 특히 M5 계열 칩에서 가속 • 모델 지원: 가장 큰 모델 라이브러리. 매주 새 모델 추가 • 설정: 명령어 하나로 설치, 바로 동작 • 적합한 사용자: 초보자와 대부분의 개발자. 연동용 REST API • 단점: 모델의 MLX 빌드가 있는 경우 네이티브 MLX보다 느릴 수 있음(차이는 모델과 버전에 따라 다름)
• ## llama.cpp(크로스 플랫폼, 가장 세밀한 제어) • 성능: 최적화하면 Ollama와 대등(Ollama가 GGUF 모델에 사용) • 사용자 지정: 양자화와 추론 파라미터를 가장 세밀하게 제어 • 설정: 컴파일과 명령줄 전문 지식 필요 • 적합한 사용자: 연구자, 맞춤형 양자화 워크플로 • 단점: Ollama보다 학습 곡선이 가파름
• ## 사용자 유형별 추천 • 초보자: Ollama(바로 동작, 문서 풍부) • 개발자: Ollama REST API(애플리케이션에 연동하기 쉬움) • 파워 유저: MLX 직접 사용(최대 성능) • 연구자: llama.cpp(최대 사용자 지정)

macOS 빠른 시작(10단계)

1. 1
   Mac 구매
   Why it matters: 예산/입문은 Mac mini M5 Pro, 데스크톱 성능은 Mac Studio M5 Max 또는 M5 Ultra, 휴대성은 MacBook Pro 16인치 M5 Max.
2. 2
   macOS 초기 설정
   Why it matters: 이전 Mac에서 옮기려면 마이그레이션 어시스턴트를, 아니면 새로 설치합니다. macOS를 최신으로 유지하세요. Apple은 Metal 성능 개선을 포인트 릴리스로 제공합니다.
3. 3
   Homebrew 설치
   Why it matters: /bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)" — 이후 모든 설치에 쓰는 패키지 관리자입니다.
4. 4
   Ollama 설치
   Why it matters: brew install ollama — 명령어 하나로 쉽게 설치합니다.
5. 5
   Ollama 서비스 시작
   Why it matters: ollama serve(포그라운드에서 실행) 또는 응용 프로그램 폴더의 Ollama.app을 사용합니다.
6. 6
   첫 테스트 모델 받기
   Why it matters: ollama pull llama3.1:8b — 작은 모델로 설치를 확인합니다(약 4GB 다운로드).
7. 7
   기본 추론 테스트
   Why it matters: ollama run llama3.1:8b "Explain local LLMs in one sentence" --verbose — eval rate 줄에 초당 토큰 수가 표시됩니다.
8. 8
   목표 대형 모델 받기
   Why it matters: ollama pull llama3.1:70b-instruct-q4_K_M(약 40GB 다운로드). 빠른 회선에서 20–40분이 걸리며 64GB 이상 Mac이 필요합니다.
9. 9
   성능 모니터링
   Why it matters: asitop은 Apple Silicon의 리소스 사용량을 보여 줍니다. 두 번째 터미널에서 brew install asitop && asitop을 실행합니다.
10. 10
    선택 사항: GUI용 LM Studio 설치
    Why it matters: lmstudio.ai에서 다운로드합니다. 개발자가 아니라면 명령줄보다 쉬우며 Apple Silicon용 MLX 엔진을 포함합니다.

Apple Silicon M5에서 Ollama 속도 높이기

• 먼저 모델을 대역폭에 맞추세요. 토큰/초는 대역폭 ÷ 모델 파일 크기 근처에서 상한이 정해집니다(위 대역폭 섹션 참고). 307GB/s M5 Pro에서 42GB 70B 모델은 어떻게 튜닝해도 약 7토큰/초를 넘기지 못하고, 20GB 32B 모델은 약 15에 이릅니다. 더 작은 모델이나 양자화로 바꾸는 것이 가장 큰 속도 향상입니다.
• 모델이 CPU로 폴백하지 않고 GPU에 완전히 오프로드되었는지 확인하세요. 모델이 로드된 상태에서 `ollama ps`를 실행하면 PROCESSOR 열이 100% GPU로 표시되어야 합니다. CPU와 나뉘어 있다면 설정이 빠진 것이 아니라, macOS가 GPU에 허용한 메모리에 모델이 들어가지 않는다는 뜻인 경우가 많습니다.
• 긴 세션 전에 통합 메모리를 확보하세요. 메모리는 macOS와 모델이 공유합니다. 탭이 많은 브라우저, Docker Desktop, 백그라운드의 Xcode가 Ollama에서 수 GB를 빼앗을 수 있습니다. 큰 모델을 로드하기 전에 종료하고 활성 상태 보기나 `asitop`으로 여유 메모리를 확인하세요. 큰 모델에서는 `sudo sysctl iogpu.wired_limit_mb=<MB>`로 GPU 메모리 한도를 올릴 수 있습니다(재부팅 시 초기화).
• 필요 없다면 컨텍스트 윈도우를 줄이세요. 짧은 대화에서는 Modelfile이나 API 요청에서 `num_ctx`를 작게(32K 대신 4096 등) 설정하면 KV 캐시 메모리 부담이 줄고 생성이 빨라집니다.
• flash attention과 양자화된 KV 캐시를 켜세요. `OLLAMA_FLASH_ATTENTION=1`과 `OLLAMA_KV_CACHE_TYPE=q8_0`은 KV 캐시 메모리를 줄이고 약간의 품질 손실로 긴 컨텍스트를 빠르게 합니다.
• 양자화를 실제 품질 요구에 맞추세요. Q4_K_M은 Q8_0이나 Q5_K_M보다 눈에 띄게 빠르고 품질 손실은 작아 대체로 허용 가능합니다(양자화 가이드 참고). 위 벤치마크보다 느리다면 하드웨어를 의심하기 전에 Q4 변형을 받아 보세요.
• 지속 추론에는 MacBook Pro를 전원에 연결하고 받침대로 높이세요. 얇은 섀시에 열이 쌓여 MacBook Pro는 2–3시간 연속 부하 후 10–15% 스로틀링될 수 있습니다. 공기 흐름을 개선하는 스탠드와 AC 전원 사용이 스로틀링을 늦춥니다. 몇 시간을 넘는 세션에서는 Mac Studio의 냉각이 전체 성능을 유지합니다.
• macOS와 Ollama를 업데이트하세요. Apple은 Metal 성능 개선을 포인트 릴리스로 제공하고, Ollama도 더 빠른 백엔드를 정기적으로 내놓으며 MLX 지원 모델도 늘고 있습니다. 새 M5 실리콘에서 오래된 버전을 쓰면 성능을 놓칩니다.
• 필요하지 않다면 여러 모델을 동시에 실행하지 마세요. 로드된 각 모델은 통합 메모리의 일부를 점유합니다. `OLLAMA_MAX_LOADED_MODELS`로 Ollama가 한 번에 상주시키는 모델 수를 제어할 수 있습니다.

# Check whether a model is fully offloaded to GPU (PROCESSOR column)
ollama ps

# Measure real speed: the "eval rate" line is generation tokens/sec
ollama run llama3.1:8b --verbose

# Faster long-context inference: flash attention + 8-bit KV cache
OLLAMA_FLASH_ATTENTION=1 OLLAMA_KV_CACHE_TYPE=q8_0 ollama serve

# Or limit Ollama to one resident model at a time
OLLAMA_MAX_LOADED_MODELS=1 ollama serve

# Smaller context window in a Modelfile: PARAMETER num_ctx 4096

의사결정 매트릭스: 어떤 Mac 구성을 살까

• 1. 예산 우선, 작은 모델(7–14B)로 시험: Mac mini M5 Pro 24GB($1,699) — 역대 최저가 M5 Pro
• 2. 저예산 데스크톱에서 30B 모델 실행: Mac mini M5 Pro 64GB($2,699)
• 3. 70B 모델을 여유 있게 실행: Mac Studio M5 Max 64GB($3,499)
• 4. 32K 이상 컨텍스트의 70B Q5 필요: Mac Studio M5 Max 128GB($5,099)
• 5. 가장 큰 로컬 모델을 위해 256GB–512GB 필요: Mac Studio M5 Ultra($5,499–$10,000+)
• 6. 휴대용 로컬 LLM, 열 스로틀링 감수: MacBook Pro 16인치 M5 Max 64GB($3,499)
• 7. 이미 macOS 생태계 사용(Xcode, Final Cut Pro): 어떤 Mac Studio M5 구성이든 가능
• 8. MLX 실험으로 연구/파인튜닝: Mac Studio M5 Max 128GB 또는 M5 Ultra(메모리 여유)
• 9. 최대한의 정숙함과 유휴 동작: Mac Studio(일반 부하에서 팬이 거의 돌지 않음)
• 10. 예산 $4,000 이상, 휴대성 필요: MacBook Pro 16인치 M5 Max 128GB($4,499)
• 11. 대안 검토: PC RTX 4090($3,000+) 또는 AMD Ryzen AI Max+ 미니 PC($1,600–2,000)

로컬 LLM에 Apple Silicon M5가 맞지 않는 경우

• CUDA 전용 워크플로가 필요한 경우: 대부분의 LLM 추론은 Apple Silicon에서 동작하지만, torch.cuda 기반 파인튜닝, vLLM CUDA 커널, 독점 CUDA 연구 코드는 MLX에서 실행되지 않습니다. 작업 대부분이 CUDA 의존적이라면 RTX GPU를 선택하세요.
• Stable Diffusion을 많이 쓰는 경우: 확산 모델은 일반적으로 M5에서 RTX 4090보다 느립니다. 이미지 생성이 워크플로의 30% 이상이라면 PC + RTX가 유리합니다.
• 예산이 절대 우선인 경우: $1,500짜리 RTX 4070 Ti PC는 소형 모델 추론 속도에서 Mac mini M5 Pro를 앞섭니다. 예산만 중요하다면 PC가 더 저렴합니다.
• 워크스테이션 업그레이드가 필요한 경우: Mac Studio의 RAM과 저장 장치는 구매 시 고정됩니다. PC는 단계적으로 업그레이드할 수 있습니다. 5년 이상 사용한다면 PC가 장기적으로 더 저렴할 수 있습니다.
• 소형 모델에서 세 자릿수 토큰/초를 원하는 경우: RTX 4090은 Llama 8B에서 90–120토큰/초에 도달합니다. M5 Max는 75–100으로 추정됩니다. 여러 사용자를 서비스하는 고처리량 추론에서는 여전히 NVIDIA가 앞섭니다.
• macOS를 이미 쓰고 있지 않은 경우: 로컬 LLM만을 위해 Windows/Linux에서 생태계를 바꾸는 것은, 다른 이유로도 macOS를 원하는 경우가 아니라면 가치가 없습니다.
• 24시간 운영 환경 추론이 필요한 경우: Mac Studio는 훌륭하지만 단발성 사용에 맞춰 설계되었습니다. SLA가 있는 연속 추론에는 엔터프라이즈 NVIDIA 워크스테이션이 더 안전합니다.

자주 묻는 질문

관련 가이드

• M5 Pro vs M5 Max LLM 벤치마크
• 로컬 AI 서버로서의 Mac mini M5
• Apple Silicon M5 Max에서 70B 모델 실행하기
• GPU vs CPU vs Apple Silicon
• 로컬 LLM용 최고의 미니 PC
• 로컬 LLM 하드웨어 가이드 2026
• AMD Ryzen AI Max+ 미니 PC
• 로컬 LLM용 최고의 GPU
• LLM 양자화 설명
• 로컬 LLM 전력 소비
• 최고의 로컬 LLM 2026
• 노트북에서 로컬 LLM