MLX vs Ollama vs llama.cpp: 어떤 추론 엔진을 사용해야 합니까?
빠른 답변
Apple Silicon에서 Ollama는 더 이상 llama.cpp 전용이 아닙니다. 버전 0.19(2026년 3월)에서 MLX 백엔드가 추가되었고, 버전 0.40부터는 MLX 런타임이 지원하는 아키텍처가 자동으로 MLX에서 실행됩니다. 가장 쉬운 설정에는 Ollama, Mac에서 Python으로 직접 제어하려면 mlx-lm, 최대 제어나 Apple 외 하드웨어에는 llama.cpp를 사용하십시오.
- ▸Ollama: 모든 플랫폼, OpenAI 호환 API, Apple Silicon에서 지원 모델용 MLX 러너
- ▸mlx-lm: Apple Silicon 전용, 자체 OpenAI 호환 서버를 갖춘 Python 패키지
- ▸llama.cpp: 모든 하드웨어, 양자화와 샘플링을 가장 세밀하게 제어, 직접 컴파일
핵심 요점
- ✓Ollama는 버전 0.19(미리보기, 2026년 3월 30일)에서 Apple Silicon용 MLX 백엔드를 추가했으며, 릴리스 노트에 따르면 버전 0.40(2026년 9월 25일)부터 MLX 런타임이 지원하는 모델 아키텍처가 자동으로 MLX에서 실행됩니다
- ✓Ollama 자체 벤치마크에서 Qwen3.5-35B-A3B의 디코드 속도는 버전 0.18(Q4_K_M)에서 0.19(MLX 기반 NVFP4)로 58에서 112 tokens/s로 올랐습니다. 양자화 형식이 다르므로 MLX 대 llama.cpp의 일반적인 비율이 아니라 해당 모델에 대한 Ollama의 수치로 읽어야 합니다
- ✓Python 제어가 필요하거나 Ollama의 MLX 러너가 다루지 않는 모델에는 mlx-lm이 직접적인 경로이며, 직접 컴파일한 llama.cpp는 가장 많은 제어를 제공하고 모든 하드웨어에서 동작합니다
엔진별 비교
한 줄 설치와 안정적인 OpenAI 호환 API를 원하면 Ollama를 선택하십시오(모든 플랫폼). Apple Silicon에서 Ollama는 버전 0.19(2026년 3월 30일)에서 MLX 백엔드를 미리보기로 도입했습니다(ollama.com/blog/mlx 발표에 따르면 통합 메모리 32GB 초과 Mac의 Qwen3.5-35B-A3B 대상). 버전 0.40(2026년 9월 25일, v0.40.0)은 MLX 런타임이 지원하는 모든 아키텍처를 자동으로 MLX에서 실행하며, 릴리스 노트에는 qwen3.5, qwen3.6, gemma4가 언급되어 있습니다.
Apple Silicon에서 MLX를 직접 쓰려면 mlx-lm을 선택하십시오. mlx-lm은 Apple의 ml-explore 그룹이 만든 Python 패키지(pip install mlx-lm)로, 자체 OpenAI 호환 서버(mlx_lm.server)를 갖추고 Hugging Face의 mlx-community 조직에서 모델을 불러옵니다. 단점: Apple Silicon에서만 동작하며 Python 환경과 서버 프로세스를 직접 관리해야 합니다.
최대 제어가 필요하면 llama.cpp를 직접 사용하십시오: 사용자 지정 양자화, 특정 샘플링 매개변수, C/C++ 애플리케이션에 내장하는 추론 등. 설정 비용은 Ollama보다 높지만 새 기능은 래퍼보다 먼저 llama.cpp에 들어옵니다. Mac에서는 MLX가 아닌 Metal을 사용합니다.
LM Studio와 oMLX도 Mac의 다른 선택지입니다. LM Studio는 모델별로 MLX 엔진 또는 llama.cpp를 선택해 실행하는 GUI 앱입니다. oMLX는 Apple Silicon용 오픈소스 MLX 기반 추론 서버입니다. oMLX 리뷰를 참고하십시오.
| 엔진 | 적합한 용도 | Mac 백엔드 | 설정 | 확인한 버전 |
|---|---|---|---|---|
| Ollama | 모든 플랫폼, 쉬운 API | MLX(지원 모델) / llama.cpp | 쉬움(설치 1회) | v0.40.6(2026년 10월 16일) |
| mlx-lm | Apple Silicon, Python 제어 | MLX 네이티브 | 보통(pip install) | v0.32.2(2026년 10월 16일) |
| llama.cpp | 최대 제어, 모든 하드웨어 | llama.cpp + Metal | 보통(brew 또는 빌드) | b11714(2026년 10월 17일) |
| LM Studio | GUI, 모델별 MLX/llama.cpp | MLX 엔진 / llama.cpp | 쉬움(설치 프로그램) | MLX 엔진 v1.8.5(2026년 6월 5일) |
하드웨어별 최선의 선택
Apple Silicon Mac이라면 Ollama로 시작하고, 더 많은 제어가 필요할 때 mlx-lm으로 옮기십시오. Ollama를 설치하고 라이브러리에서 모델을 받으면, 아키텍처가 MLX 런타임의 지원 대상일 경우 자동으로 MLX에서 실행됩니다. Python 스크립트가 필요하거나 Ollama가 MLX로 실행하지 않는 모델이라면 mlx-lm(pip install mlx-lm, 모델은 mlx-community)을 선택하십시오. mlx-lm에서 OpenAI 호환 API를 쓰려면 mlx_lm.server --model mlx-community/model-name을 실행하십시오.
NVIDIA GPU나 다른 하드웨어라면 Ollama를 사용하십시오. 명령 한 줄로 설치되고 모델은 자동으로 내려받으며, 포트 11434에서 OpenAI 호환 API를 제공합니다. Ollama 계층 없이 고급 제어가 필요하면 llama.cpp를 직접 컴파일해 내장 서버 모드를 사용하십시오.
PromptQuorum은 이 엔진들을 직접 맞붙여 측정하지 않았습니다. 속도는 칩, 모델, 양자화, 컨텍스트 길이에 따라 달라지므로 결정하기 전에 직접 사용하는 모델로 테스트하십시오.
관련 자료
MLX, Ollama, llama.cpp에 대한 빠른 답변
Ollama는 Mac에서 MLX를 사용합니까?▾
MLX가 Ollama보다 빠릅니까?▾
llama.cpp가 Ollama보다 빠릅니까?▾
Apple Silicon에서 양자화 모델로 MLX 서버를 실행하려면 어떻게 합니까?▾
pip install mlx-lm으로 mlx-lm을 설치한 뒤 mlx_lm.server --model mlx-community/model-name을 실행하면 OpenAI 호환 엔드포인트를 얻습니다. mlx-community 조직의 사전 양자화 모델(4비트 변형이 흔함)을 고르거나 mlx_lm.convert --hf-path model-id -q로 직접 양자화할 수 있습니다. Ollama 모델을 MLX로 변환하는 방법을 참고하십시오.Mac에서 Ollama 대신 LM Studio를 써야 합니까?▾
oMLX(omlx 또는 olmx로도 표기)란 무엇입니까?▾
Windows나 Linux에서 MLX를 사용할 수 있습니까?▾
전체 설명이 필요하십니까?
전체 가이드 읽기 →