Ollama 모델을 MLX 형식으로 변환하는 방법

1단계: 사전 변환된 MLX 모델이 있는지 확인

무언가를 변환하기 전에 huggingface.co/mlx-community를 방문하십시오. 커뮤니티가 MLX용으로 이미 변환하고 양자화한 모델을 수백 개 관리하고 있습니다. 모델 이름으로 검색하십시오 — 거기에 있다면 변환 없이 명령 하나로 설치할 수 있습니다.

사전 변환된 버전이 있다면 mlx-lm으로 모델을 바로 실행하십시오:

pip install mlx-lm
mlx_lm.generate --model mlx-community/Meta-Llama-3-8B-4bit --prompt "Hello"

2단계: 직접 모델 변환 (사전 변환본이 없는 경우)

원하는 모델이 mlx-community에 없다면, 모델 작성자의 Hugging Face 저장소(mlx-community가 아님)에서 원본 SafeTensors 가중치를 다운로드한 후 변환기를 실행하십시오. -q 플래그는 변환 중 4비트 양자화를 적용합니다:

변환에는 모델 크기에 따라 2~10분이 걸립니다. 결과물은 .safetensors 샤드와 MLX 호환 토크나이저 설정이 담긴 디렉터리입니다.

변환기는 --q-bits(가중치당 비트 수, 예: 8), --q-group-size, --q-mode(기본값은 affine이며 mxfp4, nvfp4, mxfp8도 사용 가능)도 지원합니다. 설치된 mlx-lm 버전의 모든 옵션은 mlx_lm.convert --help로 확인하십시오.

pip install mlx-lm
mlx_lm.convert --hf-path original-org/model-name --mlx-path ./converted-model -q

Ollama의 MLX 백엔드는 변환을 대체하지 않습니다

2026년 3월 30일에 출시된 Ollama 0.19는 Apple Silicon용 MLX 기반 엔진을 추가했습니다. Ollama 공지는 이를 통합 메모리 32 GB 초과 Mac을 위한 프리뷰로 설명하며, Qwen3.5-35B-A3B로 시작되었습니다. Ollama 내부의 추론 속도를 높입니다.

Ollama는 저장된 모델을 mlx-lm용으로 내보내는 방법을 문서화하지 않았습니다. mlx-lm에서 사용할 MLX 모델이 필요하다면 위 단계가 그대로 적용됩니다. mlx-community의 사전 변환 모델을 사용하거나 원본 Hugging Face 가중치를 직접 변환하십시오.

관련 읽을거리

• ▸MLX vs Ollama vs llama.cpp 비교
• ▸Apple Silicon에서 Ollama와 MLX 함께 사용하기
• ▸Ollama vs LM Studio 비교
• ▸Apple Silicon 로컬 LLM 가이드 2026
• ▸CPU 전용 최고의 Ollama 모델 -- best Ollama models CPU-only
• ▸MacBook 로컬 LLM 최고의 eGPU 설정 2026 -- eGPU setup for MacBook