oMLX 리뷰 2026: SSD 캐싱을 지원하는 Apple Silicon 추론 서버

oMLX란 무엇인가?

• 핵심 기능: 오픈 웨이트 모델을 로드하고 로컬 HTTP API를 통해 제공하는 백그라운드 추론 서버로, 메뉴 바 앱이나 omlx CLI를 통해 관리됩니다
• 추론 엔진: oMLX 자체 문서에 따르면 Apple의 MLX 프레임워크와 mlx-lm 라이브러리의 BatchGenerator 위에 구축되었으며, 그 위에 독자적인 연속 배칭 및 페이지 처리 캐시 레이어가 추가되어 있습니다
• 기반: 개발자 본인의 발표에 따르면 oMLX는 원래 vllm-mlx를 출발점으로 구축되었으며, SSD 캐시 계층화, 연속 배칭, 비전-언어 모델 지원, Anthropic 호환 API, 네이티브 macOS 인터페이스에 대한 독자적인 구현이 추가되었습니다
• 개발자: jundot(저장소에 기재된 연락처는 junkim.dot@gmail.com)이라는 독립 유지관리자입니다 — 이 리뷰에서는 oMLX 뒤에 회사나 투자 라운드가 있다는 증거를 찾지 못했습니다
• 공식 저장소: github.com/jundot/omlx — 다른 GitHub 사용자명 아래에 동일한 이름의 여러 포크가 존재하지만(예: mkmsyk/omlx, dannysl/omlx), 이는 원본 프로젝트가 아닙니다

oMLX의 기원과 성장

• 발표: 2026년 3월 4일, github.com/ml-explore/mlx/discussions/3203에서 프로젝트 개발자 본인인 jundot이 게시
• 출발점: vllm-mlx이며, 그 위에 개발자 본인의 SSD 계층화, 연속 배칭, VLM, Anthropic API, 네이티브 UI 코드가 추가되었습니다
• 성장: oMLX 자체 GitHub 저장소에 따르면 2026년 3월 발표 당시 약 110개의 GitHub 스타에서 이 리뷰 작성 시점 기준 약 21,859개의 스타로 증가했습니다
• 라이선스 이력: 저장소의 LICENSE 파일에는 "oMLX contributors"에 대한 2025년 저작권 표기가 있으며, 이는 프로젝트의 2026년 3월 공개 발표보다 앞서는 것으로, 공개 출시 이전의 비공개 개발과 일치합니다

oMLX로 무엇을 할 수 있는가?

• 계층형 키-값 캐시 — 활성 컨텍스트 블록은 핫 RAM 계층에 유지되며, 비활성 블록은 접두사 공유와 copy-on-write를 지원하는 safetensors 형식으로 콜드 SSD 계층으로 이동합니다. 캐시는 폐기되지 않고 서버 재시작 후에도 유지됩니다
• 연속 배칭 — 동시 요청은 mlx-lm의 BatchGenerator를 통해 처리되며, 요청을 하나씩 처리하는 대신 최대 동시성을 설정할 수 있습니다
• 다중 모델 서빙 — LLM, 비전-언어 모델(VLM), 임베딩 모델, 리랭커를 나란히 로드할 수 있으며, LRU 축출, 수동 로드/언로드, 모델 고정, 모델별로 설정 가능한 TTL을 지원합니다
• OpenAI 및 Anthropic 호환 API — OpenAI 형식 클라이언트를 위한 /v1/chat/completions, /v1/completions, /v1/embeddings, /v1/rerank와 Anthropic 형식 클라이언트를 위한 /v1/messages를 모두 http://localhost:8000에서 제공합니다
• 비전-언어 및 OCR 지원 — base64, URL, 파일 입력을 통한 다중 이미지 채팅, 시각적 컨텍스트를 포함한 도구 호출, 전용 OCR 모델의 자동 감지
• 도구 호출 및 MCP — Llama, Qwen, DeepSeek, Gemma, GLM, MiniMax, Mistral 등 다양한 모델 계열에 대한 채팅 템플릿 자동 감지를 포함한 JSON 스키마 도구 호출과 Model Context Protocol(MCP) 설정
• 네이티브 macOS 메뉴 바 앱 — 프로젝트 자체 문서에 따르면 명시적으로 Electron이 아닌 Swift/SwiftUI 앱으로, 터미널 없이 서버를 시작, 중지, 모니터링할 수 있으며, 로컬 사용 분석(모델별 합계, 시간대별 사용 히트맵)과 충돌 시 자동 재시작 기능을 제공합니다
• 관리 대시보드 — 서버가 실행된 후 브라우저에서 접근 가능한 /admin의 웹 UI로, 모델 관리, 내장 채팅 인터페이스, 원클릭 벤치마킹, 모델 다운로더, Claude Code, Cursor, OpenClaw, OpenCode, Codex, Hermes Agent, Copilot, Pi를 포함한 코딩 에이전트 통합에 대한 원클릭 설정을 제공합니다
• 실험적 분산 추론 — Ring 또는 Thunderbolt RDMA 네트워킹을 통해 MLX 파이프라인 랭크 간 다중 Mac 추론을 지원하며, oMLX 자체 문서에서는 이를 실험적 기능으로 표시하고 있습니다

사용 예시: oMLX를 사용하는 세 가지 방법

oMLX 설치: macOS 앱, Homebrew, CLI

oMLX 요금제: 정말 무료인가?

• 구독, 유료 요금제, oMLX 자체가 부과하는 사용량 제한이 전혀 없습니다
• 앱을 설치하거나 실행하는 데 계정이나 가입이 필요하지 않습니다
• 애플리케이션 자체, 메뉴 바 앱, CLI, 관리 대시보드는 모두 동일한 Apache License 2.0 조건에 따릅니다
• oMLX는 MLX를 통해 로컬 모델만 실행하므로 클라우드 제공업체에 대한 토큰당 또는 요청당 비용도 발생하지 않습니다 — 유일한 비용은 이미 보유한 전기와 하드웨어뿐입니다

oMLX vs. mlx-lm

oMLX는 누구에게 적합한가?

oMLX vs. 다른 로컬 추론 도구

• mlx-lm — oMLX 자체가 그 위에 구축된 기반 Python 라이브러리 및 CLI입니다. 완전한 서버 레이어 없이 단일 MLX 모델을 실행하는 가장 단순한 방법을 원한다면 올바른 선택입니다. 위의 전용 비교 섹션을 참고하십시오.
• exo — 여러 Apple Silicon Mac(및 기타 기기)을 클러스터로 묶어 단일 기기로는 수용할 수 없는 더 큰 모델을 실행할 수 있게 해주는 오픈소스 도구입니다. oMLX의 실험적인 단일 클러스터 분산 모드가 사용자의 환경에 충분하지 않다면 관련이 있습니다. exo 리뷰를 참고하십시오.
• LM Studio — Apple Silicon에서 llama.cpp와 함께 MLX도 추론 엔진 중 하나로 사용하는 크로스 플랫폼(macOS, Windows, Linux) 데스크톱 앱입니다. 동일한 도구가 Mac이 아닌 하드웨어에서도 작동해야 한다면 더 적합합니다. LM Studio 리뷰를 참고하십시오.
• llamafile — MLX가 아닌 llama.cpp를 기반으로 한 단일 실행 파일 방식의 로컬 추론 방법으로, macOS, Windows, Linux에서 설치 과정 없이 동일한 파일을 실행할 수 있습니다. Apple Silicon 전용 성능보다 크로스 플랫폼 이식성이 더 중요하다면 유용한 대조군입니다. llamafile 설명 문서를 참고하십시오.

oMLX 평가 시 흔한 실수

자주 묻는 질문

출처

관련 읽을거리

• 로컬 LLM 소프트웨어 디렉터리 2026 — 이 기사가 속한 로컬 AI 도구의 전체 카탈로그로, 위에서 다룬 다른 추론 엔진들과 함께 oMLX의 디렉터리 항목을 포함합니다.
• mlx-lm 설명 — oMLX 자체가 그 위에 구축된 Python 라이브러리와 CLI를 더 깊이 살펴봅니다.
• exo 리뷰 — 여러 Apple Silicon Mac을 클러스터로 묶어 단일 기기로는 수용할 수 없는 더 큰 모델을 실행할 수 있게 해주는 도구입니다.
• LM Studio 리뷰 — Apple Silicon에서도 MLX를 지원하며, 다른 플랫폼에서는 llama.cpp를 지원하는 크로스 플랫폼 데스크톱 앱입니다.
• llamafile 설명 — MLX 대신 llama.cpp를 기반으로 한, 단일 실행 파일 방식의 크로스 플랫폼 대안입니다.