oMLX是什么？
oMLX是一款面向Apple Silicon Mac的本地推理服务器，将Apple的MLX机器学习框架转变为一套完整的服务栈——包括兼容OpenAI/Anthropic的API、多模型管理器、分页SSD缓存，以及用于统一控制的原生macOS菜单栏应用，日常使用无需终端。其GitHub自述将其定位为"一款针对Apple Silicon Mac优化的LLM推理服务器，具备连续批处理、分层KV缓存以及原生macOS菜单栏管理界面"。
- 核心功能：一个后台推理服务器，加载开放权重模型并通过本地HTTP API提供服务，可通过菜单栏应用或
omlxCLI进行管理 - 推理引擎：根据oMLX自身文档，构建在Apple的MLX框架和mlx-lm库的
BatchGenerator之上，并在此基础上添加了原创的连续批处理与分页缓存层 - 基础：根据开发者本人的公告，oMLX最初以vllm-mlx为起点构建，并加入了原创实现，包括SSD缓存分层、连续批处理、视觉语言模型支持、兼容Anthropic的API以及原生macOS界面
- 开发者：jundot(仓库中列出的联系方式为junkim.dot@gmail.com)，一位独立维护者——本评测未发现oMLX背后有公司或融资轮次的证据
- 正式仓库：github.com/jundot/omlx——其他GitHub用户名下存在多个同名分支(例如mkmsyk/omlx、dannysl/omlx)，它们并非原始项目
oMLX的起源与成长
oMLX由开发者jundot于2026年3月在Apple MLX自己的GitHub讨论区上首次公开发布。该公告将oMLX定位为解决一个具体问题的方案：在Apple Silicon上，重复使用长上下文的编程代理在每次请求时都可能遇到几十秒级别的重新加载延迟，因为当时基于MLX的服务器通常只将键值缓存状态保存在RAM中，一旦服务器重启或上下文过期就会丢失。oMLX的分页SSD缓存则将该状态持久化到磁盘，这样之前处理过的前缀就可以从SSD恢复，而不必由模型重新计算。根据开发者本人的公告，oMLX在发布时已积累约110颗GitHub星标，以vllm-mlx为起点构建，并新增了SSD分层、连续批处理、视觉语言模型支持、兼容Anthropic的API以及原生macOS界面的代码。截至本评测发布之日，oMLX的GitHub仓库显示超过23,000颗星——对于撰写本文时诞生不到八个月的项目来说，这是快速的增长。
- 公告：2026年3月4日，发布于github.com/ml-explore/mlx/discussions/3203，由项目开发者jundot本人发布
- 起点：vllm-mlx，在此基础上加入了开发者自己编写的SSD分层、连续批处理、VLM、Anthropic API和原生UI代码
- 增长：根据oMLX自己的GitHub仓库，从2026年3月公告时的约110颗GitHub星标增长到本评测撰写时的超过23,000颗星
- 许可历史：仓库的LICENSE文件带有"oMLX contributors"2025年的版权声明，早于项目2026年3月的公开公告——这与项目在公开发布前进行私下开发的情况相符
oMLX能做什么？
- 分层键值缓存 — 活跃的上下文块保留在热RAM层;不活跃的块以safetensors格式移动到冷SSD层，支持前缀共享和写时复制，缓存在服务器重启后依然保留，而不会被丢弃
- 连续批处理 — 并发请求通过mlx-lm的
BatchGenerator处理，可配置最大并发数，而不是逐一处理请求 - 多模型服务 — 并行加载LLM、视觉语言模型(VLM)、嵌入模型和重排序模型，支持LRU淘汰、手动加载/卸载、模型固定以及可为每个模型配置的存活时间
- 兼容OpenAI和Anthropic的API — 为OpenAI格式客户端提供
/v1/chat/completions、/v1/completions、/v1/embeddings和/v1/rerank，为Anthropic格式客户端提供/v1/messages，全部通过http://localhost:8000提供服务 - 视觉语言与OCR支持 — 支持base64、URL或文件输入的多图聊天、带视觉上下文的工具调用，以及专用OCR模型的自动检测
- 工具调用与MCP — 支持JSON模式的工具调用，可自动检测Llama、Qwen、DeepSeek、Gemma、GLM、MiniMax、Mistral等模型系列的聊天模板，并支持Model Context Protocol(MCP)配置
- 原生macOS菜单栏应用 — 根据项目自身文档，这是一款Swift/SwiftUI应用(明确不是Electron)，可在无需终端的情况下启动、停止和监控服务器，并附带本地使用分析(按模型统计、每小时使用热力图)以及崩溃后自动重启
- 管理仪表盘 — 服务器运行后，可通过浏览器访问
/admin处的Web界面，用于模型管理、内置聊天界面、一键基准测试、可按MLX或GGUF格式筛选Hugging Face的模型下载器，以及针对OpenClaw、OpenCode、Codex、Hermes Agent、Copilot、Pi、Mistral Vibe和DeepSeek Harness等编程代理集成的一键配置 - GGUF和NVFP4模型的外部引擎 — 每个模型的单独设置，可通过独立的Splash Metal引擎在单独进程中运行部分Qwen检查点(包括GGUF文件);支持的模型列于README，并需要Splash 1.4.0或更高版本
- 实验性分布式推理 — 将一个已下载的语言模型拆分到内存大小不一的多台Mac上，通过Ring或Thunderbolt RDMA/JACCL上的MLX管道等级运行；仅限源码构建，并在oMLX的README中标注为实验性（参见下方分布式推理章节）
oMLX分布式推理与集群
oMLX的分布式推理是一项仅限源码构建的实验性功能，可将一个模型拆分到多台Mac上运行，包括内存大小不一的Mac。 根据oMLX README，它使用Ring或Thunderbolt RDMA/JACCL网络上的MLX管道等级，不包含在标准macOS应用或Homebrew安装中。
- 状态：README称其为“Experimental Multi-Mac Inference”；设置方法、安全边界、当前限制以及真实硬件验证清单见单独文档distributed-cluster.md
- 可用性：仅限源码构建——上表中的macOS .dmg应用和Homebrew安装均不包含此功能
- 集群仪表盘：据README，提供只读的节点发现，并对SSH和运行时进行严格校验
- 配置档：据README，提供Interactive、Balanced和Throughput配置档，带有合并批处理和提示缓存亲和性
- 网络：Mac之间使用Ring，或Thunderbolt RDMA/JACCL
使用示例：oMLX的三种用法
以下是基于上文所述oMLX功能构建的具体工作流程，而非假设性用例。
运行菜单栏应用并将Claude Code指向它
安装macOS应用，从菜单栏启动它，并启动服务器。oMLX在http://localhost:8000提供兼容Anthropic的/v1/messages端点，因此将Claude Code指向该地址后，它就可以使用你在oMLX中加载的本地模型，而不是云端API。README记录了针对Claude Code的专门处理：oMLX会上报模型真实的上下文窗口以便自动压缩(auto-compact)正常工作，SSE保活则可防止长时间预填充(prefill)期间的读取超时。http://localhost:8000/admin处的仪表盘为OpenCode或Codex等其他代理提供一键配置。
直接启动CLI服务器并复用现有的OpenAI客户端集成
在终端中运行omlx serve --model-dir ~/models(或使用omlx start使其在后台运行)。一旦服务器在http://localhost:8000上监听，就可以将任何现有的OpenAI客户端代码或工具指向该地址，而不是api.openai.com，使用/v1/chat/completions——这与其他本地兼容OpenAI服务器所使用的模式相同——从而复用你已有的代码，而不必为新的API形态重写。
在整个工作会话中保持长编程代理上下文的快速响应
运行omlx serve时将--paged-ssd-cache-dir指向一个高速本地驱动器，并根据你Mac的RAM大小设置--hot-cache-max-size。在你进行长时间、反复访问同一个大型上下文的代理式编程会话时，原本会从RAM中被淘汰的已处理数据块，会转而从SSD层恢复——根据oMLX自身文档，这使长上下文的重新加载等待时间从数十秒缩短到几秒。
安装oMLX：macOS应用、Homebrew与CLI
oMLX可以通过macOS应用、Homebrew或源代码安装——没有Windows或Linux版本，因为它依赖于Apple的MLX框架，该框架只面向Apple Silicon。这三种方式都会安装同一个底层的omlx命令行工具。以下链接来自官方GitHub自述——请始终直接对照该页面进行核实，因为安装说明可能在不同版本之间发生变化。
macOS应用(.dmg)
- 命令/链接:
- 从GitHub Releases下载(macOS 15 Sequoia和macOS 26/27各有一个.dmg)，拖入Applications。支持自动更新，并会在
~/.omlx/bin/omlx安装一个CLI垫片。
Homebrew
- 命令/链接:
brew tap jundot/omlx https://github.com/jundot/omlx，然后brew install jundot/omlx/omlx(添加--with-custom-kernel可构建原生内核;需要完整版Xcode)，然后omlx start
从源代码构建
- 命令/链接:
git clone https://github.com/jundot/omlx.git，然后cd omlx，然后make install
直接运行服务器
- 命令/链接:
omlx serve --model-dir ~/models(前台)或omlx start/omlx stop/omlx restart(后台)
根据官方README，系统要求为：macOS 15.0(Sequoia)或更高版本、Apple Silicon(M1至M5)以及Python 3.11–3.13。没有Intel Mac、Windows或Linux版本。根据README，GLM-5.2、MiniMax M3和Qwen3.5需要原生自定义内核，否则会退回到慢得多的通用路径；.dmg已预编译这些内核，而make install和Homebrew的--with-custom-kernel会自行构建，需要带Metal工具链的完整版Xcode。服务器配置标志——--memory-guard {safe|balanced|aggressive}、--memory-guard-gb、--paged-ssd-cache-dir、--hot-cache-max-size、--max-concurrent-requests、--mcp-config、--hf-endpoint、--api-key和--host——一旦设置就会持久化到~/.omlx/settings.json，并可在每次运行时通过CLI标志覆盖。
oMLX定价：oMLX真的免费吗？
是的——oMLX没有付费层级。无论是GitHub仓库还是omlx.ai都没有定价页面，LICENSE文件是未经修改的标准Apache License 2.0，带有"oMLX contributors"2025年的版权声明——它适用于整个应用程序，没有任何条款将某项功能锁定在付费之后。
- 没有订阅、没有付费层级、oMLX自身也不施加任何使用限制
- 安装或运行该应用无需账户或注册
- 应用程序本身、菜单栏应用、CLI和管理仪表盘均受同一套Apache License 2.0条款约束
- 由于oMLX只通过MLX运行本地模型，因此也不存在向云服务商支付的按token或按请求计费的成本——唯一的成本是你本就拥有的电费和硬件
oMLX vs. mlx-lm与MLX
MLX是Apple的机器学习框架；oMLX是构建在其上的服务器产品，而不是竞争性框架——因此“oMLX vs MLX”是层级之别，而非替代关系。 mlx-lm是Apple MLX生态系统为运行和提供模型服务而提供的Python库和简单CLI——oMLX正是直接构建在它之上，利用其BatchGenerator实现连续批处理。两者其实并非真正的竞争关系，而更像是不同的层次：mlx-lm是基础，oMLX是构建在这一基础之上的完整服务产品。
方面 | oMLX | |
|---|---|---|
| 层级 | 构建于MLX和mlx-lm之上的服务器产品 | MLX框架之上的Python库 |
| 定位 | 打包好的推理服务器：菜单栏应用+CLI+管理仪表盘 | 用于运行/提供MLX模型服务的Python库和轻量CLI |
| KV缓存 | 分层RAM+SSD分页缓存，重启后依然保留 | 根据其自身文档记录的服务器，仅有内存中缓存;没有SSD分层 |
| 多模型管理 | LRU淘汰、固定、按模型TTL、从界面加载/卸载 | 不是内置功能——需脚本化或手动管理 |
| API兼容性 | 兼容OpenAI和兼容Anthropic的端点 | 兼容OpenAI的服务器模式(mlx_lm.server) |
| 界面 | 原生macOS菜单栏应用加Web管理仪表盘 | 仅命令行，没有图形界面 |
| 编程代理集成 | 为OpenClaw、OpenCode、Codex等提供一键配置 | 没有相关文档记录的功能;需要手动配置端点 |
如果你想要从脚本或简单的服务器命令运行单个MLX模型的最简单方式，单独使用mlx-lm或许就已足够。如果你想要一个带菜单栏界面的持久化多模型服务器、为长代理上下文提供SSD支持的缓存，以及一键式的编程代理集成，oMLX正是专为在mlx-lm之上添加这一层而设计的，而不是取代它。
oMLX vs. mlx-serve
oMLX和mlx-serve都是面向Apple Silicon的免费开源本地推理服务器，均提供兼容OpenAI和Anthropic的API；主要区别在于运行时（Python/MLX还是单个Zig二进制文件）和模型格式（仅MLX，还是MLX加GGUF）。 两者是不同开发者的独立项目，彼此并非构建于对方之上。
方面 | oMLX | |
|---|---|---|
| 语言/运行时 | 基于MLX/mlx-lm的Python，Swift菜单栏应用 | 单个Zig二进制（约7 MB），无需Python |
| 模型格式 | MLX模型（LLM、VLM、嵌入、重排序） | MLX加内置llama.cpp用于GGUF |
| API | 兼容OpenAI和Anthropic | 兼容OpenAI、Anthropic和Ollama |
| 配套应用 | 菜单栏应用+Web管理仪表盘 | MLX Core菜单栏应用（聊天、智能体、媒体） |
| 许可证 | Apache License 2.0 | MIT（含Apache-2.0捆绑组件） |
| macOS要求 | macOS 15.0或更高 | macOS 26.2或更高 |
如果你优先考虑反复使用的长编程智能体上下文，以及重启后仍保留的分层SSD KV缓存，请选oMLX；如果你想要不依赖Python的小型二进制文件，或在MLX之外支持GGUF，请选mlx-serve。mlx-serve的细节来自mlx-serve评测；本评测没有对两者做基准对比——请在各项目的代码仓库中核实最新功能。
谁适合使用oMLX？
oMLX是否适合你，几乎完全取决于一件最基本的事：你是否在使用Apple Silicon Mac，因为这个要求没有变通办法。
在以下情况下使用oMLX
- 你正在运行macOS 15.0或更高版本的Apple Silicon Mac(M1至M5)——这是硬性要求，而非建议
- 你想要一个带菜单栏应用的持久本地推理服务器，而不是需要手动重启的脚本
- 你使用Claude Code、OpenClaw、OpenCode等编程代理，处理长且反复访问的上下文，并希望降低这一特定工作流程的重新加载延迟
- 你希望从单一本地服务器同时获得兼容OpenAI和兼容Anthropic的端点，而不是运行两个独立的工具
- 你希望在一个进程中通过自动内存管理来提供多个模型服务——LLM、VLM、嵌入模型、重排序模型
在以下情况下应观望或另寻他选
- 你使用的是Windows或Linux机器，或是Intel Mac——oMLX没有针对这些平台的构建版本，因为它依赖于仅面向Apple Silicon的Apple MLX框架;跨平台替代方案请参见本地LLM软件目录
- 你想要一个有公司和SLA支撑的官方支持、有资金支持的产品——本评测未发现oMLX背后有公司或融资的证据;根据项目自己的GitHub仓库，它由一位具名的独立开发者维护
- 你想要运行单个MLX模型的绝对最简单、最精简的方式——不带oMLX服务器层的mlx-lm单独使用可能更合适
- 你需要经过长期验证、有丰富历史记录的项目用于生产部署——oMLX于2026年3月才首次公开发布，与更成熟的推理服务器相比，其公开历史仍然较短
oMLX vs. 其他本地推理工具
oMLX处于本地推理领域中Apple Silicon/MLX的这一角落。以下是它与同一细分领域其他工具的对比——完整目录请见本地LLM软件目录，最直接的对比则见上文专门的oMLX与mlx-lm比较。
- mlx-lm — oMLX自身构建于其之上的底层Python库和CLI;如果你想在不使用完整服务器层的情况下，以最简单的方式运行单个MLX模型，这是正确的选择。请参见上文专门的对比部分。
- mlx-serve — 面向Apple Silicon的另一个免费开源Zig推理服务器，提供兼容OpenAI、Anthropic和Ollama的API，并通过llama.cpp支持GGUF；参见上方的oMLX vs. mlx-serve对比。
- exo — 一款开源工具，可将多台Apple Silicon Mac(及其他设备)组成集群，以运行单台机器无法容纳的更大模型;如果oMLX实验性的单集群分布式模式不足以满足你的配置需求，这会很相关。请参见exo评测。
- LM Studio — 一款跨平台(macOS、Windows、Linux)桌面应用，在Apple Silicon上也将MLX作为其推理引擎之一，与llama.cpp并存;如果你需要同一个工具也能在非Mac硬件上运行，它更合适。请参见LM Studio评测。
- llamafile — 一种基于llama.cpp而非MLX的单文件可执行本地推理方案，可在macOS、Windows和Linux上运行同一个文件而无需安装步骤;如果跨平台可移植性对你来说比Apple Silicon专属性能更重要，这是一个有用的对照。请参见llamafile详解一文。
评估oMLX时的常见误区
围绕oMLX的大多数困惑，源于假设它像跨平台工具一样运作、与同名分支混淆，或期望它支持Intel Mac。
误区1：假设oMLX可在Windows或Linux上运行
oMLX仅支持macOS，而且专门仅支持Apple Silicon，因为它构建在Apple的MLX框架之上，而该框架根本不面向Windows或Linux。截至本评测时，项目仓库中没有记录针对这两个平台的路线图项目或测试版本——如果你需要跨平台工具，请改用LM Studio或llamafile。
误区2：将github.com/jundot/omlx与同名分支混淆
在其他用户名下存在多个名称完全相同的"omlx"GitHub仓库(例如mkmsyk/omlx、dannysl/omlx)。经开发者本人在Apple MLX的GitHub讨论区上发布公告确认，原始且持续积极开发的项目是github.com/jundot/omlx。在安装或引用星标数量之前，请务必确认你查看的是这一特定仓库。
误区3：假设支持基于Intel的Mac
oMLX的系统要求明确列出了Apple Silicon(M1至M5);本评测在官方文档中未发现任何关于Intel Mac支持的提及。oMLX所构建的基础框架MLX本身并不面向Intel Mac，因此这不太可能是未来oMLX更新会添加的内容。
误区4：期望oMLX是聊天客户端而非服务器
oMLX的管理仪表盘确实包含一个内置聊天界面用于测试，但其主要目的是通过API为其他应用程序(如Claude Code、OpenCode或你自己编写的脚本)提供模型服务——就类别而言，它更接近本地推理服务器，而不是像Jan或GPT4All那样功能齐全的独立聊天应用。
常见问题
oMLX是什么？
oMLX(github.com/jundot/omlx)是一款面向Apple Silicon Mac的免费开源本地推理服务器。它通过Apple的MLX框架运行模型，以原生macOS菜单栏应用加omlx命令行工具和后台服务器的形式发布，并提供兼容OpenAI和Anthropic的API端点。
oMLX能在Windows或Linux上运行吗？
不能。oMLX仅支持macOS，且专门需要Apple Silicon(M1至M5)以及macOS 15.0(Sequoia)或更高版本，因为它依赖于不面向Windows、Linux或Intel Mac的Apple MLX框架。
oMLX能在Intel Mac上运行吗？
不能。oMLX记录的系统要求只指定了Apple Silicon。它所构建的基础框架MLX不支持基于Intel的Mac。
oMLX与mlx-lm有什么不同？
mlx-lm是Apple MLX生态系统为运行模型而提供的底层Python库和轻量CLI;oMLX构建在mlx-lm的BatchGenerator之上，并新增了持久化服务器、菜单栏应用、分层SSD支持缓存、多模型管理以及兼容OpenAI/Anthropic的端点。详见上文的完整对比。
oMLX中的分页SSD缓存有什么用？
它会将不活跃的键值缓存块以safetensors格式从RAM卸载到你Mac的SSD，而不是丢弃它们。当长时间运行的编程代理再次访问一个大型上下文时，oMLX可以从SSD恢复之前处理过的数据块，而不必由模型重新计算——根据其自身文档，这将长上下文的重新加载等待时间从数十秒缩短到几秒。
我可以将oMLX与Claude Code或其他编程代理一起使用吗？
可以。oMLX的API兼容OpenAI和Anthropic两种请求格式，README记录了针对Claude Code的专门处理(上报真实的上下文窗口和SSE保活)，其管理仪表盘还为OpenClaw、OpenCode、Codex等提供一键集成配置。
oMLX是开源的吗？它使用什么许可证？
是的。oMLX的LICENSE文件是未经修改的标准Apache License 2.0，带有"oMLX contributors"2025年的版权声明。
如何通过Homebrew安装oMLX？
先运行brew tap jundot/omlx https://github.com/jundot/omlx，再运行brew install jundot/omlx/omlx，最后运行omlx start。oMLX README还列出了macOS .dmg应用和源码安装方式；安装步骤可能随版本变化，请以该页面的命令为准。
oMLX支持跨多台Mac的分布式推理吗？
以实验性方式支持。oMLX README介绍了源码构建，可通过Ring或Thunderbolt RDMA/JACCL上的MLX管道等级，把一个已下载的模型拆分到内存大小不一的Mac上。该功能不在标准应用或Homebrew安装中，项目在单独的文档中说明了其限制。
oMLX的最新版本是什么？
v0.7.2，发布于2026年10月21日。在稳定版之前，同一Releases页面会先发布开发版和候选版本；引用版本前，请到github.com/jundot/omlx/releases查看是否有更新的版本。
oMLX和MLX有什么区别？
MLX是Apple面向Apple Silicon的开源机器学习框架。oMLX是构建在MLX和mlx-lm库之上的本地推理服务器，增加了菜单栏应用、多模型管理、分页SSD缓存以及兼容OpenAI/Anthropic的API。
oMLX和mlx-serve该用哪个？
两者都是面向Apple Silicon的免费开源推理服务器。oMLX基于Python，带有面向长编程智能体上下文的分层SSD KV缓存；mlx-serve是单个Zig二进制文件，还能通过llama.cpp运行GGUF模型。参见上方的对比表。
谁开发了oMLX？
oMLX由独立维护者jundot开发(仓库中列出的联系方式为junkim.dot@gmail.com)。本评测未发现该项目背后有公司或融资轮次的证据。
github.com/jundot/omlx是真正的oMLX仓库吗？
是的。其他GitHub用户名下存在多个名称完全相同的"omlx"仓库，但github.com/jundot/omlx是原始项目，这一点已由开发者本人在Apple MLX的GitHub讨论区上发布的公告确认。