MLX-Audio 是什么?
MLX-Audio 把 Apple 的 MLX 框架变成了一套语音工具箱。 一个包提供命令和 Python 函数,从 Hugging Face 获取语音模型,通过 Metal 在 Mac 的 GPU 上运行,并返回音频或文本。README 称它是 "the best audio processing library built on Apple's MLX framework",这是项目自己的定位,并非独立排名。
- 产品类型:带有
mlx_audio.tts.generate、mlx_audio.server等命令行入口的 Python 库,不是可下载的桌面应用 - 维护者:GitHub 用户 Blaizzy 及社区贡献者;未发现公司、价格页或商业版
- 仓库与文档:github.com/Blaizzy/mlx-audio 和 blaizzy.github.io/mlx-audio
- 相关项目:mlx-audio-swift 为 macOS 和 iOS 应用提供设备端语音合成
- 其他项目的使用:据 vllm-mlx 评测,vllm-mlx 的音频功能建立在 mlx-audio 之上
MLX-Audio 能做什么?
README 把支持的模型分为语音合成、语音识别、语音活动检测、语音转换和音乐生成。以下依据项目自己的模型表,说明各组的作用。
- 语音合成——约两打模型家族,包括 Kokoro、Qwen3-TTS、Chatterbox、VoxCPM2、Higgs Audio、Voxtral TTS 和 OmniVoice
- 声音克隆与声音设计——多个模型接受参考录音(例如 CSM 的
--ref_audio),部分模型可根据文字描述生成声音 - 语音识别——Whisper、Parakeet、Qwen3-ASR 以及 NVIDIA 的流式模型 Nemotron;VibeVoice-ASR 可为最长 60 分钟的录音加上说话人标签和时间戳
- 语音活动与说话人检测——Silero VAD,以及 Sortformer 和 Nemotron 说话人分离模型
- 语音转换——音源分离(SAM-Audio)、降噪(DeepFilterNet、MossFormer2)和全双工语音对话(NemotronLabs VoiceChat)
- 音乐生成——MiniMax Music 3,可生成带歌词、44.1 kHz 立体声的歌曲
- 流式输出与语速——
--stream在生成的同时播放音频,支持的模型可设置语速参数 - 量化——
python -m mlx_audio.convert可把模型压缩为 3、4、6、8 位或 MXFP4,减小下载体积和内存占用
使用示例:使用 MLX-Audio 的三种方式
这些流程使用项目 README 中的命令。
用命令行生成语音
运行 mlx_audio.tts.generate --model mlx-community/Qwen3-TTS-12Hz-0.6B-CustomVoice-8bit --text 'Hello, world!' --voice Vivian --play 合成并播放一句话。加上 --output_path ./my_audio 保存文件,或用 --join_audio 把多个片段合并为一个文件。
用 Python 转写录音
从 mlx_audio.stt.generate 调用 generate_transcription(model="mlx-community/whisper-large-v3-turbo-asr-fp16", audio="audio.wav"),再读取 result.text。更换模型名称即可切换到 Parakeet、Qwen3-ASR 或列表中的其他引擎。
运行本地 OpenAI 风格的语音服务器
启动 mlx_audio.server --host 127.0.0.1 --port 8000,然后向 /v1/audio/speech 请求合成,或向 /v1/audio/transcriptions 请求转写。README 的示例绑定 0.0.0.0,会把服务器暴露给整个网络;使用 127.0.0.1 则只限本机访问。
安装 MLX-Audio
MLX-Audio 通过命令行安装,没有 .dmg 等安装程序。 最简单的方式是一条 pip 命令,因此需要终端和 Python 3.10 或更高版本。
来源 | 链接 |
|---|---|
| 网站(文档) | blaizzy.github.io/mlx-audio |
| 安装(pip) | pip install mlx-audio |
| 安装(uv,仅命令行工具) | uv tool install --force mlx-audio --prerelease=allow |
| GitHub 仓库(源代码,MIT) | github.com/Blaizzy/mlx-audio |
| PyPI 包 | pypi.org/project/mlx-audio |
| Swift 包(macOS 和 iOS) | github.com/Blaizzy/mlx-audio-swift |
| 隐私政策 | 网站和仓库中均未找到;库本身在本地运行 |
需要 Apple 芯片 Mac。若要使用网页界面或参与开发,README 的做法是克隆仓库并运行 `pip install -e ".[dev, server]"`,再用 npm 启动界面。
MLX-Audio 的许可与价格
MLX-Audio 免费。 没有账号、许可证密钥、付费版本或使用上限,README 和文档中也没有提到商业版。
- 库采用 MIT 许可,在保留许可声明的前提下允许商用、修改和再分发
- 语音模型单独下载,各有自己的许可,有的比 MIT 更严格;在产品中使用前请阅读每个模型的模型卡
- 实际成本是一台 Apple 芯片 Mac,以及下载模型所占的磁盘空间
- 未发现托管版或受管版;MLX-Audio 只能在你自己掌控的硬件上运行
谁适合使用 MLX-Audio?
MLX-Audio 适合习惯使用终端、想在 Mac 上用语音模型又不想依赖云账号的人。
在以下情况下适合使用 MLX-Audio
- 拥有 Apple 芯片 Mac,希望用一个 Python 包完成语音合成、语音识别和声音工具
- 想快速试用新的开源语音模型,README 已列出数十个模型家族
- 已有为 OpenAI 语音接口编写的代码,想把它指向本地服务器
- 开发 Mac 或 iOS 应用,想用配套的 Swift 包实现设备端语音
在以下情况下请另选方案
- 使用 Windows、Linux 或 Intel Mac(MLX-Audio 无法运行);可尝试 faster-whisper 或 Piper
- 想要点击即用的转写应用而不是库;请见 MacWhisper
- 需要有厂商支持合同的产品;这个独立项目不提供
竞品与替代方案
与 MLX-Audio 并列的本地语音工具,主要在平台、模型选择以及是库还是应用上有所不同。 下面四个都有 PromptQuorum 自己的评测。
工具 | 以何著称 | 链接 |
|---|---|---|
| whisper.cpp | 用 C/C++ 实现、可在 CPU 和 GPU 上运行的本地 Whisper 语音识别 | whisper.cpp 评测 |
| faster-whisper | 基于 CTranslate2 的快速 Whisper 转写 | faster-whisper 评测 |
| Piper | 可在 CPU 上运行的轻量多语言语音合成 | Piper 评测 |
| Coqui TTS | 支持多种模型架构的开源语音合成 | Coqui TTS 评测 |
此列表反映本地语音领域常被比较的工具,不是 PromptQuorum 的排名。选择前请核实各工具的最新功能。
常见问题
MLX-Audio 支持哪些语言?
取决于模型。README 列出 Kokoro 支持 8 种语言,Chatterbox 支持 23 种,VoxCPM2 支持 30 种,OmniVoice 支持 646 种以上,用于转写的 Whisper 支持 99 种以上。
需要安装 ffmpeg 吗?
只有输出 MP3、FLAC、OGG、Opus 或 Vorbis 时才需要。WAV 不需要,运行 brew install ffmpeg 即可补上其余格式。
MLX-Audio 能克隆声音吗?
可以,需使用接受参考片段的模型。未经同意克隆真人的声音在许多地方可能违法,请先取得许可并查看模型许可。
服务器需要 OpenAI API 密钥吗?
README 中的示例请求没有发送密钥。接口沿用了 OpenAI 的请求格式,但不会向 OpenAI 发送任何内容。
能在 iPhone 应用里使用吗?
Python 包不行。单独的 mlx-audio-swift 包为 macOS 和 iOS 提供设备端语音合成。