MLX-Audioとは?
MLX-Audioは、AppleのMLXフレームワークを音声ツールボックスに変えるものです。 1つのパッケージが、Hugging Faceから音声モデルを取得し、MetalでMacのGPU上で実行して、音声またはテキストを返すコマンドとPython関数を提供します。READMEでは「the best audio processing library built on Apple's MLX framework」と自称していますが、これはプロジェクト自身の位置づけであり、第三者の評価ではありません。
- 製品の種類:
mlx_audio.tts.generateやmlx_audio.serverといったコマンドラインの入口を持つPythonライブラリで、ダウンロード型のデスクトップアプリではありません - メンテナー:GitHubユーザーBlaizzyとコミュニティの貢献者。企業、料金ページ、商用版は見つかりませんでした
- リポジトリとドキュメント:github.com/Blaizzy/mlx-audioとblaizzy.github.io/mlx-audio
- 関連プロジェクト:mlx-audio-swiftは、macOSとiOSのアプリにオンデバイスの音声合成を提供します
- 他での利用:vllm-mlxのレビューによると、vllm-mlxは音声機能でmlx-audioを土台にしています
MLX-Audioでできること
READMEは対応モデルを、音声合成、音声認識、音声区間検出、音声変換、音楽生成に分けています。このセクションでは、プロジェクトのモデル表に基づき各グループの内容を説明します。
- 音声合成——Kokoro、Qwen3-TTS、Chatterbox、VoxCPM2、Higgs Audio、Voxtral TTS、OmniVoiceなど約24のモデルファミリー
- 声のクローンと声のデザイン——参照録音を受け付けるモデルが複数あり(CSMの
--ref_audioなど)、テキストの説明から声を作るモデルもあります - 音声認識——Whisper、Parakeet、Qwen3-ASR、NVIDIAのストリーミングモデルNemotron。VibeVoice-ASRは最長60分の録音に話者ラベルとタイムスタンプを付けます
- 音声区間・話者の検出——Silero VAD、およびSortformerとNemotronの話者分離モデル
- 音声変換——音源分離(SAM-Audio)、ノイズ除去(DeepFilterNet、MossFormer2)、全二重の音声チャット(NemotronLabs VoiceChat)
- 音楽生成——歌詞付きの楽曲を44.1 kHzステレオで生成するMiniMax Music 3
- ストリーミングと速度調整——
--streamは生成中に音声を再生し、対応モデルでは速度パラメーターを指定できます - 量子化——
python -m mlx_audio.convertでモデルを3・4・6・8ビットまたはMXFP4に縮小し、ダウンロードサイズとメモリ使用量を抑えます
使用例:MLX-Audioの3つの使い方
ここでは、プロジェクトのREADMEにあるコマンドを使います。
コマンドラインで音声を生成する
mlx_audio.tts.generate --model mlx-community/Qwen3-TTS-12Hz-0.6B-CustomVoice-8bit --text 'Hello, world!' --voice Vivian --playで、1文を合成して再生します。--output_path ./my_audioでファイルを保存し、--join_audioで複数のセグメントを1ファイルにまとめます。
Pythonで録音を文字起こしする
mlx_audio.stt.generateのgenerate_transcription(model="mlx-community/whisper-large-v3-turbo-asr-fp16", audio="audio.wav")を呼び、result.textを読みます。モデル名を変えれば、Parakeet、Qwen3-ASRなど掲載済みの別のエンジンに切り替えられます。
OpenAI互換のローカル音声サーバーを動かす
mlx_audio.server --host 127.0.0.1 --port 8000を起動し、合成は/v1/audio/speech、文字起こしは/v1/audio/transcriptionsにリクエストします。READMEの例は0.0.0.0にバインドするため、サーバーがネットワーク全体に公開されます。127.0.0.1なら、そのMacの中に限定できます。
MLX-Audioのインストール
MLX-Audioはコマンドラインからインストールします。.dmgなどのインストーラーはありません。 いちばん簡単な方法はpipコマンド1行なので、ターミナルとPython 3.10以降が必要です。
入手先 | リンク |
|---|---|
| Webサイト(ドキュメント) | blaizzy.github.io/mlx-audio |
| インストール(pip) | pip install mlx-audio |
| インストール(uv、コマンドラインツールのみ) | uv tool install --force mlx-audio --prerelease=allow |
| GitHubリポジトリ(ソースコード、MIT) | github.com/Blaizzy/mlx-audio |
| PyPIパッケージ | pypi.org/project/mlx-audio |
| Swiftパッケージ(macOSとiOS) | github.com/Blaizzy/mlx-audio-swift |
| プライバシーポリシー | サイトにもリポジトリにも見つかりませんでした。ライブラリ自体はローカルで動作します |
Apple SiliconのMacが必要です。Web UIや開発用には、READMEの手順でリポジトリをクローンして`pip install -e ".[dev, server]"`を実行し、npmでUIを起動します。
MLX-Audioのライセンスと料金
MLX-Audioは無料です。 アカウント、ライセンスキー、有料プラン、利用上限はなく、READMEにもドキュメントにも商用版への言及はありません。
- ライブラリはMITライセンスで、ライセンス表示を残せば商用利用、改変、再配布ができます
- 音声モデルは別途ダウンロードされ、それぞれ独自のライセンスを持ちます。MITより制限が厳しいものもあるため、製品に組み込む前に各モデルカードを確認してください
- 実際にかかる費用は、Apple SiliconのMacと、ダウンロードするモデルのディスク容量です
- ホスティング版やマネージド版は見つかりませんでした。MLX-Audioは自分で管理するハードウェアでのみ動きます
MLX-Audioが向いている人
MLX-Audioは、ターミナルに抵抗がなく、クラウドアカウントなしでMac上の音声モデルを使いたい人に向いています。
MLX-Audioが向いているのは次のような人です
- Apple SiliconのMacを持ち、音声合成・文字起こし・音声ツールを1つのPythonパッケージで使いたい
- 新しいオープンな音声モデルをすぐに試したい。READMEにはすでに数十のモデルファミリーが載っています
- OpenAIの音声エンドポイント向けに書いたコードを、ローカルサーバーに向けたい
- MacやiOSのアプリを開発していて、オンデバイス音声用の付属Swiftパッケージを使いたい
他の選択肢を検討すべきなのは次のような人です
- WindowsやLinux、Intel Macを使っている(MLX-Audioは動きません)。faster-whisperやPiperを試してください
- ライブラリではなく、クリックで使える文字起こしアプリがほしい。MacWhisperを参照してください
- ベンダーのサポート契約付き製品が必要。この独立プロジェクトでは提供されません
競合ツールと代替ツール
MLX-Audioと並ぶローカル音声ツールは、主にプラットフォーム、モデルの選択肢、ライブラリかアプリかという点で異なります。 以下の4つにはPromptQuorum独自のレビューがあります。
ツール | 特徴 | リンク |
|---|---|---|
| whisper.cpp | CPUとGPUで動くC/C++製のローカルWhisper音声認識 | whisper.cppレビュー |
| faster-whisper | CTranslate2による高速なWhisper文字起こし | faster-whisperレビュー |
| Piper | CPUで動く軽量な多言語音声合成 | Piperレビュー |
| Coqui TTS | 複数のモデルアーキテクチャを持つオープンソースの音声合成 | Coqui TTSレビュー |
この一覧は、ローカル音声分野でよく比較されるツールを示すもので、PromptQuorumのランキングではありません。選ぶ前に各ツールの最新機能を確認してください。
よくある質問
MLX-Audioはどの言語に対応していますか?
モデルによって異なります。READMEでは、Kokoroが8言語、Chatterboxが23言語、VoxCPM2が30言語、OmniVoiceが646言語以上、文字起こしのWhisperが99言語以上とされています。
ffmpegは必要ですか?
MP3、FLAC、OGG、Opus、Vorbisで出力する場合のみ必要です。WAVはffmpegなしで使え、brew install ffmpegでその他の形式が追加されます。
MLX-Audioで声をクローンできますか?
はい、参照クリップを受け付けるモデルで可能です。実在する人物の声を本人の同意なくクローンすることは、多くの地域で違法になり得ます。許可を得て、モデルのライセンスも確認してください。
サーバーにOpenAIのAPIキーは必要ですか?
READMEのリクエスト例はキーを送っていません。エンドポイントはOpenAIのリクエスト形式に合わせていますが、OpenAIには何も送信されません。
iPhoneアプリの中で使えますか?
Pythonパッケージはできません。別パッケージのmlx-audio-swiftが、macOSとiOS向けのオンデバイス音声合成を提供します。