MLX-Audio란?
MLX-Audio는 Apple의 MLX 프레임워크를 음성 도구 상자로 바꿉니다. 하나의 패키지가 Hugging Face에서 음성 모델을 가져와 Metal을 통해 Mac의 GPU에서 실행하고, 오디오나 텍스트를 돌려주는 명령과 Python 함수를 제공합니다. README는 이를 "the best audio processing library built on Apple's MLX framework"라고 소개하는데, 이는 프로젝트 자체의 포지셔닝이며 독립적인 순위가 아닙니다.
- 제품 유형:
mlx_audio.tts.generate,mlx_audio.server같은 명령줄 진입점을 가진 Python 라이브러리이며, 내려받는 데스크톱 앱이 아닙니다 - 관리자: GitHub 사용자 Blaizzy와 커뮤니티 기여자. 회사, 가격 페이지, 상용 에디션은 발견되지 않았습니다
- 저장소와 문서: github.com/Blaizzy/mlx-audio 및 blaizzy.github.io/mlx-audio
- 관련 프로젝트: mlx-audio-swift는 macOS와 iOS 앱에 온디바이스 음성 합성을 제공합니다
- 다른 곳에서의 사용: vllm-mlx 리뷰에 따르면 vllm-mlx는 오디오 기능에 mlx-audio를 기반으로 합니다
MLX-Audio로 할 수 있는 일
README는 지원 모델을 음성 합성, 음성 인식, 음성 활동 감지, 음성 변환, 음악 생성으로 나눕니다. 프로젝트의 모델 표에 따라 각 그룹의 역할을 설명합니다.
- 음성 합성 — Kokoro, Qwen3-TTS, Chatterbox, VoxCPM2, Higgs Audio, Voxtral TTS, OmniVoice 등 약 24개 모델 계열
- 목소리 복제와 목소리 설계 — 여러 모델이 참조 녹음을 받으며(예: CSM의
--ref_audio), 일부는 텍스트 설명으로 목소리를 만듭니다 - 음성 인식 — Whisper, Parakeet, Qwen3-ASR, NVIDIA의 스트리밍 모델 Nemotron. VibeVoice-ASR은 최대 60분 녹음에 화자 라벨과 타임스탬프를 추가합니다
- 음성 활동 및 화자 감지 — Silero VAD와 Sortformer, Nemotron 화자 분리 모델
- 음성 변환 — 음원 분리(SAM-Audio), 잡음 제거(DeepFilterNet, MossFormer2), 전이중 음성 대화(NemotronLabs VoiceChat)
- 음악 생성 — 가사가 있는 노래를 44.1 kHz 스테레오로 만드는 MiniMax Music 3
- 스트리밍과 속도 조절 —
--stream은 생성하는 동안 오디오를 재생하며, 지원하는 모델은 속도 매개변수를 받습니다 - 양자화 —
python -m mlx_audio.convert로 모델을 3, 4, 6, 8비트 또는 MXFP4로 줄여 다운로드 크기와 메모리 사용량을 낮춥니다
사용 예시: MLX-Audio를 쓰는 세 가지 방법
이 작업 흐름은 프로젝트 README에 있는 명령을 사용합니다.
명령줄에서 음성 생성하기
mlx_audio.tts.generate --model mlx-community/Qwen3-TTS-12Hz-0.6B-CustomVoice-8bit --text 'Hello, world!' --voice Vivian --play를 실행하면 한 문장을 합성해 재생합니다. --output_path ./my_audio로 파일을 저장하고, --join_audio로 여러 세그먼트를 하나의 파일로 합칩니다.
Python으로 녹음 받아 적기
mlx_audio.stt.generate의 generate_transcription(model="mlx-community/whisper-large-v3-turbo-asr-fp16", audio="audio.wav")를 호출하고 result.text를 읽습니다. 모델 이름을 바꾸면 Parakeet, Qwen3-ASR 등 목록에 있는 다른 엔진으로 전환됩니다.
로컬 OpenAI 방식 음성 서버 실행하기
mlx_audio.server --host 127.0.0.1 --port 8000을 시작한 뒤 합성은 /v1/audio/speech, 받아쓰기는 /v1/audio/transcriptions로 요청합니다. README 예시는 0.0.0.0에 바인딩하여 서버가 네트워크 전체에 노출되며, 127.0.0.1을 쓰면 해당 Mac으로 한정됩니다.
MLX-Audio 설치
MLX-Audio는 명령줄에서 설치하며, .dmg 같은 설치 프로그램은 없습니다. 가장 쉬운 방법은 pip 명령 한 줄이므로 터미널과 Python 3.10 이상이 필요합니다.
출처 | 링크 |
|---|---|
| 웹사이트(문서) | blaizzy.github.io/mlx-audio |
| 설치(pip) | pip install mlx-audio |
| 설치(uv, 명령줄 도구만) | uv tool install --force mlx-audio --prerelease=allow |
| GitHub 저장소(소스 코드, MIT) | github.com/Blaizzy/mlx-audio |
| PyPI 패키지 | pypi.org/project/mlx-audio |
| Swift 패키지(macOS 및 iOS) | github.com/Blaizzy/mlx-audio-swift |
| 개인정보 처리방침 | 웹사이트와 저장소에서 찾지 못했습니다. 라이브러리 자체는 로컬에서 실행됩니다 |
Apple 실리콘 Mac이 필요합니다. 웹 UI나 개발용으로는 README에 따라 저장소를 복제하고 `pip install -e ".[dev, server]"`를 실행한 뒤 npm으로 UI를 시작합니다.
MLX-Audio 라이선스와 가격
MLX-Audio는 무료입니다. 계정, 라이선스 키, 유료 요금제, 사용 한도가 없으며 README와 문서에도 상용 에디션에 대한 언급이 없습니다.
- 라이브러리는 MIT 라이선스로, 라이선스 고지를 유지하면 상업적 사용, 수정, 재배포가 가능합니다
- 음성 모델은 별도로 내려받으며 각자의 라이선스를 가집니다. MIT보다 엄격한 경우도 있으므로 제품에 쓰기 전에 모델 카드를 읽으십시오
- 실제 비용은 Apple 실리콘 Mac과 내려받는 모델의 디스크 공간입니다
- 호스팅 또는 관리형 버전은 발견되지 않았으며, MLX-Audio는 직접 관리하는 하드웨어에서만 실행됩니다
MLX-Audio를 쓰면 좋은 사람
MLX-Audio는 터미널이 익숙하고, 클라우드 계정 없이 Mac에서 음성 모델을 쓰고 싶은 사람에게 맞습니다.
다음에 해당하면 MLX-Audio를 사용하십시오
- Apple 실리콘 Mac이 있고 음성 합성, 음성 인식, 음성 도구를 하나의 Python 패키지로 쓰고 싶다
- 새로운 오픈 음성 모델을 빠르게 시험해 보고 싶다. README에는 이미 수십 개의 모델 계열이 있습니다
- OpenAI 음성 엔드포인트용으로 작성한 코드를 로컬 서버로 돌리고 싶다
- Mac이나 iOS 앱을 개발하며 온디바이스 음성을 위한 Swift 패키지를 쓰고 싶다
다음에 해당하면 다른 도구를 찾아보십시오
- Windows, Linux 또는 Intel Mac을 쓴다(MLX-Audio는 실행되지 않습니다). faster-whisper나 Piper를 시도해 보십시오
- 라이브러리가 아니라 클릭으로 쓰는 받아쓰기 앱을 원한다. MacWhisper를 참고하십시오
- 공급업체의 지원 계약이 있는 제품이 필요하다. 이 독립 프로젝트는 제공하지 않습니다
경쟁 도구와 대안
MLX-Audio와 나란히 놓이는 로컬 음성 도구는 주로 플랫폼, 모델 선택, 라이브러리인지 앱인지에서 차이가 납니다. 아래 네 가지는 PromptQuorum의 자체 리뷰가 있습니다.
도구 | 특징 | 링크 |
|---|---|---|
| whisper.cpp | CPU와 GPU에서 실행되는 C/C++ 기반 로컬 Whisper 음성 인식 | whisper.cpp 리뷰 |
| faster-whisper | CTranslate2를 통한 빠른 Whisper 받아쓰기 | faster-whisper 리뷰 |
| Piper | CPU에서 실행되는 가벼운 다국어 음성 합성 | Piper 리뷰 |
| Coqui TTS | 여러 모델 아키텍처를 지원하는 오픈소스 음성 합성 | Coqui TTS 리뷰 |
이 목록은 로컬 음성 분야에서 자주 비교되는 도구를 보여 줄 뿐 PromptQuorum의 순위가 아닙니다. 선택 전에 각 도구의 최신 기능을 확인하십시오.
자주 묻는 질문
MLX-Audio는 어떤 언어를 지원합니까?
모델에 따라 다릅니다. README에는 Kokoro가 8개 언어, Chatterbox가 23개, VoxCPM2가 30개, OmniVoice가 646개 이상, 받아쓰기용 Whisper가 99개 이상으로 나와 있습니다.
ffmpeg가 필요합니까?
MP3, FLAC, OGG, Opus, Vorbis로 출력할 때만 필요합니다. WAV는 없어도 되며, brew install ffmpeg로 나머지 형식을 추가합니다.
MLX-Audio로 목소리를 복제할 수 있습니까?
네, 참조 클립을 받는 모델에서 가능합니다. 실존 인물의 목소리를 동의 없이 복제하는 것은 많은 지역에서 불법일 수 있으므로 허락을 받고 모델 라이선스를 확인하십시오.
서버에 OpenAI API 키가 필요합니까?
README의 예시 요청은 키를 보내지 않습니다. 엔드포인트는 OpenAI의 요청 형식을 따르지만 OpenAI로는 아무것도 전송되지 않습니다.
iPhone 앱 안에서 쓸 수 있습니까?
Python 패키지는 불가능합니다. 별도 패키지인 mlx-audio-swift가 macOS와 iOS용 온디바이스 음성 합성을 제공합니다.