O que é o MLX-Audio?
O MLX-Audio transforma o framework MLX da Apple em uma caixa de ferramentas de voz. Um único pacote fornece comandos e funções Python que baixam um modelo de voz do Hugging Face, o executam na GPU do Mac via Metal e devolvem áudio ou texto. O README o descreve como "the best audio processing library built on Apple's MLX framework", que é o posicionamento do próprio projeto, não um ranking independente.
- Tipo de produto: uma biblioteca Python com pontos de entrada de linha de comando como
mlx_audio.tts.generateemlx_audio.server, e não um aplicativo de desktop para baixar - Mantenedor: o usuário do GitHub Blaizzy, com contribuições da comunidade; nenhuma empresa, página de preços ou edição comercial foi encontrada
- Repositório e documentação: github.com/Blaizzy/mlx-audio e blaizzy.github.io/mlx-audio
- Projeto relacionado: o mlx-audio-swift leva a síntese de voz no dispositivo a apps de macOS e iOS
- Usado em outros projetos: segundo a análise do vllm-mlx, o vllm-mlx se apoia no mlx-audio para seus recursos de áudio
O que você pode fazer com o MLX-Audio?
O README agrupa os modelos compatíveis em síntese de voz, transcrição, detecção de atividade de voz, voz para voz e geração de música. Veja o que cada grupo faz, segundo as tabelas de modelos do projeto.
- Síntese de voz — cerca de duas dezenas de famílias de modelos, incluindo Kokoro, Qwen3-TTS, Chatterbox, VoxCPM2, Higgs Audio, Voxtral TTS e OmniVoice
- Clonagem e design de voz — vários modelos aceitam uma gravação de referência (por exemplo
--ref_audiocom o CSM) e alguns criam uma voz a partir de uma descrição em texto - Transcrição — Whisper, Parakeet, Qwen3-ASR e os modelos de streaming Nemotron da NVIDIA; o VibeVoice-ASR acrescenta rótulos de falante e marcas de tempo para gravações de até 60 minutos
- Detecção de atividade de voz e de falantes — Silero VAD e os modelos de diarização Sortformer e Nemotron
- Voz para voz — separação de fontes (SAM-Audio), remoção de ruído (DeepFilterNet, MossFormer2) e conversa por voz full duplex (NemotronLabs VoiceChat)
- Geração de música — MiniMax Music 3 para músicas com letra em estéreo a 44.1 kHz
- Streaming e velocidade —
--streamreproduz o áudio enquanto ele é gerado, e os modelos compatíveis aceitam um parâmetro de velocidade - Quantização —
python -m mlx_audio.convertreduz os modelos para 3, 4, 6 ou 8 bits, ou MXFP4, para downloads menores e menos memória
Exemplos de uso: três formas de usar o MLX-Audio
Estes fluxos usam comandos tirados do README do projeto.
Gerar fala pela linha de comando
Execute mlx_audio.tts.generate --model mlx-community/Qwen3-TTS-12Hz-0.6B-CustomVoice-8bit --text 'Hello, world!' --voice Vivian --play para sintetizar e reproduzir uma frase. Acrescente --output_path ./my_audio para salvar arquivos ou --join_audio para juntar vários trechos em um só arquivo.
Transcrever uma gravação pelo Python
Chame generate_transcription(model="mlx-community/whisper-large-v3-turbo-asr-fp16", audio="audio.wav") de mlx_audio.stt.generate e leia result.text. Trocar o nome do modelo muda para Parakeet, Qwen3-ASR ou outro mecanismo da lista.
Rodar um servidor de voz local no estilo OpenAI
Inicie mlx_audio.server --host 127.0.0.1 --port 8000 e envie requisições para /v1/audio/speech (síntese) ou /v1/audio/transcriptions (transcrição). O exemplo do README usa 0.0.0.0, o que expõe o servidor a toda a sua rede; 127.0.0.1 o mantém apenas no Mac.
Instalar o MLX-Audio
O MLX-Audio é instalado pela linha de comando; não existe .dmg nem outro instalador. O caminho mais simples é um único comando pip, portanto são necessários um terminal e Python 3.10 ou mais recente.
Fonte | Link |
|---|---|
| Site (documentação) | blaizzy.github.io/mlx-audio |
| Instalação (pip) | pip install mlx-audio |
| Instalação (uv, somente ferramentas de linha de comando) | uv tool install --force mlx-audio --prerelease=allow |
| Repositório no GitHub (código-fonte, MIT) | github.com/Blaizzy/mlx-audio |
| Pacote no PyPI | pypi.org/project/mlx-audio |
| Pacote Swift (macOS e iOS) | github.com/Blaizzy/mlx-audio-swift |
| Política de privacidade | Não encontrada no site nem no repositório; a biblioteca em si roda localmente |
É necessário um Mac com Apple Silicon. Para a interface web ou o desenvolvimento, o README clona o repositório e executa `pip install -e ".[dev, server]"`; a interface é iniciada com npm.
MLX-Audio: licença e preço
O MLX-Audio é gratuito. Não há conta, chave de licença, plano pago nem limite de uso, e nem o README nem a documentação mencionam uma edição comercial.
- A biblioteca tem licença MIT, que permite uso comercial, modificação e redistribuição mantendo o aviso de licença
- Os modelos de voz são baixados separadamente e têm licença própria, às vezes mais restritiva que a MIT; leia a ficha de cada modelo antes de usá-lo em um produto
- Os custos reais são um Mac com Apple Silicon e o espaço em disco dos modelos baixados
- Nenhuma versão hospedada ou gerenciada foi encontrada; o MLX-Audio roda apenas em hardware sob seu controle
Para quem é o MLX-Audio?
O MLX-Audio serve para quem se sente à vontade no terminal e quer modelos de voz em um Mac sem conta na nuvem.
Use o MLX-Audio se você
- tem um Mac com Apple Silicon e quer síntese de voz, transcrição e ferramentas de voz em um único pacote Python
- quer testar rapidamente novos modelos de voz abertos, já que o README lista dezenas de famílias
- tem código escrito para os endpoints de voz da OpenAI e quer apontá-lo para um servidor local
- desenvolve apps para Mac ou iOS e quer o pacote Swift complementar para voz no dispositivo
Procure outra opção se você
- usa Windows, Linux ou um Mac Intel, onde o MLX-Audio não roda; experimente o faster-whisper ou o Piper
- prefere um app de transcrição pronto em vez de uma biblioteca; veja o MacWhisper
- precisa de um produto com respaldo de fornecedor e contrato de suporte, o que este projeto independente não oferece
Concorrentes e alternativas
O MLX-Audio convive com ferramentas de voz locais que diferem sobretudo em plataforma, escolha de modelos e no fato de serem biblioteca ou aplicativo. As quatro abaixo têm análise própria na PromptQuorum.
Ferramenta | Conhecida por | Link |
|---|---|---|
| whisper.cpp | Reconhecimento de voz Whisper local em C/C++ para CPU e GPU | Análise do whisper.cpp |
| faster-whisper | Transcrição Whisper rápida via CTranslate2 | Análise do faster-whisper |
| Piper | Síntese de voz multilíngue leve que roda na CPU | Análise do Piper |
| Coqui TTS | Síntese de voz de código aberto com várias arquiteturas de modelo | Análise do Coqui TTS |
Esta lista reflete ferramentas frequentemente comparadas em voz local, não um ranking da PromptQuorum. Verifique os recursos atuais de cada uma antes de escolher.
Perguntas frequentes
Quais idiomas o MLX-Audio suporta?
Depende do modelo. O README lista o Kokoro com oito idiomas, o Chatterbox com 23, o VoxCPM2 com 30, o OmniVoice com mais de 646 e o Whisper com mais de 99 para transcrição.
Preciso do ffmpeg?
Somente para saída em MP3, FLAC, OGG, Opus ou Vorbis. O WAV funciona sem ele, e brew install ffmpeg adiciona o restante.
O MLX-Audio consegue clonar uma voz?
Sim, com modelos que aceitam um trecho de referência. Clonar a voz de uma pessoa real sem o consentimento dela pode ser ilegal em muitos lugares: obtenha permissão e confira a licença do modelo.
O servidor precisa de uma chave de API da OpenAI?
As requisições de exemplo do README não enviam chave. Os endpoints copiam o formato das requisições da OpenAI, mas nada é enviado à OpenAI.
Posso usá-lo dentro de um app de iPhone?
O pacote Python não. O pacote separado mlx-audio-swift oferece síntese de voz no dispositivo para macOS e iOS.