¿Qué es MLX-Audio?
MLX-Audio convierte el framework MLX de Apple en una caja de herramientas de voz. Un solo paquete ofrece comandos y funciones de Python que descargan un modelo de voz de Hugging Face, lo ejecutan en la GPU del Mac mediante Metal y devuelven audio o texto. Su README lo describe como "the best audio processing library built on Apple's MLX framework", que es el posicionamiento del propio proyecto, no una clasificación independiente.
- Tipo de producto: una biblioteca de Python con puntos de entrada de línea de comandos como
mlx_audio.tts.generateymlx_audio.server, no una aplicación de escritorio descargable - Mantenedor: el usuario de GitHub Blaizzy con contribuciones de la comunidad; no se encontró ninguna empresa, página de precios ni edición comercial
- Repositorio y documentación: github.com/Blaizzy/mlx-audio y blaizzy.github.io/mlx-audio
- Proyecto relacionado: mlx-audio-swift lleva la síntesis de voz en el dispositivo a apps de macOS e iOS
- Usado en otros proyectos: según el análisis de vllm-mlx, vllm-mlx se apoya en mlx-audio para sus funciones de audio
¿Qué puedes hacer con MLX-Audio?
El README agrupa los modelos compatibles en síntesis de voz, transcripción, detección de actividad de voz, voz a voz y generación de música. Esto hace cada grupo según las tablas de modelos del proyecto.
- Síntesis de voz — unas dos docenas de familias de modelos, entre ellas Kokoro, Qwen3-TTS, Chatterbox, VoxCPM2, Higgs Audio, Voxtral TTS y OmniVoice
- Clonación y diseño de voz — varios modelos aceptan una grabación de referencia (por ejemplo
--ref_audiocon CSM) y algunos crean una voz a partir de una descripción de texto - Transcripción — Whisper, Parakeet, Qwen3-ASR y los modelos de streaming Nemotron de NVIDIA; VibeVoice-ASR añade etiquetas de hablante y marcas de tiempo para grabaciones de hasta 60 minutos
- Detección de actividad de voz y de hablantes — Silero VAD y los modelos de diarización Sortformer y Nemotron
- Voz a voz — separación de fuentes (SAM-Audio), eliminación de ruido (DeepFilterNet, MossFormer2) y chat de voz full dúplex (NemotronLabs VoiceChat)
- Generación de música — MiniMax Music 3 para canciones con letra en estéreo a 44.1 kHz
- Streaming y velocidad —
--streamreproduce el audio mientras se genera, y los modelos compatibles aceptan un parámetro de velocidad - Cuantización —
python -m mlx_audio.convertreduce los modelos a 3, 4, 6 u 8 bits, o MXFP4, para descargas más pequeñas y menos memoria
Ejemplos de uso: tres formas de usar MLX-Audio
Estos flujos usan comandos tomados del README del proyecto.
Generar voz desde la línea de comandos
Ejecuta mlx_audio.tts.generate --model mlx-community/Qwen3-TTS-12Hz-0.6B-CustomVoice-8bit --text 'Hello, world!' --voice Vivian --play para sintetizar y reproducir una frase. Añade --output_path ./my_audio para guardar archivos, o --join_audio para unir varios segmentos en uno.
Transcribir una grabación desde Python
Llama a generate_transcription(model="mlx-community/whisper-large-v3-turbo-asr-fp16", audio="audio.wav") desde mlx_audio.stt.generate y lee result.text. Cambiar el nombre del modelo permite pasar a Parakeet, Qwen3-ASR u otro motor de la lista.
Ejecutar un servidor de voz local al estilo OpenAI
Inicia mlx_audio.server --host 127.0.0.1 --port 8000 y envía peticiones a /v1/audio/speech para síntesis o a /v1/audio/transcriptions para transcripción. El ejemplo del README usa 0.0.0.0, lo que expone el servidor a toda tu red; 127.0.0.1 lo mantiene en el Mac.
Instalar MLX-Audio
MLX-Audio se instala desde la línea de comandos; no hay .dmg ni otro instalador. El camino más sencillo es un único comando de pip, así que hacen falta una terminal y Python 3.10 o superior.
Fuente | Enlace |
|---|---|
| Sitio web (documentación) | blaizzy.github.io/mlx-audio |
| Instalación (pip) | pip install mlx-audio |
| Instalación (uv, solo herramientas de línea de comandos) | uv tool install --force mlx-audio --prerelease=allow |
| Repositorio de GitHub (código fuente, MIT) | github.com/Blaizzy/mlx-audio |
| Paquete en PyPI | pypi.org/project/mlx-audio |
| Paquete Swift (macOS e iOS) | github.com/Blaizzy/mlx-audio-swift |
| Política de privacidad | No se encontró en el sitio ni en el repositorio; la propia biblioteca se ejecuta en local |
Se requiere un Mac con Apple Silicon. Para la interfaz web o el desarrollo, el README clona el repositorio y ejecuta `pip install -e ".[dev, server]"`; después se inicia la interfaz con npm.
MLX-Audio: licencia y precio
MLX-Audio es gratuito. No hay cuenta, clave de licencia, plan de pago ni límite de uso, y ni el README ni la documentación mencionan una edición comercial.
- La biblioteca tiene licencia MIT, que permite el uso comercial, la modificación y la redistribución conservando el aviso de licencia
- Los modelos de voz se descargan por separado y tienen su propia licencia, a veces más restrictiva que MIT; lee la ficha de cada modelo antes de usarlo en un producto
- Los costes reales son un Mac con Apple Silicon y el espacio en disco de los modelos que descargues
- No se encontró ninguna versión alojada o gestionada; MLX-Audio solo se ejecuta en hardware que controlas
¿Para quién es MLX-Audio?
MLX-Audio encaja con quienes se manejan en la terminal y quieren modelos de voz en un Mac sin cuenta en la nube.
Usa MLX-Audio si
- tienes un Mac con Apple Silicon y quieres síntesis de voz, transcripción y herramientas de voz en un solo paquete de Python
- quieres probar rápido nuevos modelos de voz abiertos, ya que el README lista decenas de familias
- tienes código escrito para los endpoints de voz de OpenAI y quieres apuntarlo a un servidor local
- desarrollas apps para Mac o iOS y quieres el paquete Swift complementario para voz en el dispositivo
Busca otra opción si
- usas Windows, Linux o un Mac con Intel, donde MLX-Audio no funciona; prueba faster-whisper o Piper
- prefieres una app de transcripción lista para usar en lugar de una biblioteca; consulta MacWhisper
- necesitas un producto respaldado por un proveedor con contrato de soporte, algo que este proyecto independiente no ofrece
Competidores y alternativas
MLX-Audio convive con herramientas de voz locales que se diferencian sobre todo en plataforma, elección de modelos y en si son biblioteca o aplicación. Las cuatro siguientes tienen su propio análisis en PromptQuorum.
Herramienta | Conocida por | Enlace |
|---|---|---|
| whisper.cpp | Reconocimiento de voz Whisper local en C/C++ para CPU y GPU | Análisis de whisper.cpp |
| faster-whisper | Transcripción Whisper rápida mediante CTranslate2 | Análisis de faster-whisper |
| Piper | Síntesis de voz multilingüe ligera que se ejecuta en CPU | Análisis de Piper |
| Coqui TTS | Síntesis de voz de código abierto con varias arquitecturas de modelos | Análisis de Coqui TTS |
Esta lista refleja herramientas que se comparan con frecuencia en voz local, no una clasificación de PromptQuorum. Verifica las funciones actuales de cada una antes de elegir.
Preguntas frecuentes
¿Qué idiomas admite MLX-Audio?
Depende del modelo. El README lista Kokoro con ocho idiomas, Chatterbox con 23, VoxCPM2 con 30, OmniVoice con más de 646 y Whisper con más de 99 para transcripción.
¿Necesito ffmpeg?
Solo para salida en MP3, FLAC, OGG, Opus o Vorbis. WAV funciona sin él, y brew install ffmpeg añade el resto.
¿Puede MLX-Audio clonar una voz?
Sí, con los modelos que aceptan un clip de referencia. Clonar la voz de una persona real sin su consentimiento puede ser ilegal en muchos lugares: obtén su permiso y revisa la licencia del modelo.
¿El servidor necesita una clave de API de OpenAI?
Las peticiones de ejemplo del README no envían ninguna clave. Los endpoints copian la forma de las peticiones de OpenAI, pero no se envía nada a OpenAI.
¿Puedo usarlo dentro de una app de iPhone?
El paquete de Python no. El paquete aparte mlx-audio-swift ofrece síntesis de voz en el dispositivo para macOS e iOS.