Qu'est-ce que MLX-Audio ?
MLX-Audio transforme le framework MLX d'Apple en boîte à outils vocale. Un seul paquet fournit des commandes et des fonctions Python qui récupèrent un modèle vocal sur Hugging Face, l'exécutent sur le GPU du Mac via Metal et renvoient de l'audio ou du texte. Son README le présente comme « the best audio processing library built on Apple's MLX framework » : c'est le positionnement du projet lui-même, pas un classement indépendant.
- Type de produit : une bibliothèque Python avec des points d'entrée en ligne de commande comme
mlx_audio.tts.generateetmlx_audio.server, et non une application de bureau à télécharger - Mainteneur : l'utilisateur GitHub Blaizzy, avec des contributions de la communauté ; aucune société, page de tarifs ou édition commerciale n'a été trouvée
- Dépôt et documentation : github.com/Blaizzy/mlx-audio et blaizzy.github.io/mlx-audio
- Projet lié : mlx-audio-swift apporte la synthèse vocale sur l'appareil aux applications macOS et iOS
- Utilisé ailleurs : selon le test de vllm-mlx, vllm-mlx s'appuie sur mlx-audio pour ses fonctions audio
Que peut-on faire avec MLX-Audio ?
Le README répartit les modèles pris en charge en synthèse vocale, transcription, détection d'activité vocale, conversion voix-voix et génération musicale. Voici ce que fait chaque groupe, d'après les tableaux de modèles du projet.
- Synthèse vocale — environ deux douzaines de familles de modèles, dont Kokoro, Qwen3-TTS, Chatterbox, VoxCPM2, Higgs Audio, Voxtral TTS et OmniVoice
- Clonage et conception de voix — plusieurs modèles acceptent un enregistrement de référence (par exemple
--ref_audioavec CSM), et certains créent une voix à partir d'une description textuelle - Transcription — Whisper, Parakeet, Qwen3-ASR et les modèles de streaming Nemotron de NVIDIA ; VibeVoice-ASR ajoute étiquettes de locuteurs et horodatage pour des enregistrements allant jusqu'à 60 minutes
- Détection d'activité vocale et de locuteurs — Silero VAD ainsi que les modèles de diarisation Sortformer et Nemotron
- Conversion voix-voix — séparation de sources (SAM-Audio), suppression du bruit (DeepFilterNet, MossFormer2) et dialogue vocal full-duplex (NemotronLabs VoiceChat)
- Génération musicale — MiniMax Music 3 pour des chansons avec paroles en stéréo 44.1 kHz
- Streaming et vitesse —
--streamlit l'audio pendant sa génération, et les modèles compatibles acceptent un paramètre de vitesse - Quantification —
python -m mlx_audio.convertréduit les modèles à 3, 4, 6 ou 8 bits, ou MXFP4, pour des téléchargements plus légers et moins de mémoire
Exemples d'utilisation : trois façons d'employer MLX-Audio
Ces scénarios reprennent des commandes du README du projet.
Générer de la parole en ligne de commande
Lancez mlx_audio.tts.generate --model mlx-community/Qwen3-TTS-12Hz-0.6B-CustomVoice-8bit --text 'Hello, world!' --voice Vivian --play pour synthétiser et écouter une phrase. Ajoutez --output_path ./my_audio pour enregistrer les fichiers, ou --join_audio pour fusionner plusieurs segments en un seul.
Transcrire un enregistrement depuis Python
Appelez generate_transcription(model="mlx-community/whisper-large-v3-turbo-asr-fp16", audio="audio.wav") depuis mlx_audio.stt.generate et lisez result.text. Changer le nom du modèle permet de passer à Parakeet, Qwen3-ASR ou un autre moteur listé.
Exécuter un serveur vocal local de type OpenAI
Démarrez mlx_audio.server --host 127.0.0.1 --port 8000, puis envoyez vos requêtes à /v1/audio/speech pour la synthèse ou /v1/audio/transcriptions pour la transcription. L'exemple du README se lie à 0.0.0.0, ce qui expose le serveur à tout votre réseau ; 127.0.0.1 le limite au Mac.
Installer MLX-Audio
MLX-Audio s'installe en ligne de commande ; il n'y a ni .dmg ni autre installateur. Le chemin le plus simple est une seule commande pip : un terminal et Python 3.10 ou plus récent sont donc nécessaires.
Source | Lien |
|---|---|
| Site web (documentation) | blaizzy.github.io/mlx-audio |
| Installation (pip) | pip install mlx-audio |
| Installation (uv, outils en ligne de commande uniquement) | uv tool install --force mlx-audio --prerelease=allow |
| Dépôt GitHub (code source, MIT) | github.com/Blaizzy/mlx-audio |
| Paquet PyPI | pypi.org/project/mlx-audio |
| Paquet Swift (macOS et iOS) | github.com/Blaizzy/mlx-audio-swift |
| Politique de confidentialité | Introuvable sur le site et dans le dépôt ; la bibliothèque elle-même fonctionne en local |
Un Mac Apple Silicon est requis. Pour l'interface web ou le développement, le README clone le dépôt et exécute `pip install -e ".[dev, server]"`, puis lance l'interface avec npm.
MLX-Audio : licence et tarifs
MLX-Audio est gratuit. Il n'y a ni compte, ni clé de licence, ni offre payante, ni limite d'usage, et ni le README ni la documentation ne mentionnent d'édition commerciale.
- La bibliothèque est sous licence MIT, qui autorise l'usage commercial, la modification et la redistribution moyennant la conservation de la mention de licence
- Les modèles vocaux se téléchargent séparément et ont leur propre licence, parfois plus restrictive que MIT : lisez la fiche de chaque modèle avant de l'intégrer à un produit
- Les vrais coûts sont un Mac Apple Silicon et l'espace disque des modèles téléchargés
- Aucune version hébergée ou gérée n'a été trouvée ; MLX-Audio ne fonctionne que sur du matériel que vous contrôlez
Pour qui MLX-Audio est-il adapté ?
MLX-Audio convient à ceux qui sont à l'aise dans un terminal et veulent des modèles vocaux sur un Mac sans compte cloud.
Utilisez MLX-Audio si vous
- possédez un Mac Apple Silicon et voulez synthèse vocale, transcription et outils de voix dans un seul paquet Python
- voulez essayer rapidement de nouveaux modèles vocaux ouverts, le README listant déjà des dizaines de familles
- avez du code écrit pour les points d'accès vocaux d'OpenAI et souhaitez le diriger vers un serveur local
- développez des applications Mac ou iOS et voulez le paquet Swift associé pour la voix sur l'appareil
Cherchez ailleurs si vous
- utilisez Windows, Linux ou un Mac Intel, où MLX-Audio ne fonctionne pas ; essayez faster-whisper ou Piper
- voulez une application de transcription clé en main plutôt qu'une bibliothèque ; voir MacWhisper
- avez besoin d'un produit soutenu par un éditeur avec contrat de support, ce que ce projet indépendant n'offre pas
Concurrents et alternatives
MLX-Audio côtoie des outils vocaux locaux qui diffèrent surtout par la plateforme, le choix de modèles et le fait d'être une bibliothèque ou une application. Les quatre ci-dessous ont leur propre test PromptQuorum.
Outil | Connu pour | Lien |
|---|---|---|
| whisper.cpp | Reconnaissance vocale Whisper locale en C/C++ pour CPU et GPU | Test de whisper.cpp |
| faster-whisper | Transcription Whisper rapide via CTranslate2 | Test de faster-whisper |
| Piper | Synthèse vocale multilingue légère, exécutable sur CPU | Test de Piper |
| Coqui TTS | Synthèse vocale open source avec plusieurs architectures de modèles | Test de Coqui TTS |
Cette liste reflète des outils souvent comparés dans la voix locale, pas un classement PromptQuorum. Vérifiez les fonctions actuelles de chaque outil avant de choisir.
Questions fréquentes
Quelles langues MLX-Audio prend-il en charge ?
Cela dépend du modèle. Le README indique Kokoro avec huit langues, Chatterbox avec 23, VoxCPM2 avec 30, OmniVoice avec plus de 646 et Whisper avec plus de 99 pour la transcription.
Faut-il ffmpeg ?
Seulement pour une sortie en MP3, FLAC, OGG, Opus ou Vorbis. Le WAV fonctionne sans, et brew install ffmpeg ajoute le reste.
MLX-Audio peut-il cloner une voix ?
Oui, avec les modèles qui acceptent un extrait de référence. Cloner la voix d'une personne sans son consentement peut être illégal dans de nombreux pays : obtenez son accord et vérifiez la licence du modèle.
Le serveur exige-t-il une clé API OpenAI ?
Les requêtes d'exemple du README n'envoient aucune clé. Les points d'accès reprennent la forme des requêtes OpenAI, mais rien n'est envoyé à OpenAI.
Puis-je l'utiliser dans une application iPhone ?
Pas le paquet Python. Le paquet distinct mlx-audio-swift offre la synthèse vocale sur l'appareil pour macOS et iOS.