Was ist MLX-Audio?
MLX-Audio macht aus Apples MLX-Framework einen Werkzeugkasten für Sprache. Ein Paket liefert Befehle und Python-Funktionen, die ein Sprachmodell von Hugging Face laden, es über Metal auf der GPU des Macs ausführen und Audio oder Text zurückgeben. Die README bezeichnet es als „the best audio processing library built on Apple's MLX framework“; das ist die Selbstdarstellung des Projekts, kein unabhängiges Ranking.
- Produkttyp: eine Python-Bibliothek mit Kommandozeilen-Einstiegspunkten wie
mlx_audio.tts.generateundmlx_audio.server, keine herunterladbare Desktop-App - Betreuer: der GitHub-Nutzer Blaizzy mit Beiträgen aus der Community; weder Unternehmen noch Preisseite oder kommerzielle Edition wurden gefunden
- Repository und Dokumentation: github.com/Blaizzy/mlx-audio und blaizzy.github.io/mlx-audio
- Verwandtes Projekt: mlx-audio-swift bringt On-Device-Sprachausgabe in macOS- und iOS-Apps
- Anderswo genutzt: Laut vllm-mlx-Test baut vllm-mlx für seine Audiofunktionen auf mlx-audio auf
Was können Sie mit MLX-Audio tun?
Die README gliedert die unterstützten Modelle in Text-to-Speech, Speech-to-Text, Sprachaktivitätserkennung, Speech-to-Speech und Musikgenerierung. Das leistet jede Gruppe laut den Modelltabellen des Projekts.
- Text-to-Speech — rund zwei Dutzend Modellfamilien, darunter Kokoro, Qwen3-TTS, Chatterbox, VoxCPM2, Higgs Audio, Voxtral TTS und OmniVoice
- Stimmklonen und Stimmdesign — mehrere Modelle akzeptieren eine Referenzaufnahme (etwa
--ref_audiobei CSM), manche erzeugen eine Stimme aus einer Textbeschreibung - Speech-to-Text — Whisper, Parakeet, Qwen3-ASR und NVIDIAs Streaming-Modelle Nemotron; VibeVoice-ASR ergänzt Sprecherlabels und Zeitstempel für Aufnahmen bis zu 60 Minuten
- Sprachaktivitäts- und Sprechererkennung — Silero VAD sowie die Diarisierungsmodelle Sortformer und Nemotron
- Speech-to-Speech — Quellentrennung (SAM-Audio), Rauschentfernung (DeepFilterNet, MossFormer2) und Voll-Duplex-Sprachchat (NemotronLabs VoiceChat)
- Musikgenerierung — MiniMax Music 3 für Songs mit Text in 44,1 kHz Stereo
- Streaming und Sprechtempo —
--streamgibt Audio schon während der Erzeugung wieder, und Modelle mit Unterstützung nehmen einen Tempo-Parameter an - Quantisierung —
python -m mlx_audio.convertverkleinert Modelle auf 3, 4, 6 oder 8 Bit oder MXFP4 für kleinere Downloads und geringeren Speicherbedarf
Anwendungsbeispiele: Drei Wege, MLX-Audio zu nutzen
Diese Abläufe verwenden Befehle aus der README des Projekts.
Sprache per Kommandozeile erzeugen
Mit mlx_audio.tts.generate --model mlx-community/Qwen3-TTS-12Hz-0.6B-CustomVoice-8bit --text 'Hello, world!' --voice Vivian --play synthetisieren und spielen Sie einen Satz ab. --output_path ./my_audio speichert Dateien, --join_audio fasst mehrere Segmente in einer Datei zusammen.
Eine Aufnahme aus Python transkribieren
Rufen Sie generate_transcription(model="mlx-community/whisper-large-v3-turbo-asr-fp16", audio="audio.wav") aus mlx_audio.stt.generate auf und lesen Sie result.text. Mit einem anderen Modellnamen wechseln Sie zu Parakeet, Qwen3-ASR oder einer weiteren gelisteten Engine.
Einen lokalen OpenAI-kompatiblen Sprachserver betreiben
Starten Sie mlx_audio.server --host 127.0.0.1 --port 8000 und senden Sie Anfragen an /v1/audio/speech (Synthese) oder /v1/audio/transcriptions (Transkription). Das Beispiel der README bindet 0.0.0.0 und macht den Server damit im gesamten Netzwerk erreichbar; 127.0.0.1 beschränkt ihn auf den Mac.
MLX-Audio installieren
MLX-Audio wird über die Kommandozeile installiert; es gibt keine .dmg und keinen anderen Installer. Der einfachste Weg ist ein einziger pip-Befehl, erforderlich sind daher ein Terminal und Python 3.10 oder neuer.
Quelle | Link |
|---|---|
| Website (Dokumentation) | blaizzy.github.io/mlx-audio |
| Installation (pip) | pip install mlx-audio |
| Installation (uv, nur Kommandozeilenwerkzeuge) | uv tool install --force mlx-audio --prerelease=allow |
| GitHub-Repository (Quellcode, MIT) | github.com/Blaizzy/mlx-audio |
| PyPI-Paket | pypi.org/project/mlx-audio |
| Swift-Paket (macOS und iOS) | github.com/Blaizzy/mlx-audio-swift |
| Datenschutzerklärung | Auf der Website und im Repository nicht gefunden; die Bibliothek selbst läuft lokal |
Ein Apple-Silicon-Mac ist erforderlich. Für die Web-Oberfläche oder die Entwicklung klont die README das Repository und führt `pip install -e ".[dev, server]"` aus; die Oberfläche startet dann mit npm.
MLX-Audio: Lizenz und Preise
MLX-Audio ist kostenlos. Es gibt kein Konto, keinen Lizenzschlüssel, kein Bezahlmodell und kein Nutzungslimit; weder README noch Dokumentation erwähnen eine kommerzielle Edition.
- Die Bibliothek steht unter der MIT-Lizenz, die kommerzielle Nutzung, Änderung und Weitergabe unter Beibehaltung des Lizenzhinweises erlaubt
- Sprachmodelle werden separat geladen und haben eigene Lizenzen, teils strenger als MIT; lesen Sie vor dem Einsatz in einem Produkt jede Modellkarte
- Die tatsächlichen Kosten sind ein Apple-Silicon-Mac und Speicherplatz für die heruntergeladenen Modelle
- Eine gehostete oder verwaltete Version wurde nicht gefunden; MLX-Audio läuft nur auf Hardware unter Ihrer Kontrolle
Für wen eignet sich MLX-Audio?
MLX-Audio passt zu Menschen, die sich im Terminal wohlfühlen und Sprachmodelle ohne Cloud-Konto auf einem Mac nutzen möchten.
MLX-Audio ist geeignet, wenn Sie
- einen Apple-Silicon-Mac besitzen und Sprachausgabe, Transkription und Stimmwerkzeuge in einem Python-Paket wollen
- neue offene Sprachmodelle schnell ausprobieren möchten, denn die README listet bereits Dutzende Modellfamilien
- Code für OpenAIs Sprach-Endpunkte haben und ihn auf einen lokalen Server richten wollen
- Mac- oder iOS-Apps entwickeln und das begleitende Swift-Paket für Sprache auf dem Gerät nutzen möchten
Andere Lösungen sind besser, wenn Sie
- Windows, Linux oder einen Intel-Mac nutzen, wo MLX-Audio nicht läuft; probieren Sie faster-whisper oder Piper
- eine Transkriptions-App zum Anklicken statt einer Bibliothek suchen; siehe MacWhisper
- ein Produkt mit Herstellersupport und Servicevertrag brauchen, das dieses unabhängige Projekt nicht bietet
Wettbewerber und Alternativen
MLX-Audio steht neben lokalen Sprachwerkzeugen, die sich vor allem in Plattform, Modellauswahl und der Frage unterscheiden, ob sie Bibliothek oder App sind. Die vier folgenden haben eigene PromptQuorum-Tests.
Tool | Bekannt für | Link |
|---|---|---|
| whisper.cpp | Lokale Whisper-Spracherkennung in C/C++ für CPU und GPU | whisper.cpp-Test |
| faster-whisper | Schnelle Whisper-Transkription über CTranslate2 | faster-whisper-Test |
| Piper | Leichtgewichtige mehrsprachige Sprachausgabe, die auf der CPU läuft | Piper-Test |
| Coqui TTS | Quelloffene Sprachsynthese mit mehreren Modellarchitekturen | Coqui-TTS-Test |
Diese Liste zeigt Tools, die in der lokalen Sprachverarbeitung häufig verglichen werden, kein PromptQuorum-Ranking. Prüfen Sie den aktuellen Funktionsumfang vor der Entscheidung.
Häufig gestellte Fragen
Welche Sprachen unterstützt MLX-Audio?
Das hängt vom Modell ab. Die README nennt Kokoro mit acht Sprachen, Chatterbox mit 23, VoxCPM2 mit 30, OmniVoice mit über 646 und Whisper mit über 99 Sprachen für die Transkription.
Brauche ich ffmpeg?
Nur für die Ausgabe als MP3, FLAC, OGG, Opus oder Vorbis. WAV funktioniert ohne, und brew install ffmpeg ergänzt den Rest.
Kann MLX-Audio Stimmen klonen?
Ja, mit Modellen, die einen Referenzausschnitt akzeptieren. Die Stimme einer realen Person ohne deren Einwilligung zu klonen, kann vielerorts unzulässig sein; holen Sie die Erlaubnis ein und prüfen Sie die Modelllizenz.
Braucht der Server einen OpenAI-API-Schlüssel?
Die Beispielanfragen der README senden keinen Schlüssel. Die Endpunkte übernehmen die Anfrageform von OpenAI, es wird aber nichts an OpenAI gesendet.
Kann ich es in einer iPhone-App verwenden?
Das Python-Paket nicht. Das separate Paket mlx-audio-swift bietet Sprachausgabe auf dem Gerät für macOS und iOS.