Was ist mlxcel?
mlxcel ist eine native Inferenz-Runtime – sowohl ein Kommandozeilen-Tool als auch ein Server – zum lokalen Ausführen von KI-Modellen ohne Python-Interpreter im Anfragepfad. Das eigene GitHub-README beschreibt es als Lösung, die „leistungsstarke LLM-, VLM-, Embedding-, Reranking- und Audio-Inferenz für Apple-Silicon- und NVIDIA-CUDA-Systeme" liefert, ausgeführt über „native MLX-C++-Bindings".
- Produkttyp: eine Rust-native CLI (
mlxcel) und ein Server (mlxcel-server), verteilt als kompilierte Binärdateien über Homebrew oder aus dem Quellcode gebaut – kein Python-Paket und keine grafische Desktop-App - Entwickler: Lablup Inc., ein Unternehmen, das auch für Backend.AI bekannt ist, eine quelloffene KI-Infrastruktur- und MLOps-Plattform
- Repository: github.com/lablup/mlxcel, das ursprüngliche Projekt – unter anderen GitHub-Benutzernamen existieren mehrere Forks des Namens, die dieses Repository als übergeordnetes Projekt listen
- Lizenz: Apache 2.0, bestätigt über die LICENSE-Datei des Repositorys
- Begleitprodukt: Backend.AI Go, im eigenen README von mlxcel als optionale grafische Begleit-Oberfläche für lokalen Chat und Modellverwaltung beschrieben, die auf
mlxcel-serveraufsetzen kann
Projektgeschichte
Das README von mlxcel dokumentiert seine Versionsgeschichte über das CHANGELOG und beschreibt den aktuellen main-Branch als v0.7.0 plus unveröffentlichte Arbeiten. Das Projekt hat laut eigenem Changelog und README eine Reihe getaggter Releases durchlaufen und dabei Plattformziele und Serving-Funktionen hinzugefügt.
- 1Frühe Releases (bis v0.0.28) — Apple-Silicon-first-Inferenz
Why it matters: Das README des Projekts verweist auf eine frühere Benchmark-Kampagne (im README-Text selbst auf Mai 2026 datiert), die mit mlxcel 0.0.28 durchgeführt wurde – ein Hinweis darauf, dass das Projekt bereits in frühen veröffentlichten Versionen funktionierendes Text-Decode- und Prefill-Benchmarking hatte. - 2v0.6.0 — Spekulatives Decoding mit Exaktheitsrichtlinie
Why it matters: Laut README führte dieses Release eine Richtlinie ein, die die Greedy-Exaktheit prüft, bevor schnellere spekulative Decoding-Pfade aktiviert werden, statt immer den schnellsten verfügbaren Kernel unabhängig von der Ausgabekorrektheit zu verwenden. - 3v0.7.0 — Aktuelle Release-Basis
Why it matters: Das README beschreibt dies als das neueste getaggte Release zum Zeitpunkt dieser Rezension, mit Unterstützung für die DeepSeek-V4-Architektur, erweiterter llama-server-Routen-Kompatibilität und dtype-Korrekturen, die die Half-Precision-Performance bei mehreren Modellfamilien verbesserten. - 4Unveröffentlichter
main— Experimentelle AMD-ROCm-Unterstützung
Why it matters: Zum Zeitpunkt dieser Rezension ist AMD-GPU-Unterstützung über `--features rocm` im `main`-Branch vorhanden, aber laut dem README-Abschnitt „Current main highlights" noch nicht Teil eines getaggten Releases.
Was kann man mit mlxcel machen?
Der Funktionsumfang von mlxcel konzentriert sich auf das native Ausführen einer breiten Palette von Modelltypen mit produktionsorientierten Serving-Kontrollen. Hier ist, was jeder Teil tatsächlich leistet, laut dem eigenen README des Projekts.
- Direktes Checkpoint-Laden — lädt MLX-SafeTensors-Checkpoints direkt von Hugging Face, einschließlich der Organisation
mlx-community, wobei viele Standard-SafeTensors-Embedding-Checkpoints ebenfalls ohne Konvertierungsschritt laden - Multi-Format-API-Kompatibilität — bietet OpenAI (Chat Completions, Completions, Responses, Embeddings, Reranking, Audio), Anthropic Messages und Vertex-AI-kompatible Routen sowie eine dokumentierte, native,
llama-server-kompatible Routen- und Flag-Oberfläche, die an ein bestimmtes Upstream-Release gebunden ist - Breite Architekturabdeckung — dichte Transformer, Sparse-Mixture-of-Experts-Modelle, hybride State-Space-Modelle, Vision-Language-/OCR-Modelle, Embeddings, Reranker, Speech-to-Text und Text-to-Speech, abfragbar über den Befehl
mlxcel arch - Multi-Modell-Routing — der Router-Modus entdeckt Checkpoints aus einem Modellspeicher oder Verzeichnis, lädt sie bei Bedarf und begrenzt die residente Menge mit Least-Recently-Used-Verdrängung
- Live-LoRA-Adapter — mehrere LoRA-Adapter können laut README ungefused bleiben für Umschalten pro Anfrage oder gefused werden für Null-Decode-Overhead
- Spekulatives Decoding — gemessenes, auf Exaktheit geprüftes spekulatives Decoding für mehrere Modellfamilien (einschließlich Gemma-, Qwen- und GLM-4.7-Flash-MTP-Pfade), verfügbar über einen
/v1/internal/mtp-policy-Endpunkt - Betriebskontrollen — API-Schlüssel- und CORS/TLS-Konfiguration, Idle-Modell-Sleep/Wake, GBNF-Grammatiken, erweiterte Sampling-Kontrollen und Prompt-/Cache-Beobachtbarkeit
- Reproduzierbare Modelloperationen — YAML-definierte Gewichtsänderungen beim Laden (
scale,add,prune,replace,interpolate) über ein--surgery-Flag, für reproduzierbare Checkpoint-Modifikation ohne manuelles Bearbeiten von Gewichten
Anwendungsbeispiele: Drei Wege, mlxcel zu nutzen
Dies sind konkrete Workflows, aufgebaut auf den oben dokumentierten Funktionen von mlxcel, mit Befehlen aus dem eigenen README des Projekts.
Interaktiv mit einem Modell im Terminal chatten
mlxcel run Qwen3.5-0.8B-4bit ausführen, um das Modell beim ersten Gebrauch herunterzuladen und direkt im Terminal einen interaktiven Chat-REPL zu starten — kein Serverprozess, kein separater Client, laut dem dokumentierten Quick Start des READMEs.
Einen OpenAI-kompatiblen Server starten und mit curl aufrufen
mlxcel-server -m Qwen3.5-0.8B-4bit --port 8080 ausführen, um den Server zu starten, dann eine Anfrage senden mit `curl http://localhost:8080/v1/chat/completions -H 'Content-Type: application/json' -d '{"model":"Qwen3.5-0.8B-4bit","messages":[{"role":"user","content":"Hello"}]}'` — dieselbe Anfrageform, die gegen die eigene API von OpenAI verwendet wird.
Prüfen, ob ein Modell vor dem Download zur Hardware passt
mlxcel inspect -m Qwen3.5-0.8B-4bit --max-tokens 32768 ausführen für eine schreibgeschützte Speicherschätzung, die Modellgewichte, KV-Cache und Aktivierungsspeicher abdeckt, oder --json hinzufügen für eine maschinenlesbare Schätzung, die ein Skript vor Downloadbeginn gegen den verfügbaren Speicher prüfen kann.
mlxcel installieren
mlxcel wird kostenlos über Homebrew unter macOS und Linux installiert, der Quellcode liegt auf GitHub für einen Build aus dem Quellcode. Als CLI- und Server-Tool für Entwickler gibt es keinen grafischen Installer.
Quelle | Link |
|---|---|
| GitHub-Repository (Quellcode, Apache 2.0) | github.com/lablup/mlxcel |
| Homebrew-Installation | brew tap lablup/tap && brew install mlxcel |
| Quellcode-Build (Apple Silicon) | cargo build --release --features metal,accelerate |
| Quellcode-Build (NVIDIA CUDA) | cargo build --release --features cuda |
| Dokumentation | docs/installation.md |
Die Homebrew-Formel installiert das neueste getaggte Release. Für die neuesten unveröffentlichten Funktionen (wie experimentelle AMD-ROCm-Unterstützung) sowie für CUDA- oder ROCm-Ziele ist laut Projekt-README ein Build aus dem Quellcode erforderlich. Apple-Silicon-Quellcode-Builds benötigen Rust, die Xcode Command Line Tools, CMake und die Metal-Toolchain-Komponente.
mlxcel Preise: Ist mlxcel wirklich kostenlos?
Ja — mlxcel hat keine kostenpflichtige Stufe. Es wird als kostenloses, Apache-2.0-lizenziertes Open-Source-Projekt ohne Konto, Lizenzschlüssel oder Nutzungsobergrenze vertrieben. Das GitHub-Repository hat keine Preisseite.
- Keine Kosten für die Installation oder Ausführung von mlxcel selbst — sowohl die Homebrew-Formel als auch der Quellcode-Build sind kostenlos
- Die Apache-2.0-Lizenz erlaubt kommerzielle Nutzung, Modifikation und Weiterverbreitung, vorbehaltlich der Standardbedingungen der Lizenz (Namensnennung und Erhalt des Lizenzhinweises)
- Die einzigen echten Kosten sind die zum Betrieb erforderliche Hardware (ein Apple-Silicon-Mac oder eine CUDA-fähige GPU) und der Speicherplatz für separat heruntergeladene Modelle
- Lablup, das Unternehmen hinter mlxcel, verkauft auch Backend.AI als kommerzielles KI-Infrastrukturprodukt, doch diese Rezension fand keine Hinweise darauf, dass eine mlxcel-Funktion hinter einem Backend.AI-Kauf gesperrt ist — die optionale Begleit-App Backend.AI Go wird im README von mlxcel als separate, optionale GUI beschrieben, nicht als Voraussetzung
mlxcel vs. llama.cpp
mlxcel und llama.cpp sind beide native (Nicht-Python-)Inferenz-Runtimes, unterscheiden sich aber in Sprache, primärem Plattformfokus und Checkpoint-Format. llama.cpp ist ein C/C++-Projekt mit der breitesten Hardware-Unterstützung und quantisierten GGUF-Modellen; mlxcel ist ein Rust-Projekt mit Fokus auf MLX-SafeTensors-Checkpoints, Apple Silicon als primärem Ziel und dokumentierter llama-server-Routen-Kompatibilität für einfacheren Drop-in-Einsatz.
Sprache
- mlxcel:
- Rust
- llama.cpp:
- C/C++
Primäres Checkpoint-Format
- mlxcel:
- MLX SafeTensors
- llama.cpp:
- GGUF
Primäre Plattform
- mlxcel:
- Apple Silicon (Metal), CUDA sekundär
- llama.cpp:
- Breiteste Hardware-Unterstützung: CPU, CUDA, Metal, Vulkan u. a.
Maintainer
- mlxcel:
- Lablup (Backend.AI-Unternehmen)
- llama.cpp:
- Community-gepflegt, ursprünglich von Georgi Gerganov
API-Kompatibilität
- mlxcel:
- OpenAI, Anthropic, Vertex, plus llama-server-kompatible Routen
- llama.cpp:
- Der eigene
llama-serverist die Referenzimplementierung, zu der mlxcel Kompatibilität anstrebt
Dies ist ein sachlicher Funktionsvergleich auf Basis der Dokumentation der jeweiligen Projekte, kein von PromptQuorum durchgeführter Benchmark eines der beiden Tools. mlxcel zielt laut eigenem dokumentiertem b10621-Kompatibilitätsmanifest ausdrücklich auf Kompatibilität mit der llama-server-Routen-Oberfläche von llama.cpp ab, statt sich als unabhängige Alternative zu positionieren.
Für wen eignet sich mlxcel?
mlxcel eignet sich für Entwickler, die eine native, produktionsorientierte Inferenz-Runtime ohne Python-Abhängigkeit im Serving-Pfad wollen.
mlxcel nutzen, wenn Sie
- eine native (Rust-)Inferenz-Runtime ohne Python-Interpreter oder -Umgebung im Deployment-Pfad wollen
- einen Apple-Silicon-Mac oder einen NVIDIA-CUDA-fähigen Linux-Rechner besitzen und eine Runtime für LLMs, Vision-Language-Modelle, Embeddings, Reranking und Audio wollen
- bereits Tools gegen die API von
llama-serverbetreiben und eine dokumentierte, versionsgebundene Kompatibilitätsoberfläche statt Raten wollen - Multi-Modell-Routing mit automatischem Laden/Verdrängen oder Live-LoRA-Adapter-Umschaltung für ein Serving-Deployment benötigen
- ein Tool von einem Unternehmen (Lablup) mit bestehendem kommerziellem Infrastrukturprodukt wollen, statt eines Ein-Personen-Projekts
Woanders suchen, wenn Sie
- heute AMD-ROCm-Unterstützung in der Produktion benötigen — sie ist ausdrücklich als experimentell und nur per Quellcode-Build gekennzeichnet
- die breitestmögliche Hardware-Kompatibilität wollen (ältere CPUs, Nicht-CUDA/Metal-GPUs) — llama.cpp unterstützt eine breitere Hardware-Matrix
- eine grafische Desktop-Chat-App bevorzugen statt einer selbst konfigurierten CLI und eines Servers — siehe stattdessen Jan oder GPT4All
- eine Python-native Bibliothek zum Skripten und Fine-Tuning statt eines kompilierten Rust-Binaries wollen — mlx-lm passt besser für diesen Fall
Häufige Fehler bei der Bewertung von mlxcel
Die meiste Verwirrung über mlxcel entsteht durch die Annahme, dass die Plattform-Unterstützung oder das Checkpoint-Format breiter sind als dokumentiert.
Fehler 1: Annehmen, AMD-ROCm-Unterstützung sei produktionsreif
Das README kennzeichnet die ROCm-Unterstützung ausdrücklich als experimentell und nur per Quellcode-Build, wobei einige fusionierte Kernel auf langsamere Ausführungspfade zurückfallen und bekannte offene Lücken in der Installationsanleitung dokumentiert sind.
Fehler 2: Dieses Repository mit anderen gleichnamigen „mlxcel"-Forks verwechseln
Unter anderen GitHub-Benutzernamen existieren mehrere Forks des Namens. Diese Rezension behandelt speziell github.com/lablup/mlxcel, das Originalprojekt, bestätigt dadurch, dass andere Kopien es als übergeordnetes Projekt listen.
Fehler 3: GGUF-Checkpoint-Unterstützung erwarten
mlxcel lädt MLX-SafeTensors-Checkpoints, nicht das von llama.cpp und vielen Ollama-artigen Tools verwendete GGUF-Format. Vor der Annahme, dass ein Modell lädt, prüfen, ob es im MLX-Format veröffentlicht ist (häufig unter der Hugging-Face-Organisation mlx-community).
Fehler 4: mlxcels eigene veröffentlichte Performance-Vergleiche als unabhängig verifiziert behandeln
Performance-Zahlen gegenüber mlx-lm und mlx-vlm im README von mlxcel sind vom Projekt selbst gemessen, auf bestimmter Hardware und mit bestimmten Modell-Aufstellungen. Den Vergleich vor jeder Behandlung einer veröffentlichten Prozentzahl als Garantie für ein bestimmtes Modell auf der eigenen Hardware und mit den eigenen Checkpoints erneut durchführen.
Konkurrenten und Alternativen
mlxcel befindet sich im selben Segment für Apple-Silicon- und native-Runtime-Inferenz-Server wie vllm-mlx, oMLX und Rapid-MLX — unabhängige Projekte, die lokale Modelle mit einer OpenAI-kompatiblen oder ähnlichen API-Oberfläche ausführen, die sich hauptsächlich in Sprache (Rust vs. Python), Plattformbreite und Funktionsschwerpunkt unterscheiden.
Tool | Bekannt für | Link |
|---|---|---|
| vllm-mlx | vLLM-artiges Continuous Batching für Apple Silicon, Python-basiert | vllm-mlx Review |
| oMLX | Apple-Silicon-Inferenz-Server mit SSD-gestütztem Prompt-Caching | oMLX Review |
| Rapid-MLX | Native MLX-Inferenz-Server mit Fokus auf Serving-Geschwindigkeit | Rapid-MLX Review |
| LoRAX | Tausende LoRA-Adapter aus einem Basismodell auf einer GPU bedienen | LoRAX Review |
Diese Liste spiegelt häufig im Bereich Apple-Silicon- und native-Runtime-Inferenz-Engines verglichene Tools wider, kein unabhängiges PromptQuorum-Ranking — vor der Auswahl den aktuellen Funktionsumfang jedes Tools prüfen.
Häufig gestellte Fragen
Was ist mlxcel?
mlxcel (github.com/lablup/mlxcel) ist eine kostenlose, quelloffene (Apache 2.0) Rust-native Inferenz-CLI und ein Server für LLMs, Vision-Language-Modelle, Embeddings, Reranker und Audio, entwickelt von Lablup.
Wer entwickelt mlxcel?
Lablup Inc., das Unternehmen, das auch für die KI-Infrastruktur- und MLOps-Plattform Backend.AI bekannt ist.
Ist mlxcel kostenlos?
Ja. Es wird kostenlos über Homebrew oder einen Quellcode-Build installiert, ist Apache-2.0-lizenziert und hat keine kostenpflichtige Stufe, kein Konto und keine Nutzungsobergrenze.
Wie installiere ich mlxcel?
brew tap lablup/tap && brew install mlxcel unter macOS oder Linux ausführen, oder aus dem Quellcode mit Cargo bauen und dabei das passende Feature-Flag (metal, cuda oder das experimentelle rocm) verwenden, laut dem README des Projekts.
Welche Hardware unterstützt mlxcel?
Apple Silicon (Metal) ist das primäre Ziel. NVIDIA CUDA unter Linux ist ein sekundäres, unterstütztes Ziel. AMD ROCm unter Linux ist experimentell und nur per Quellcode-Build verfügbar. Ein reiner CPU-only-Linux-Build funktioniert, ist aber kein validiertes Release-Ziel.
Benötigt mlxcel Python?
Nein. mlxcel ist in Rust geschrieben und führt MLX-Checkpoints über native MLX-C++-Bindings aus, ohne Python-Interpreter im Anfragepfad.
Welches Checkpoint-Format verwendet mlxcel?
MLX-SafeTensors-Checkpoints, einschließlich jener, die unter der Hugging-Face-Organisation mlx-community veröffentlicht werden — nicht das von llama.cpp verwendete GGUF-Format.
Ist mlxcel mit der API von llama.cpp kompatibel?
Ja, teilweise und bewusst so gestaltet: mlxcel dokumentiert ein eingefrorenes, versionsgebundenes Kompatibilitätsmanifest für llama-server-Routen und -Flags neben den eigenen OpenAI-, Anthropic- und Vertex-kompatiblen Endpunkten.
Unterstützt mlxcel Audio- und Vision-Modelle?
Ja. Es verarbeitet Vision-Language-Eingaben, Speech-to-Text-Transkription und Text-to-Speech-Synthese (über Modelle der Kokoro-Familie) neben Textgenerierung, Embeddings und Reranking.
Hat PromptQuorum die Benchmark-Aussagen von mlxcel unabhängig getestet?
Nein. Diese Rezension basiert auf dem eigenen GitHub-Repository und README von mlxcel, nicht auf praktischem Benchmarking durch PromptQuorum. Die Performance-Vergleiche im README des Projekts sind selbst gemessen.