Zum Hauptinhalt springen
PromptQuorumFür Menschen gemacht. Strukturiert für KI.
Startseite/Lokale LLMs Pro
Overview & Reference

mlx-serve Review: Nativer Zig-Inferenzserver für Apple Silicon

·11 Min. LesezeitVon Hans Kuepper · Gründer von PromptQuorum · Entdeckungsplattform für Open-Weight- und Open-Source-KI

mlx-serve ist ein kostenloser, quelloffener Inferenzserver (Quellcode unter github.com/ddalcu/mlx-serve) in Zig, der KI-Modelle nativ auf Apple-Silicon-Macs ausführt und gleichzeitig OpenAI-kompatible, Anthropic-kompatible und Ollama-kompatible APIs aus einer einzigen Binärdatei bereitstellt. Es gibt keine kostenpflichtige Stufe: Die LICENSE-Datei auf GitHub ist die MIT-Lizenz, Copyright David Dalcu, wobei einige mitgelieferte Drittkomponenten unter der Apache License 2.0 stehen, gelistet in der NOTICE-Datei des Repositorys. mlx-serve setzt macOS 26.2 oder neuer auf Apple-Silicon-Hardware voraus, dispatcht nativ an MLX für unterstützte Modellfamilien und an ein eingebettetes llama.cpp für GGUF-Modelle, und liefert eine gebündelte macOS-Menüleisten-App namens MLX Core für Chat, Agenten-Tool-Aufrufe und Medien-Generierung mit.

Wichtigste Erkenntnisse

  • mlx-serve ist kostenlos und quelloffen; die offizielle LICENSE-Datei auf GitHub ist die MIT-Lizenz, mit einigen mitgelieferten Drittkomponenten unter der Apache License 2.0
  • Läuft nativ auf Apple Silicon über MLX für unterstützte Modellfamilien und über ein eingebettetes llama.cpp für GGUF-Modelle
  • Bedient OpenAI-kompatible Chat/Completions- und Responses-APIs, die Anthropic Messages API und die Ollama-API gleichzeitig auf einem Port
  • Liefert eine gebündelte macOS-Menüleisten-Begleit-App, MLX Core, mit Multi-Session-Chat, Agentenmodus mit MCP-Tool-Unterstützung und Bild-/Video-/Musik-/Sprach-/3D-Generierungs-Panels mit
  • Einzelne ~7-MB-Binärdatei ohne Python-Laufzeitabhängigkeit
  • Vorkonfigurierte Launcher für Coding-Agenten, darunter Claude Code, OpenCode und Cursor
  • Erfordert macOS 26.2 oder neuer auf Apple-Silicon-Hardware (M-Serie) — keine Unterstützung für Windows, Linux oder Intel-Macs
  • Entwickelt von David Dalcu; liefert Stand dieser Review nahezu tägliche getaggte Releases

📍 In einem Satz

mlx-serve ist ein kostenloser, quelloffener Zig-Inferenzserver für Apple-Silicon-Macs, der OpenAI-, Anthropic- und Ollama-kompatible APIs aus einer einzigen Binärdatei bereitstellt, ganz ohne kostenpflichtige Stufe.

💬 In einfachen Worten

Statt Python und mehrere separate Pakete zu installieren, um einen lokalen Modellserver zu betreiben, ist mlx-serve ein kleines Programm, das mit Homebrew installiert wird. Es führt Modelle direkt über Apples MLX-Framework aus oder, bei GGUF-Modellen, über eine eingebettete Kopie von llama.cpp, und beantwortet Anfragen im selben Format, das OpenAI, Anthropic und Ollama verwenden — Tools, die bereits für diese APIs gebaut wurden, funktionieren also ohne Änderungen gegen mlx-serve.

Lesen auf:
🇺🇸en🇩🇪de🇫🇷fr🇯🇵ja🇨🇳zh🇪🇸es🇧🇷pt🇸🇦ar🇰🇷ko

mlx-serve (github.com/ddalcu/mlx-serve) ist ein kostenloser, quelloffener Inferenzserver in Zig, der große Sprachmodelle nativ auf Apple-Silicon-Macs ausführt und OpenAI-, Anthropic- und Ollama-kompatible APIs aus einer einzigen ~7-MB-Binärdatei bereitstellt — ganz ohne Python-Laufzeitumgebung. Der Server dispatcht an MLX für native Apple-Silicon-Modelle und bindet llama.cpp für GGUF-Modelle ein; zusätzlich liefert er eine gebündelte macOS-Menüleisten-App namens MLX Core für Chat, Agenten-Workflows und Medien-Generierung mit. Diese Review beschreibt, was mlx-serve tatsächlich leistet, wie die Installation funktioniert, welchen Funktionsumfang es wirklich hat und wo es sich neben anderen Inferenzservern aus dem MLX-Ökosystem einordnet.

Was ist mlx-serve?

mlx-serve ist ein nativer Inferenzserver für Apple-Silicon-Macs, der KI-Modelle lokal ausführt und über OpenAI-, Anthropic- und Ollama-kompatible APIs bereitstellt. Die eigene GitHub-Beschreibung lautet: "Native LLM inference server for Apple Silicon. OpenAI + Anthropic API compatible. No Python. Includes MLX Core macOS app with chat, agent mode, and tool calling." Der Server selbst ist in Zig geschrieben, einer Systemprogrammiersprache — deshalb wird er als einzelne kleine Binärdatei ausgeliefert statt als Python-Anwendung mit zu installierenden Abhängigkeiten.

  • Kernfunktion: ein lokaler Inferenzserver, der ein Modell einmal lädt und gleichzeitig in drei verschiedenen API-Formaten über HTTP bereitstellt
  • Natives Modell-Dispatch: MLX — Apples eigenes Array-Computing-Framework für Apple Silicon — für unterstützte Modellfamilien, sowie ein eingebettetes llama.cpp für Modelle im GGUF-Format
  • API-Kompatibilität: OpenAI-Chat/Completions- und Responses-Endpunkte, die Anthropic Messages API und die Ollama-API, standardmäßig alle auf Port 11234
  • Begleit-App: MLX Core, eine gebündelte macOS-Menüleisten-Anwendung für Chat, Agenten-Workflows und Medien-Generierung, installiert als separates Homebrew-Cask neben dem Server
  • Entwickler: David Dalcu, ein Einzelentwickler laut Copyright-Hinweis in der LICENSE-Datei des GitHub-Repositorys
  • Kanonisches Repository: github.com/ddalcu/mlx-serve — das Originalprojekt; mehrere Forks und mindestens ein unabhängiges, anders verfasstes Projekt teilen einen ähnlichen Namen — prüfen Sie, dass Sie speziell auf dieses Repository verweisen

mlx-serve Release-Historie

Das GitHub-Repository von mlx-serve wurde im Februar 2026 angelegt, und das Projekt liefert seither nahezu tägliche getaggte Releases mit spekulativem Decoding, Launchern für Coding-Agenten und erweiterter Medien-Generierung. Es handelt sich um ein junges, sich schnell entwickelndes Projekt und nicht um ein ausgereiftes mit langer Erfolgsgeschichte — das sollte in jede Bewertung einfließen.

  1. 1
    v26.8.9 — 18. August 2026: Launcher für Coding-Agenten
    Why it matters: Fügte laut Release Notes ("launch your coding agent") vorkonfigurierte Launcher für Coding-Agenten hinzu, zusammen mit reichhaltigerem Chat und schnellerem Decoding, laut der [offiziellen Releases-Seite](https://github.com/ddalcu/mlx-serve/releases).
  2. 2
    v26.8.10 — 26. August 2026: Neural-Engine-Prefill-Offload
    Why it matters: Fügte Neural-Engine-Prefill-Offload und batched Decoding hinzu — eine Optimierung, die einen Teil der Inferenz-Pipeline auf Apples dedizierte Neural-Engine-Hardware auslagert.
  3. 3
    v26.8.11 — 29. August 2026: MLX 0.32.2 und Qwen 3.8 Flash Next
    Why it matters: Aktualisierte die mitgelieferte MLX-Framework-Version und fügte Unterstützung für eine neuere Qwen-Modellvariante hinzu.
  4. 4
    v26.9.1 — 3. September 2026: 1M-Kontext und schnelleres Flash-Decoding
    Why it matters: Fügte Terminals in der Seitenleiste der MLX-Core-Begleit-App hinzu, plus Unterstützung für ein Kontextfenster von 1 Million Token bei kompatiblen Modellen.
  5. 5
    v26.9.2 — 9. September 2026: Pro-Modell-Einstellungen und Chat-Provider
    Why it matters: Fügte modellbezogene Konfiguration und zusätzliche Chat-Provider-Optionen hinzu, plus weitere Verbesserungen der Decoding-Geschwindigkeit.
  6. 6
    v26.9.3 — 16. September 2026: Spekulatives Decoding für alle Modelle
    Why it matters: Erweiterte laut Release Notes die Unterstützung für spekulatives Decoding über eine eingeschränkte Modellauswahl hinaus, zusammen mit Performance-Arbeit für Flash auf 64-GB-Macs.
  7. 7
    v26.9.4 — 17. September 2026: Korrektheits-Fixes und Benchmarks
    Why it matters: Lieferte Korrektheits-Fixes, fügte chinesischsprachige Dokumentation hinzu und veröffentlichte neue Benchmark-Zahlen — der aktuellste stabile Tag, der Stand dieser Review auf der [offiziellen Releases-Seite](https://github.com/ddalcu/mlx-serve/releases) verzeichnet ist.

Was kann man mit mlx-serve tun?

Der Funktionsumfang von mlx-serve konzentriert sich darauf, Modelle schnell auf Apple Silicon bereitzustellen und dabei kompatibel mit Tools zu bleiben, die bereits für andere APIs gebaut wurden. Hier ist, was jeder Teil laut GitHub-README des Projekts tatsächlich leistet.

  • Multi-API-Bereitstellung — der Server beantwortet OpenAI-Chat/Completions- und Responses-Anfragen, Anthropic-Messages-API-Anfragen und Ollama-API-Anfragen gleichzeitig auf demselben Port, sodass bestehender OpenAI-/Anthropic-/Ollama-Client-Code nur mit einer Basis-URL-Änderung auf mlx-serve zeigen kann
  • Natives MLX-Modell-Dispatch — Modelle mit nativer MLX-Unterstützung (laut README: Gemma, Qwen, Llama, Mistral und DeepSeek V4 Flash) laufen direkt über Apples MLX-Framework auf Apple Silicon
  • Eingebettetes llama.cpp für GGUF — Tausende von GGUF-formatigen Modellen, die nicht nativ von MLX unterstützt werden, laufen stattdessen über eine eingebettete Kopie von llama.cpp, ohne separate Installation
  • Performance-Funktionen — das README dokumentiert vier Varianten von spekulativem Decoding, kontinuierliches Batching, KV-Cache-Quantisierung und angepasste Metal-Kernel, ausgerichtet auf Durchsatz auf Apple Silicon
  • MLX-Core-Begleit-App — eine gebündelte macOS-Menüleisten-Anwendung mit Multi-Session-Chat inklusive PDF-/Bildanhängen, einem Agentenmodus mit integrierten Tools und Model-Context-Protocol-(MCP)-Marktplatz-Integration, einer isolierten Agent Sandbox zum Ausführen von Shell-Befehlen, einem Modell-Browser mit fortsetzbaren Downloads sowie Generierungs-Panels für Bilder, Video, Musik, Sprache (inklusive Voice Cloning mit Kokoro-Stimmen) und 3D-Modelle
  • Launcher für Coding-Agenten — vorkonfigurierte Launch-Profile für Coding-Agenten wie Claude Code, OpenCode, Pi und Cursor, laut Release Notes
  • Keine Python-Abhängigkeit — die Server-Binärdatei ist rund 7 MB groß und benötigt keine Python-Laufzeitumgebung, im Gegensatz zu vielen anderen lokalen Inferenz-Tools

Anwendungsbeispiele: Drei Wege, mlx-serve zu nutzen

Dies sind konkrete Workflows, die auf den oben dokumentierten Befehlen von mlx-serve basieren — keine hypothetischen Anwendungsfälle.

Ein Modell per Kommandozeile laden und ausführen

Führen Sie nach der Installation von mlx-serve über Homebrew mlx-serve pull qwen3.6:27b aus, um ein Modell herunterzuladen, und anschließend mlx-serve run gemma4 (oder das Modell, das Sie heruntergeladen haben), um direkt im Terminal damit zu chatten. Das ist der schnellste Weg, um zu bestätigen, dass Server und Modell beide funktionieren, bevor Sie einen Client darauf zeigen lassen.

Einen bestehenden OpenAI- oder Anthropic-Client auf mlx-serve zeigen lassen

Starten Sie den Server mit mlx-serve serve und ändern Sie anschließend die Basis-URL in einem beliebigen OpenAI- oder Anthropic-kompatiblen Client (zum Beispiel einem bestehenden Skript, das das openai-Python-Paket verwendet) vom Cloud-Endpunkt auf http://localhost:11234 und verwenden Sie einen beliebigen Platzhalter-String als API-Schlüssel. Anfragen werden vom aktuell in mlx-serve geladenen Modell bedient, sodass Sie bestehenden Client-Code gegen ein vollständig lokales Modell wiederverwenden können, ohne mehr als die Basis-URL zu ändern.

Einen Coding-Agenten gegen ein lokales Modell laufen lassen

Verwenden Sie einen der vorkonfigurierten Launcher von mlx-serve — zum Beispiel den für Claude Code —, um diesen Coding-Agenten laut der dokumentierten Agenten-Launcher-Funktion des Projekts auf ein von mlx-serve bereitgestelltes lokales Modell statt auf eine Cloud-API zeigen zu lassen. So bleiben die Modellaufrufe einer Coding-Session auf dem Gerät, statt Codekontext an einen Cloud-Anbieter zu senden.

mlx-serve Preise: Wirklich kostenlos?

Ja — mlx-serve hat keine kostenpflichtige Stufe. Das GitHub-Repository hat keine Preisseite, und die LICENSE-Datei gilt für die gesamte Anwendung. Der Lizenztext ist die Standard-MIT-Lizenz, Copyright David Dalcu — permissiv, ohne Copyleft-Verpflichtungen. GitHubs eigene Repository-Metadaten klassifizieren die Gesamtlizenz als benutzerdefinierten ("Other")-Eintrag statt als reines MIT-Badge, weil das Repository außerdem einige Drittkomponenten unter der Apache License 2.0 mitliefert, dokumentiert in einer separaten NOTICE-Datei.

  • Kein Abonnement, keine kostenpflichtige Stufe, keine von mlx-serve selbst auferlegten Nutzungsgrenzen
  • Kein Konto oder Anmeldung erforderlich, um den Server oder die MLX-Core-Begleit-App zu installieren oder zu nutzen
  • Der Kerncode von mlx-serve ist MIT-lizenziert — permissiv, kostenlos für kommerzielle und nicht-kommerzielle Nutzung, mit im Lizenztext erhaltener Namensnennung
  • Einige mitgelieferte Drittkomponenten (laut NOTICE-Datei des Repositorys) sind unter der Apache License 2.0 statt MIT lizenziert — lesen Sie die NOTICE-Datei direkt, falls die Compliance-Prüfung Ihrer Organisation von der genauen Lizenzmischung abhängt

mlx-serve vs. Ollama

mlx-serve und Ollama stellen beide lokale Modelle über eine HTTP-API auf einem Mac bereit, und werden häufig verglichen, weil beide hinter denselben Client-Tools stehen können. Die deutlichsten Unterschiede liegen im Plattformumfang und der Wahl der nativen Engine.

Aspekt
mlx-serve
Ollama
PlattformenNur macOS (Apple Silicon)macOS, Windows, Linux
Native EngineMLX (nativ) + eingebettetes llama.cpp für GGUFBasiert auf llama.cpp
API-KompatibilitätOpenAI + Anthropic + Ollama-API, gleicher PortEigene API, plus OpenAI-kompatibler Endpunkt
Mitgelieferte GUIMLX-Core-Menüleisten-App (Chat, Agentenmodus, Medien-Gen.)Minimale integrierte GUI; setzt auf Drittanbieter-Frontends
LaufzeitabhängigkeitEinzelne ~7-MB-Binärdatei, kein PythonEinzelne Go-Binärdatei, kein Python
Medien-GenerierungBild/Video/Musik/Sprache/3D über MLX CoreNur Text- und Vision-Chat

Die Ollama-API-Kompatibilität von mlx-serve bedeutet, dass für Ollama gebaute Tools laut Projektdokumentation oft direkt auf mlx-serve zeigen können. Wenn plattformübergreifende Unterstützung wichtig ist — Windows oder Linux, nicht nur macOS —, ist Ollama die Option mit breiterer Reichweite; prüfen Sie aktuelle Funktionsdetails direkt auf der jeweiligen Projektseite, bevor Sie sich entscheiden, da beide häufig Updates liefern.

Im Verzeichnis vergleichen

Für wen eignet sich mlx-serve?

Ob mlx-serve passt, hängt davon ab, ob Sie Apple-Silicon-Hardware besitzen und einen einzigen Server wollen, der mehrere Client-API-Formate spricht, plus eine mitgelieferte GUI für Medien-Generierung.

Nutzen Sie mlx-serve, wenn

  • Sie einen Apple-Silicon-Mac mit macOS 26.2 oder neuer betreiben und einen nativen, schnellen lokalen Inferenzserver ohne Python-Installation wollen
  • Sie einen einzigen Server wollen, der gleichzeitig OpenAI-, Anthropic- und Ollama-API-Formate spricht, sodass Sie bestehenden Client-Code für alle drei wiederverwenden können
  • Sie Bild-, Video-, Musik-, Sprach- oder 3D-Generierung aus demselben Tool wollen, das auch Ihre Chat-Modelle bereitstellt, über die MLX-Core-Begleit-App
  • Sie vorkonfigurierte Launcher für Coding-Agenten wie Claude Code oder Cursor wollen, die auf ein vollständig lokales Modell zeigen
  • Sie sich mit einem jungen, sich schnell entwickelnden Open-Source-Projekt mit nahezu täglichen Releases wohlfühlen, statt mit einem langsamer voranschreitenden, ausgereiften Tool

Warten Sie oder schauen Sie sich anderswo um, wenn

  • Sie einen Intel-Mac, Windows oder Linux nutzen — mlx-serve hat für keine dieser Plattformen einen Build
  • Sie ein lange etabliertes Projekt mit jahrelanger Erfolgsgeschichte wollen — das GitHub-Repository von mlx-serve wurde im Februar 2026 angelegt und ist damit einer der neueren Einträge in dieser Kategorie
  • Sie die Lizenzbedingungen als einzelnes, eindeutiges Badge benötigen — der Kern von mlx-serve ist MIT, aber das Repository liefert außerdem einige Apache-2.0-lizenzierte Drittkomponenten mit, separat dokumentiert in der NOTICE-Datei; prüfen Sie beide Dateien für eine rechtliche Entscheidung
  • Sie ein ausgereiftes, breit dokumentiertes Ökosystem aus Drittanbieter-Frontends und Integrationen wollen — Ollama hat, wie im Vergleich oben, ein größeres bestehendes Ökosystem speziell dafür gebauter Tools

mlx-serve vs. andere MLX-Inferenz-Tools

mlx-serve ist einer von mehreren Apple-Silicon-fokussierten Inferenzservern, die rund um Apples MLX-Framework entstanden sind. So schneidet es im Vergleich zu anderen Optionen in diesem Bereich ab — siehe das lokale KI-Software-Verzeichnis für den vollständigen Katalog und den eigenen mlx-serve-vs.-Ollama-Vergleich oben für den plattformübergreifend direktesten Vergleich.

  • MLX LM — Apples eigene Python-Bibliothek und Kommandozeilen-Tools zum Ausführen und Feintunen von Sprachmodellen mit MLX; tiefer angesiedelt und Python-basiert, im Gegensatz zur eigenständigen Zig-Binärdatei von mlx-serve. Siehe die MLX-LM-Erklärung für einen tieferen Blick auf die zugrunde liegende Bibliothek, auf der das native Dispatch von mlx-serve aufbaut.
  • omlx — eine weitere Apple-Silicon-fokussierte lokale Inferenzoption; siehe die eigene Review für den Vergleich von Funktionsumfang und API-Kompatibilität mit mlx-serve.
  • rapid-mlx — ein performance-orientiertes MLX-basiertes Inferenz-Tool; siehe die eigene Review für einen Durchsatz- und Funktionsvergleich gegenüber mlx-serve.
  • LoRAX — ein Serving-Framework für mehrere LoRA-Adapter; relevant, wenn Ihr Workflow viele feingetunte Adapter aus einem Basismodell statt eines einzelnen Modells pro Server bedienen muss, was nicht der Designschwerpunkt von mlx-serve ist.
  • Ollama — ein plattformübergreifender lokaler Modellserver; siehe den eigenen Vergleichsabschnitt oben für die Unterschiede zu mlx-serve bei Plattformumfang und nativer Engine.

Im Verzeichnis vergleichen

Häufige Fehler bei der Bewertung von mlx-serve

Die meiste Verwirrung um mlx-serve entsteht durch die Plattformbeschränkung, die Lizenzklassifizierung auf GitHub oder die Annahme, es handle sich wie bei den meisten anderen lokalen Inferenzservern um ein Python-Tool.

Fehler 1: Annehmen, mlx-serve laufe auf Windows oder Linux

mlx-serve erfordert macOS 26.2 oder neuer auf Apple-Silicon-Hardware. Es gibt keinen offiziellen Windows- oder Linux-Build, und im Repository ist Stand dieser Review auch keiner als geplant dokumentiert.

Fehler 2: Das "Other"-Lizenz-Badge auf GitHub als nicht-permissive Lizenz lesen

GitHub klassifiziert die Gesamtlizenz von mlx-serve als "Other", weil das Repository einige Drittkomponenten unter der Apache License 2.0 neben dem MIT-lizenzierten Kerncode mitliefert. Die LICENSE-Datei selbst enthält standardmäßigen MIT-Text — lesen Sie sowohl LICENSE- als auch NOTICE-Datei direkt, falls diese Unterscheidung für Ihren Anwendungsfall relevant ist.

Fehler 3: Dieses Repository mit ähnlich benannten Forks oder unabhängigen Projekten verwechseln

Es existieren mehrere Forks von mlx-serve unter verschiedenen GitHub-Benutzernamen mit identischer Beschreibung, und mindestens ein unabhängiges, anders verfasstes Projekt trägt den Namen "mlx-serve" mit deutlich geringerer Sternezahl und anderem Codebase. Diese Review behandelt speziell github.com/ddalcu/mlx-serve — prüfen Sie, dass Sie auf dieses Repository schauen, bevor Sie installieren oder Sternezahlen zitieren.

Fehler 4: Annehmen, jedes Modell laufe mit nativer MLX-Geschwindigkeit

Nur Modellfamilien mit nativer MLX-Unterstützung (laut README: Gemma, Qwen, Llama, Mistral und DeepSeek V4 Flash) erhalten den nativen Dispatch-Pfad. Andere Modelle im GGUF-Format laufen zwar auch, aber über die eingebettete llama.cpp-Engine statt direkt über MLX — die Performance-Eigenschaften unterscheiden sich zwischen den beiden Pfaden.

Häufig gestellte Fragen

Was ist mlx-serve?

mlx-serve (github.com/ddalcu/mlx-serve) ist ein kostenloser, quelloffener Inferenzserver in Zig, der KI-Modelle lokal auf Apple-Silicon-Macs ausführt und OpenAI-kompatible, Anthropic-kompatible und Ollama-kompatible APIs aus einer einzigen Binärdatei bereitstellt.

Ist mlx-serve kostenlos?

Ja. Das GitHub-Repository hat keine Preisseite, und die LICENSE-Datei ist die MIT-Lizenz, die für die gesamte Kernanwendung gilt, ohne kostenpflichtige Stufe.

Ist mlx-serve quelloffen? Welche Lizenz verwendet es?

Ja, mlx-serve ist quelloffen. Die Kern-LICENSE-Datei ist die Standard-MIT-Lizenz, Copyright David Dalcu. Das Repository liefert außerdem einige Drittkomponenten unter der Apache License 2.0 mit, gelistet in einer separaten NOTICE-Datei, weshalb GitHubs Repository-Metadaten die Lizenz als benutzerdefinierten ("Other")-Eintrag statt als reines MIT-Badge anzeigen. Prüfen Sie beide Dateien selbst für eine rechtliche Entscheidung.

Welche Plattformen unterstützt mlx-serve?

Nur macOS 26.2 oder neuer auf Apple-Silicon-Hardware (M-Serie), laut offiziellem GitHub-README. Es gibt keine Unterstützung für Windows, Linux oder Intel-Macs.

Benötigt mlx-serve Python?

Nein. mlx-serve ist in Zig geschrieben und wird als einzelne Binärdatei mit rund 7 MB Größe ausgeliefert, ganz ohne Python-Laufzeitabhängigkeit — im Gegensatz zu vielen anderen lokalen Inferenz-Tools.

Welche Modellformate unterstützt mlx-serve?

Modelle mit nativer MLX-Unterstützung (das README nennt Gemma, Qwen, Llama, Mistral und DeepSeek V4 Flash) laufen direkt über Apples MLX-Framework. Andere Modelle im GGUF-Format laufen stattdessen über eine eingebettete Kopie von llama.cpp, ohne separate Installation.

Was ist MLX Core?

MLX Core ist die gebündelte macOS-Menüleisten-Begleit-App für mlx-serve, installiert als separates Homebrew-Cask. Sie bietet Multi-Session-Chat, einen Agentenmodus mit MCP-Tool-Integration, einen Modell-Browser und Generierungs-Panels für Bilder, Video, Musik, Sprache und 3D-Modelle.

Kann mlx-serve Ollama für bestehende Tools ersetzen?

Oft ja — mlx-serve stellt neben OpenAI- und Anthropic-kompatiblen APIs auch eine Ollama-kompatible API auf demselben Port bereit, sodass für die Ollama-API gebaute Tools häufig mit nur einer Basis-URL-Änderung auf mlx-serve zeigen können. Prüfen Sie die Kompatibilität für Ihren konkreten Client, bevor Sie in einem Produktions-Workflow wechseln.

Wie installiere ich mlx-serve?

Über Homebrew: brew tap ddalcu/mlx-serve https://github.com/ddalcu/mlx-serve gefolgt von brew install mlx-serve für den Server, und brew install --cask mlx-core für die optionale Menüleisten-Begleit-App. Prüfen Sie das offizielle GitHub-README auf aktuelle Anweisungen, bevor Sie installieren.

Wann wurde mlx-serve erstmals veröffentlicht?

Das GitHub-Repository von mlx-serve wurde im Februar 2026 angelegt. Stand dieser Review liefert das Projekt nahezu tägliche getaggte Releases — siehe die offizielle Releases-Seite für die vollständige Historie.

Quellen

← Zurück zu Lokale LLMs Pro

MCP