Skip to main content
PromptQuorum
Startseite/Lokale LLMs Pro/oMLX Review 2026: Inferenzserver für Apple Silicon mit SSD-Caching
Overview & Reference

oMLX Review 2026: Inferenzserver für Apple Silicon mit SSD-Caching

·12 Min. Lesezeit·Von Hans Kuepper · Gründer von PromptQuorum, Multi-Model-AI-Dispatch-Tool · PromptQuorum
Lesen auf:
🇺🇸en🇩🇪de🇫🇷fr🇯🇵ja🇨🇳zh🇪🇸es🇧🇷pt🇸🇦ar🇰🇷ko

oMLX ist ein kostenloser, quelloffener lokaler Inferenzserver für Apple Silicon (Quellcode unter github.com/jundot/omlx), der offene Modelle über Apples MLX-Framework auf Ihrem eigenen Mac ausführt, mit einer nativen macOS-Menüleisten-App zur Verwaltung und OpenAI-/Anthropic-kompatiblen API-Endpunkten für andere Tools. Er ist unter einer unveränderten Apache License 2.0 (Copyright oMLX-Contributors) lizenziert, ohne kostenpflichtige Stufe. oMLX benötigt macOS 15.0 (Sequoia) oder neuer auf Apple Silicon (M1 bis M5) — es läuft nicht auf Intel-Macs, Windows oder Linux, weil MLX selbst nur Apple Silicon unterstützt. Sein zentrales Merkmal ist ein mehrstufiger Schlüssel-Wert-Cache, der inaktive Kontextblöcke auf die SSD auslagert, statt sie zu verwerfen, sodass ein Coding-Agent bei der Rückkehr zu einer langen Konversation diesen Kontext in Sekunden wiederherstellen kann, statt ihn von Grund auf neu zu berechnen.

oMLX (github.com/jundot/omlx, auch dokumentiert unter omlx.ai) ist ein kostenloser, quelloffener lokaler Inferenzserver, der auf Apples MLX-Framework aufbaut und sowohl als native macOS-Menüleisten-App als auch als Kommandozeilen-Server ausgeliefert wird. Er führt offene Modelle vollständig auf Ihrem Mac aus, stellt OpenAI- und Anthropic-kompatible API-Endpunkte bereit und ergänzt einen mehrstufigen RAM-plus-SSD-Schlüssel-Wert-Cache, der lange Coding-Agenten-Kontexte auch über Neustarts hinweg schnell hält. Diese Review behandelt, was oMLX tatsächlich kann, wie Sie es installieren, wie es sich mit dem einfachen mlx-lm vergleicht und wo es sich neben anderen lokalen Inferenz-Tools einordnet.

Wichtigste Erkenntnisse

  • oMLX ist kostenlos und quelloffen; die offizielle GitHub-LICENSE ist eine unveränderte Apache License 2.0, Copyright oMLX-Contributors
  • Läuft vollständig lokal über Apples MLX-Framework und den BatchGenerator von mlx-lm — keine Cloud-Verbindung erforderlich
  • Benötigt macOS 15.0 (Sequoia) oder neuer, Apple Silicon (M1–M5) und Python 3.11–3.13; unterstützt keine Intel-Macs, Windows oder Linux
  • Liefert eine native macOS-Menüleisten-App (Swift/SwiftUI, kein Electron) zusammen mit einem omlx-Kommandozeilen-Tool und Hintergrunddienst
  • Mehrstufiger Schlüssel-Wert-Cache — heiße Blöcke im RAM, kalte Blöcke im safetensors-Format auf die SSD ausgelagert, überstehen Server-Neustarts mit Prefix-Sharing und Copy-on-Write
  • Stellt OpenAI-kompatible (/v1/chat/completions, /v1/completions, /v1/embeddings, /v1/rerank) und Anthropic-kompatible (/v1/messages) Endpunkte unter http://localhost:8000 bereit
  • Ein-Klick-Einrichtung für Coding-Agenten-Integrationen — darunter Claude Code, Cursor, OpenClaw, OpenCode, Codex, Hermes Agent, Copilot und Pi — direkt aus dem integrierten Admin-Dashboard
  • Entwickelt von einem einzelnen Entwickler, jundot, erstmals öffentlich angekündigt in einem MLX-GitHub-Diskussionsthread im März 2026; das kanonische Repository ist github.com/jundot/omlx — mehrere gleichnamige Forks existieren unter anderen GitHub-Benutzernamen und sind nicht das Originalprojekt

📍 In einem Satz

oMLX ist ein kostenloser, quelloffener lokaler Inferenzserver für Apple-Silicon-Macs, der Modelle über MLX ausführt, als Menüleisten-App plus CLI/Server ausgeliefert wird und einen paginierten SSD-Cache ergänzt, damit Coding-Agenten-Kontexte schnell nachladen, statt von Grund auf neu berechnet zu werden.

💬 In einfachen Worten

Statt dass ein Modell seinen gesamten Gesprächsverlauf bei jedem erneuten Öffnen eines Coding-Agenten von null neu lädt, speichert oMLX die verarbeitete Version dieses Kontexts auf der SSD Ihres Macs und stellt sie in Sekunden wieder her. Es läuft vollständig auf Ihrem eigenen Mac, hat ein Menüleisten-Symbol, sodass Sie das Terminal nicht anfassen müssen, und spricht zudem dieselben API-Formate wie OpenAI und Anthropic, sodass Tools wie Claude Code oder Cursor direkt darauf zeigen können.

📌Hinweis: Diese Review ist das vertiefende Begleitstück zu oMLXs Eintrag im lokalen KI-Software-Verzeichnis — dort finden Sie einen schnellen Überblick, wie oMLX im Vergleich zu Dutzenden anderer lokaler KI-Tools abschneidet.

Was ist oMLX?

oMLX ist ein lokaler Inferenzserver für Apple-Silicon-Macs, der Apples MLX-Framework für maschinelles Lernen in einen vollständigen Server-Stack verwandelt — eine OpenAI-/Anthropic-kompatible API, einen Multi-Modell-Manager, einen paginierten SSD-Cache und eine native macOS-Menüleisten-App zur Steuerung, ohne dass für die tägliche Nutzung ein Terminal erforderlich wäre. Die eigene GitHub-Beschreibung positioniert es als "einen für Apple-Silicon-Macs optimierten LLM-Inferenzserver mit kontinuierlichem Batching, mehrstufigem KV-Caching und einer nativen macOS-Menüleisten-Verwaltungsoberfläche."

  • Kernfunktion: ein Hintergrund-Inferenzserver, der offene Modelle lädt und über eine lokale HTTP-API bereitstellt, verwaltet entweder über eine Menüleisten-App oder die omlx-CLI
  • Inferenz-Engine: aufgebaut auf Apples MLX-Framework und dem BatchGenerator der mlx-lm-Bibliothek, laut oMLXs eigener Dokumentation, mit einer originalen Continuous-Batching- und Paged-Cache-Schicht darüber
  • Grundlage: laut der eigenen Ankündigung des Entwicklers wurde oMLX ursprünglich auf Basis von vllm-mlx als Ausgangspunkt gebaut, mit eigenständigen Implementierungen für SSD-Cache-Tiering, Continuous Batching, Vision-Language-Modell-Unterstützung, die Anthropic-kompatible API und die native macOS-Oberfläche
  • Entwickler: jundot (Kontakt laut Repository: junkim.dot@gmail.com), ein unabhängiger Maintainer — diese Review fand keine Hinweise auf ein Unternehmen oder eine Finanzierungsrunde hinter oMLX
  • Kanonisches Repository: github.com/jundot/omlx — mehrere identisch benannte Forks existieren unter anderen GitHub-Benutzernamen (zum Beispiel mkmsyk/omlx, dannysl/omlx); das sind nicht die Originalprojekte

oMLXs Ursprung und Wachstum

oMLX wurde erstmals öffentlich von seinem Entwickler jundot in einem Beitrag vom März 2026 auf Apple MLXs eigenem GitHub-Diskussionsboard angekündigt. Die Ankündigung rahmte oMLX als Lösung für ein konkretes Problem: Coding-Agenten, die einen langen, wachsenden Kontext wiederverwenden, konnten auf Apple Silicon bei jeder Anfrage Verzögerungen von mehreren zehn Sekunden beim Neuladen dieses Kontexts erleben, weil MLX-basierte Server der damaligen Zeit den Schlüssel-Wert-Cache-Zustand typischerweise nur im RAM hielten und ihn bei jedem Server-Neustart oder Ablauf eines Kontexts verloren. oMLXs paginierter SSD-Cache persistiert diesen Zustand stattdessen auf der Festplatte, sodass ein zuvor verarbeitetes Präfix von der SSD wiederhergestellt werden kann, statt vom Modell neu berechnet zu werden. Laut der eigenen Ankündigung des Entwicklers hatte oMLX beim Launch bereits rund 110 GitHub-Sterne angesammelt, aufgebaut auf vllm-mlx als Ausgangspunkt mit neu geschriebenem Code für SSD-Tiering, Continuous Batching, Vision-Language-Modell-Unterstützung, eine Anthropic-kompatible API und die native macOS-Oberfläche. Zum Veröffentlichungsdatum dieser Review zeigt oMLXs GitHub-Repository rund 21.859 Sterne — schnelles Wachstum für ein Projekt, das zum Zeitpunkt der Erstellung erst sechs Monate alt war.

  • Ankündigung: 4. März 2026, auf github.com/ml-explore/mlx/discussions/3203, veröffentlicht vom Entwickler des Projekts selbst, jundot
  • Ausgangspunkt: vllm-mlx, mit eigenem SSD-Tiering-, Continuous-Batching-, VLM-, Anthropic-API- und Native-UI-Code darüber
  • Wachstum: von rund 110 GitHub-Sternen bei der Ankündigung im März 2026 auf rund 21.859 Sterne zum Zeitpunkt dieser Review, laut oMLXs eigenem GitHub-Repository
  • Lizenzhistorie: Die LICENSE-Datei des Repositorys trägt einen Copyright-Vermerk aus 2025 für "oMLX-Contributors" — vor der öffentlichen Ankündigung des Projekts im März 2026 —, was zu privater Entwicklung vor dem öffentlichen Launch passt

Was können Sie mit oMLX tun?

oMLXs Funktionsumfang dreht sich darum, MLX-Modell-Inferenz in einen persistenten Multi-Modell-Lokalserver zu verwandeln, statt in ein Einmal-Skript. Hier ist, was jeder Teil tatsächlich tut, laut oMLXs eigener GitHub-README und omlx.ai-Dokumentation.

  • Mehrstufiger Schlüssel-Wert-Cache — aktive Kontextblöcke bleiben in einer heißen RAM-Stufe; inaktive Blöcke wandern in eine kalte SSD-Stufe im safetensors-Format, mit Prefix-Sharing und Copy-on-Write, und der Cache überlebt Server-Neustarts, statt verworfen zu werden
  • Continuous Batching — gleichzeitige Anfragen werden über den BatchGenerator von mlx-lm verarbeitet, mit konfigurierbarer maximaler Nebenläufigkeit, statt eine Anfrage nach der anderen abzuarbeiten
  • Multi-Modell-Serving — laden Sie LLMs, Vision-Language-Modelle (VLMs), Embedding-Modelle und Reranker parallel, mit LRU-Eviction, manuellem Laden/Entladen, Modell-Pinning und einer konfigurierbaren Time-to-Live pro Modell
  • OpenAI- und Anthropic-kompatible API — /v1/chat/completions, /v1/completions, /v1/embeddings und /v1/rerank für Clients im OpenAI-Format, plus /v1/messages für Clients im Anthropic-Format, alle bereitgestellt unter http://localhost:8000
  • Vision-Language- und OCR-Unterstützung — Multi-Bild-Chat mit Base64-, URL- oder Datei-Eingaben, Tool-Calling mit visuellem Kontext und automatische Erkennung dedizierter OCR-Modelle
  • Tool-Calling und MCP — JSON-Schema-Tool-Calling mit automatischer Chat-Template-Erkennung für Llama, Qwen, DeepSeek, Gemma, GLM, MiniMax, Mistral und andere Modellfamilien, plus Model-Context-Protocol-(MCP)-Konfiguration
  • Native macOS-Menüleisten-App — eine Swift/SwiftUI-App (ausdrücklich kein Electron, laut eigener Dokumentation des Projekts) zum Starten, Stoppen und Überwachen des Servers ohne Terminal, mit lokaler Nutzungsanalyse (Summen pro Modell, stündliche Nutzungs-Heatmap) und automatischem Neustart bei Abstürzen
  • Admin-Dashboard — eine Web-Oberfläche unter /admin, erreichbar über einen Browser, sobald der Server läuft, für Modellverwaltung, eine integrierte Chat-Oberfläche, Ein-Klick-Benchmarking, einen Modell-Downloader und Ein-Klick-Einrichtung für Coding-Agenten-Integrationen einschließlich Claude Code, Cursor, OpenClaw, OpenCode, Codex, Hermes Agent, Copilot und Pi
  • Experimentelle verteilte Inferenz — Multi-Mac-Inferenz über MLX-Pipeline-Ränge via Ring- oder Thunderbolt-RDMA-Netzwerk, laut oMLXs eigener Dokumentation als experimentell gekennzeichnet

Anwendungsbeispiele: Drei Möglichkeiten, oMLX zu nutzen

Dies sind konkrete Workflows, die auf oMLXs oben dokumentierten Funktionen aufbauen — keine hypothetischen Anwendungsfälle.

oMLX Preise: Ist oMLX wirklich kostenlos?

Ja — oMLX hat keine kostenpflichtige Stufe. Weder das GitHub-Repository noch omlx.ai hat eine Preisseite, und die LICENSE-Datei ist eine unveränderte Apache License 2.0 mit einem Copyright-Vermerk aus 2025 für "oMLX-Contributors" — sie gilt für die gesamte Anwendung, ohne dass eine Klausel eine Funktion hinter einer Zahlung sperrt.

  • Kein Abonnement, keine kostenpflichtige Stufe, keine von oMLX selbst auferlegten Nutzungslimits
  • Kein Konto oder Registrierung zur Installation oder Nutzung der App erforderlich
  • Die Anwendung, die Menüleisten-App, die CLI und das Admin-Dashboard sind alle durch dieselben Apache-License-2.0-Bedingungen abgedeckt
  • Da oMLX nur lokale Modelle über MLX ausführt, entstehen auch keine Kosten pro Token oder pro Anfrage bei einem Cloud-Anbieter — die einzigen Kosten sind Strom und die Hardware, die Sie bereits besitzen

oMLX vs. mlx-lm

mlx-lm ist die Python-Bibliothek und einfache CLI, die Apples MLX-Ökosystem zum Ausführen und Bereitstellen von Modellen bietet — und oMLX baut direkt darauf auf, indem es deren BatchGenerator für Continuous Batching nutzt. Beide sind eigentlich keine Konkurrenten, sondern unterschiedliche Schichten: mlx-lm ist das Fundament, oMLX ist ein vollständiges Server-Produkt, das auf diesem Fundament aufbaut.

Aspekt
oMLX
mlx-lm
Was es istEin paketierter Inferenzserver: Menüleisten-App + CLI + Admin-DashboardEine Python-Bibliothek und eine schlanke CLI zum Ausführen/Bereitstellen von MLX-Modellen
KV-CachingMehrstufiger RAM+SSD-paginierter Cache, überlebt NeustartsNur Cache im Arbeitsspeicher, laut eigener dokumentierter Server-Implementierung; kein SSD-Tiering
Multi-Modell-VerwaltungLRU-Eviction, Pinning, TTL pro Modell, Laden/Entladen über eine OberflächeKeine eingebaute Funktion — skriptgesteuert oder manuell verwaltet
API-KompatibilitätOpenAI-kompatible und Anthropic-kompatible EndpunkteOpenAI-kompatibler Server-Modus (mlx_lm.server)
OberflächeNative macOS-Menüleisten-App plus Web-Admin-DashboardNur Kommandozeile, keine GUI
Coding-Agenten-IntegrationenEin-Klick-Einrichtung für Claude Code, Cursor, OpenClaw und andereKeine dokumentierte Funktion; erfordert manuelle Endpunkt-Konfiguration

Wenn Sie den einfachsten möglichen Weg suchen, ein MLX-Modell über ein Skript oder einen schnellen Server-Befehl auszuführen, reicht mlx-lm allein möglicherweise völlig aus. Wenn Sie einen persistenten Multi-Modell-Server mit Menüleisten-Oberfläche, SSD-gestütztem Caching für lange Agenten-Kontexte und Ein-Klick-Coding-Agenten-Integrationen wollen, ist oMLX gezielt dafür gebaut, diese Schicht auf mlx-lm aufzusetzen, statt es zu ersetzen.

Für wen eignet sich oMLX?

Ob oMLX zu Ihnen passt, hängt fast ausschließlich zuerst von einer Sache ab: ob Sie überhaupt einen Apple-Silicon-Mac verwenden, denn für diese Anforderung gibt es keinen Workaround.

oMLX vs. andere lokale Inferenz-Tools

oMLX sitzt in der Apple-Silicon-/MLX-Ecke der lokalen Inferenz-Landschaft. So schneidet es im Vergleich zu anderen Tools in diesem Segment ab — siehe das lokale KI-Software-Verzeichnis für den vollständigen Katalog und den eigenen oMLX-vs.-mlx-lm-Vergleich oben für den direktesten Vergleich.

  • mlx-lm — die zugrunde liegende Python-Bibliothek und CLI, auf der oMLX selbst aufbaut; die richtige Wahl, wenn Sie den einfachsten möglichen Weg wollen, ein MLX-Modell ohne vollständige Server-Schicht auszuführen. Siehe den eigenen Vergleichsabschnitt oben.
  • exo — ein quelloffenes Tool zum Clustern mehrerer Apple-Silicon-Macs (und anderer Geräte), um größere Modelle auszuführen, als eine einzelne Maschine fassen könnte; relevant, falls oMLXs experimenteller Einzel-Cluster-Verteilmodus für Ihr Setup nicht ausreicht. Siehe die exo Review.
  • LM Studio — eine plattformübergreifende (macOS, Windows, Linux) Desktop-App, die auf Apple Silicon ebenfalls MLX als eine ihrer Inferenz-Engines neben llama.cpp nutzt; besser geeignet, wenn dasselbe Tool auch auf Nicht-Mac-Hardware laufen soll. Siehe die LM Studio Review.
  • llamafile — ein Ansatz für lokale Inferenz mit einer einzigen ausführbaren Datei, aufgebaut auf llama.cpp statt MLX, der dieselbe Datei unter macOS, Windows und Linux ohne Installationsschritt ausführt; ein nützlicher Kontrast, falls Ihnen plattformübergreifende Portabilität wichtiger ist als Apple-Silicon-spezifische Leistung. Siehe den Artikel llamafile erklärt.

Häufige Fehler bei der Bewertung von oMLX

Die meiste Verwirrung rund um oMLX entsteht durch die Annahme, es funktioniere wie ein plattformübergreifendes Tool, durch Verwechslung mit einem gleichnamigen Fork oder durch die Erwartung von Intel-Mac-Unterstützung.

Häufig gestellte Fragen

Was ist oMLX?

oMLX (github.com/jundot/omlx) ist ein kostenloser, quelloffener lokaler Inferenzserver für Apple-Silicon-Macs. Er führt Modelle über Apples MLX-Framework aus und wird als native macOS-Menüleisten-App plus einem omlx-Kommandozeilen-Tool und Hintergrunddienst ausgeliefert, mit OpenAI- und Anthropic-kompatiblen API-Endpunkten.

Ist oMLX kostenlos?

Ja. Weder das GitHub-Repository noch omlx.ai hat eine Preisseite, und die LICENSE-Datei ist eine unveränderte Apache License 2.0 ohne jegliche kostenpflichtige Stufe.

Läuft oMLX unter Windows oder Linux?

Nein. oMLX ist ausschließlich für macOS und benötigt speziell Apple Silicon (M1 bis M5) sowie macOS 15.0 (Sequoia) oder neuer, weil es von Apples MLX-Framework abhängt, das weder Windows, Linux noch Intel-Macs unterstützt.

Läuft oMLX auf einem Intel-Mac?

Nein. Die dokumentierten Systemvoraussetzungen von oMLX geben ausschließlich Apple Silicon an. MLX, das Framework, auf dem es aufbaut, unterstützt keine Intel-basierten Macs.

Wie unterscheidet sich oMLX von mlx-lm?

mlx-lm ist die zugrunde liegende Python-Bibliothek und schlanke CLI, die Apples MLX-Ökosystem zum Ausführen von Modellen bietet; oMLX baut auf dem BatchGenerator von mlx-lm auf und fügt einen persistenten Server, eine Menüleisten-App, einen mehrstufigen SSD-gestützten Cache, Multi-Modell-Verwaltung sowie OpenAI-/Anthropic-kompatible Endpunkte hinzu. Siehe den vollständigen Vergleich oben.

Wofür ist der paginierte SSD-Cache in oMLX gedacht?

Er lagert inaktive Schlüssel-Wert-Cache-Blöcke vom RAM im safetensors-Format auf die SSD Ihres Macs aus, statt sie zu verwerfen. Wenn ein lange laufender Coding-Agent einen großen Kontext erneut aufruft, kann oMLX die zuvor verarbeiteten Blöcke von der SSD wiederherstellen, statt sie vom Modell neu zu berechnen — was laut eigener Dokumentation Wartezeiten beim Neuladen langer Kontexte von mehreren zehn Sekunden auf wenige Sekunden senkt.

Kann ich oMLX mit Claude Code oder Cursor verwenden?

Ja. oMLXs Admin-Dashboard enthält Ein-Klick-Integrationseinrichtung für Claude Code, Cursor, OpenClaw, OpenCode, Codex, Hermes Agent, Copilot und Pi, und seine API ist sowohl mit dem OpenAI- als auch dem Anthropic-Anfrageformat kompatibel, die diese Tools verwenden.

Ist oMLX quelloffen? Welche Lizenz verwendet es?

Ja. Die LICENSE-Datei von oMLX ist eine unveränderte Apache License 2.0, mit einem Copyright-Vermerk aus 2025 für "oMLX-Contributors."

Wer entwickelt oMLX?

oMLX wird von jundot entwickelt, einem unabhängigen Maintainer (Kontakt laut Repository: junkim.dot@gmail.com). Diese Review fand keine Hinweise auf ein Unternehmen oder eine Finanzierungsrunde hinter dem Projekt.

Ist github.com/jundot/omlx das echte oMLX-Repository?

Ja. Mehrere identisch benannte "omlx"-Repositories existieren unter anderen GitHub-Benutzernamen, aber github.com/jundot/omlx ist das Originalprojekt, bestätigt durch die eigene Ankündigung des Entwicklers auf Apple MLXs GitHub-Diskussionsboard.

Muss ich bei der Verwendung von oMLX die DSGVO beachten?

oMLX selbst verarbeitet oder überträgt keine Daten an einen Cloud-Server — jede Modellausführung findet lokal auf Ihrem Mac statt, sofern Sie keinen Cloud-Anbieter separat konfigurieren. Für Organisationen, die unter die DSGVO fallen, kann das die Prüfung der Datenresidenz und -verarbeitungspflichten nach Artikel 28 vereinfachen, weil Nutzungsdaten und Modellkontext Ihr Gerät nicht verlassen. Das ersetzt keine eigene rechtliche Prüfung: oMLX selbst trifft keine DSGVO-Aussage, und die BSI-Grundschutz-Anforderungen für Ihre konkrete Infrastruktur hängen von Ihrem gesamten Setup ab, nicht nur von oMLX.

Ist oMLX für den deutschen Mittelstand geeignet?

oMLX kann für Mittelstandsunternehmen mit vorhandener Apple-Silicon-Hardware interessant sein, die Coding-Agenten oder interne Tools lokal statt über einen Cloud-API-Anbieter betreiben wollen — es entstehen keine laufenden API-Kosten, und Daten bleiben auf dem jeweiligen Mac. Diese Review fand allerdings keine Hinweise auf ein Unternehmen, eine SLA oder offiziellen Support hinter oMLX; es wird von einem einzelnen unabhängigen Entwickler gepflegt, was für Mittelstandsbetriebe mit strengen BSI-Grundschutz- oder Support-Anforderungen relevant sein kann.

Quellen

← Zurück zu Lokale LLMs Pro