Was ist oMLX?
oMLX ist ein lokaler Inferenzserver für Apple-Silicon-Macs, der Apples MLX-Framework für maschinelles Lernen in einen vollständigen Server-Stack verwandelt — eine OpenAI-/Anthropic-kompatible API, einen Multi-Modell-Manager, einen paginierten SSD-Cache und eine native macOS-Menüleisten-App zur Steuerung, ohne dass für die tägliche Nutzung ein Terminal erforderlich wäre. Die eigene GitHub-Beschreibung positioniert es als "einen für Apple-Silicon-Macs optimierten LLM-Inferenzserver mit kontinuierlichem Batching, mehrstufigem KV-Caching und einer nativen macOS-Menüleisten-Verwaltungsoberfläche."
- Kernfunktion: ein Hintergrund-Inferenzserver, der offene Modelle lädt und über eine lokale HTTP-API bereitstellt, verwaltet entweder über eine Menüleisten-App oder die
omlx-CLI - Inferenz-Engine: aufgebaut auf Apples MLX-Framework und dem
BatchGeneratorder mlx-lm-Bibliothek, laut oMLXs eigener Dokumentation, mit einer originalen Continuous-Batching- und Paged-Cache-Schicht darüber - Grundlage: laut der eigenen Ankündigung des Entwicklers wurde oMLX ursprünglich auf Basis von vllm-mlx als Ausgangspunkt gebaut, mit eigenständigen Implementierungen für SSD-Cache-Tiering, Continuous Batching, Vision-Language-Modell-Unterstützung, die Anthropic-kompatible API und die native macOS-Oberfläche
- Entwickler: jundot (Kontakt laut Repository: junkim.dot@gmail.com), ein unabhängiger Maintainer — diese Review fand keine Hinweise auf ein Unternehmen oder eine Finanzierungsrunde hinter oMLX
- Kanonisches Repository: github.com/jundot/omlx — mehrere identisch benannte Forks existieren unter anderen GitHub-Benutzernamen (zum Beispiel mkmsyk/omlx, dannysl/omlx); das sind nicht die Originalprojekte
oMLXs Ursprung und Wachstum
oMLX wurde erstmals öffentlich von seinem Entwickler jundot in einem Beitrag vom März 2026 auf Apple MLXs eigenem GitHub-Diskussionsboard angekündigt. Die Ankündigung rahmte oMLX als Lösung für ein konkretes Problem: Coding-Agenten, die einen langen, wachsenden Kontext wiederverwenden, konnten auf Apple Silicon bei jeder Anfrage Verzögerungen von mehreren zehn Sekunden beim Neuladen dieses Kontexts erleben, weil MLX-basierte Server der damaligen Zeit den Schlüssel-Wert-Cache-Zustand typischerweise nur im RAM hielten und ihn bei jedem Server-Neustart oder Ablauf eines Kontexts verloren. oMLXs paginierter SSD-Cache persistiert diesen Zustand stattdessen auf der Festplatte, sodass ein zuvor verarbeitetes Präfix von der SSD wiederhergestellt werden kann, statt vom Modell neu berechnet zu werden. Laut der eigenen Ankündigung des Entwicklers hatte oMLX beim Launch bereits rund 110 GitHub-Sterne angesammelt, aufgebaut auf vllm-mlx als Ausgangspunkt mit neu geschriebenem Code für SSD-Tiering, Continuous Batching, Vision-Language-Modell-Unterstützung, eine Anthropic-kompatible API und die native macOS-Oberfläche. Zum Veröffentlichungsdatum dieser Review zeigt oMLXs GitHub-Repository mehr als 23.000 Sterne — schnelles Wachstum für ein Projekt, das zum Zeitpunkt der Erstellung noch keine acht Monate alt war.
- Ankündigung: 4. März 2026, auf github.com/ml-explore/mlx/discussions/3203, veröffentlicht vom Entwickler des Projekts selbst, jundot
- Ausgangspunkt: vllm-mlx, mit eigenem SSD-Tiering-, Continuous-Batching-, VLM-, Anthropic-API- und Native-UI-Code darüber
- Wachstum: von rund 110 GitHub-Sternen bei der Ankündigung im März 2026 auf mehr als 23.000 Sterne zum Zeitpunkt dieser Review, laut oMLXs eigenem GitHub-Repository
- Lizenzhistorie: Die LICENSE-Datei des Repositorys trägt einen Copyright-Vermerk aus 2025 für "oMLX-Contributors" — vor der öffentlichen Ankündigung des Projekts im März 2026 —, was zu privater Entwicklung vor dem öffentlichen Launch passt
Was können Sie mit oMLX tun?
oMLXs Funktionsumfang dreht sich darum, MLX-Modell-Inferenz in einen persistenten Multi-Modell-Lokalserver zu verwandeln, statt in ein Einmal-Skript. Hier ist, was jeder Teil tatsächlich tut, laut oMLXs eigener GitHub-README und omlx.ai-Dokumentation.
- Mehrstufiger Schlüssel-Wert-Cache — aktive Kontextblöcke bleiben in einer heißen RAM-Stufe; inaktive Blöcke wandern in eine kalte SSD-Stufe im safetensors-Format, mit Prefix-Sharing und Copy-on-Write, und der Cache überlebt Server-Neustarts, statt verworfen zu werden
- Continuous Batching — gleichzeitige Anfragen werden über den
BatchGeneratorvon mlx-lm verarbeitet, mit konfigurierbarer maximaler Nebenläufigkeit, statt eine Anfrage nach der anderen abzuarbeiten - Multi-Modell-Serving — laden Sie LLMs, Vision-Language-Modelle (VLMs), Embedding-Modelle und Reranker parallel, mit LRU-Eviction, manuellem Laden/Entladen, Modell-Pinning und einer konfigurierbaren Time-to-Live pro Modell
- OpenAI- und Anthropic-kompatible API —
/v1/chat/completions,/v1/completions,/v1/embeddingsund/v1/rerankfür Clients im OpenAI-Format, plus/v1/messagesfür Clients im Anthropic-Format, alle bereitgestellt unterhttp://localhost:8000 - Vision-Language- und OCR-Unterstützung — Multi-Bild-Chat mit Base64-, URL- oder Datei-Eingaben, Tool-Calling mit visuellem Kontext und automatische Erkennung dedizierter OCR-Modelle
- Tool-Calling und MCP — JSON-Schema-Tool-Calling mit automatischer Chat-Template-Erkennung für Llama, Qwen, DeepSeek, Gemma, GLM, MiniMax, Mistral und andere Modellfamilien, plus Model-Context-Protocol-(MCP)-Konfiguration
- Native macOS-Menüleisten-App — eine Swift/SwiftUI-App (ausdrücklich kein Electron, laut eigener Dokumentation des Projekts) zum Starten, Stoppen und Überwachen des Servers ohne Terminal, mit lokaler Nutzungsanalyse (Summen pro Modell, stündliche Nutzungs-Heatmap) und automatischem Neustart bei Abstürzen
- Admin-Dashboard — eine Web-Oberfläche unter
/admin, erreichbar über einen Browser, sobald der Server läuft, für Modellverwaltung, eine integrierte Chat-Oberfläche, Ein-Klick-Benchmarking, einen Modell-Downloader, der Hugging Face nach MLX- oder GGUF-Format filtert, und Ein-Klick-Einrichtung für Coding-Agenten-Integrationen einschließlich OpenClaw, OpenCode, Codex, Hermes Agent, Copilot, Pi, Mistral Vibe und DeepSeek Harness - Externe Engine für GGUF- und NVFP4-Modelle — eine Einstellung pro Modell, die ausgewählte Qwen-Checkpoints, auch GGUF-Dateien, über die separate Splash-Metal-Engine in einem eigenen Prozess bereitstellt; die README nennt die unterstützten Modelle und setzt Splash 1.4.0 oder neuer voraus
- Experimentelle verteilte Inferenz — teilt ein heruntergeladenes Sprachmodell über Macs mit unterschiedlich viel Speicher auf, mit MLX-Pipeline-Rängen über Ring oder Thunderbolt RDMA/JACCL; nur in Quell-Builds und in der oMLX-README als experimentell gekennzeichnet (siehe Abschnitt zur verteilten Inferenz unten)
oMLX: verteilte Inferenz und Clustering
Die verteilte Inferenz von oMLX ist ein experimentelles Feature, das nur in Quell-Builds verfügbar ist und ein Modell über mehrere Macs aufteilt, auch über Macs mit unterschiedlich viel Speicher. Laut oMLX-README nutzt sie MLX-Pipeline-Ränge über Ring- oder Thunderbolt-RDMA/JACCL-Netzwerk und ist nicht Teil der Standard-macOS-App oder der Homebrew-Installation.
- Status: in der README als „Experimental Multi-Mac Inference“ bezeichnet; Einrichtung, Sicherheitsgrenzen, aktuelle Einschränkungen und eine Checkliste für die Validierung auf echter Hardware stehen in einem eigenen Dokument, distributed-cluster.md
- Verfügbarkeit: nur Quell-Builds — die macOS-.dmg-App und die Homebrew-Installation aus der Tabelle oben enthalten das Feature nicht
- Cluster-Dashboard: schreibgeschützte Peer-Erkennung mit strikter SSH- und Laufzeitprüfung, laut README
- Profile: Interactive-, Balanced- und Throughput-Profile mit zusammengefasstem Batching und Prompt-Cache-Affinität, laut README
- Netzwerk: Ring oder Thunderbolt RDMA/JACCL zwischen den Macs
Anwendungsbeispiele: Drei Möglichkeiten, oMLX zu nutzen
Dies sind konkrete Workflows, die auf oMLXs oben dokumentierten Funktionen aufbauen — keine hypothetischen Anwendungsfälle.
Die Menüleisten-App starten und Claude Code darauf verweisen
Installieren Sie die macOS-App, starten Sie sie aus der Menüleiste und starten Sie den Server. oMLX stellt unter http://localhost:8000 einen Anthropic-kompatiblen /v1/messages-Endpunkt bereit; sobald Sie Claude Code auf diese Adresse verweisen, nutzt es das jeweils in oMLX geladene lokale Modell statt einer Cloud-API. Die README dokumentiert Claude-Code-spezifische Anpassungen: oMLX meldet das tatsächliche Kontextfenster des Modells, damit Auto-Compact funktioniert, und SSE-Keep-alive verhindert Lese-Timeouts bei langen Prefills. Das Dashboard unter http://localhost:8000/admin bietet Ein-Klick-Einrichtung für andere Agenten wie OpenCode oder Codex.
Den CLI-Server direkt starten und eine OpenAI-Client-Integration wiederverwenden
Führen Sie in einem Terminal omlx serve --model-dir ~/models aus (oder omlx start, um ihn im Hintergrund laufen zu lassen). Sobald der Server unter http://localhost:8000 lauscht, richten Sie beliebigen vorhandenen OpenAI-Client-Code oder ein Tool auf diese Adresse statt auf api.openai.com, über /v1/chat/completions — dasselbe Muster, das auch andere lokale OpenAI-kompatible Server verwenden —, um vorhandenen Code wiederzuverwenden, statt ihn für eine neue API-Form neu zu schreiben.
Einen langen Coding-Agenten-Kontext über eine ganze Arbeitssitzung hinweg schnell halten
Führen Sie omlx serve mit --paged-ssd-cache-dir auf ein schnelles lokales Laufwerk gerichtet und einem --hot-cache-max-size aus, der zum RAM Ihres Macs passt. Während Sie sich durch eine lange agentische Coding-Sitzung arbeiten, die wiederholt denselben großen Kontext aufruft, werden zuvor verarbeitete Blöcke, die sonst aus dem RAM verdrängt würden, stattdessen aus der SSD-Stufe wiederhergestellt — was laut oMLXs eigener Dokumentation Wartezeiten von mehreren zehn Sekunden beim Neuladen langer Kontexte auf wenige Sekunden reduziert.
oMLX installieren: macOS-App, Homebrew und CLI
oMLX lässt sich als macOS-App, über Homebrew oder aus dem Quellcode installieren — es gibt kein Windows- oder Linux-Build, weil es von Apples MLX-Framework abhängt, das nur Apple Silicon unterstützt. Alle drei Methoden installieren dasselbe zugrunde liegende omlx-Kommandozeilen-Tool. Die untenstehenden Links stammen aus der offiziellen GitHub-README — prüfen Sie diese Seite immer direkt, da sich Installationsanweisungen zwischen Releases ändern können.
macOS-App (.dmg)
- Befehl / Link:
- Herunterladen von GitHub Releases — eine .dmg für macOS 15 (Sequoia) und eine für macOS 26/27 — und in Applications ziehen. Enthält Auto-Update und installiert einen CLI-Shim unter
~/.omlx/bin/omlx.
Homebrew
- Befehl / Link:
brew tap jundot/omlx https://github.com/jundot/omlx, dannbrew install jundot/omlx/omlx(mit--with-custom-kernelwerden die nativen Kernel gebaut; erfordert vollständiges Xcode), dannomlx start
Aus dem Quellcode
- Befehl / Link:
git clone https://github.com/jundot/omlx.git, danncd omlx, dannmake install
Server direkt starten
- Befehl / Link:
omlx serve --model-dir ~/models(Vordergrund) oderomlx start/omlx stop/omlx restart(Hintergrund)
Systemvoraussetzungen laut offizieller README: macOS 15.0 (Sequoia) oder neuer, Apple Silicon (M1 bis M5) und Python 3.11–3.13. Es gibt kein Intel-Mac-, Windows- oder Linux-Build. GLM-5.2, MiniMax M3 und Qwen3.5 benötigen native Custom-Kernel und fallen ohne sie laut README auf deutlich langsamere generische Pfade zurück; die .dmg enthält sie vorkompiliert, während make install und Homebrews --with-custom-kernel sie bauen und dafür vollständiges Xcode mit Metal-Toolchain benötigen. Server-Konfigurations-Flags — --memory-guard {safe|balanced|aggressive}, --memory-guard-gb, --paged-ssd-cache-dir, --hot-cache-max-size, --max-concurrent-requests, --mcp-config, --hf-endpoint, --api-key und --host — werden nach dem Setzen in ~/.omlx/settings.json persistiert und können pro Lauf mit CLI-Flags überschrieben werden.
oMLX Preise: Ist oMLX wirklich kostenlos?
Ja — oMLX hat keine kostenpflichtige Stufe. Weder das GitHub-Repository noch omlx.ai hat eine Preisseite, und die LICENSE-Datei ist eine unveränderte Apache License 2.0 mit einem Copyright-Vermerk aus 2025 für "oMLX-Contributors" — sie gilt für die gesamte Anwendung, ohne dass eine Klausel eine Funktion hinter einer Zahlung sperrt.
- Kein Abonnement, keine kostenpflichtige Stufe, keine von oMLX selbst auferlegten Nutzungslimits
- Kein Konto oder Registrierung zur Installation oder Nutzung der App erforderlich
- Die Anwendung, die Menüleisten-App, die CLI und das Admin-Dashboard sind alle durch dieselben Apache-License-2.0-Bedingungen abgedeckt
- Da oMLX nur lokale Modelle über MLX ausführt, entstehen auch keine Kosten pro Token oder pro Anfrage bei einem Cloud-Anbieter — die einzigen Kosten sind Strom und die Hardware, die Sie bereits besitzen
oMLX vs. mlx-lm und MLX
MLX ist Apples Machine-Learning-Framework; oMLX ist ein darauf aufbauendes Server-Produkt und kein konkurrierendes Framework — „oMLX vs. MLX“ ist also eine Frage der Schichten, nicht der Alternativen. mlx-lm ist die Python-Bibliothek und einfache CLI, die Apples MLX-Ökosystem zum Ausführen und Bereitstellen von Modellen bietet — und oMLX baut direkt darauf auf, indem es deren BatchGenerator für Continuous Batching nutzt. Beide sind eigentlich keine Konkurrenten, sondern unterschiedliche Schichten: mlx-lm ist das Fundament, oMLX ist ein vollständiges Server-Produkt, das auf diesem Fundament aufbaut.
Aspekt | oMLX | |
|---|---|---|
| Schicht | Server-Produkt auf MLX und mlx-lm | Python-Bibliothek auf dem MLX-Framework |
| Was es ist | Ein paketierter Inferenzserver: Menüleisten-App + CLI + Admin-Dashboard | Eine Python-Bibliothek und eine schlanke CLI zum Ausführen/Bereitstellen von MLX-Modellen |
| KV-Caching | Mehrstufiger RAM+SSD-paginierter Cache, überlebt Neustarts | Nur Cache im Arbeitsspeicher, laut eigener dokumentierter Server-Implementierung; kein SSD-Tiering |
| Multi-Modell-Verwaltung | LRU-Eviction, Pinning, TTL pro Modell, Laden/Entladen über eine Oberfläche | Keine eingebaute Funktion — skriptgesteuert oder manuell verwaltet |
| API-Kompatibilität | OpenAI-kompatible und Anthropic-kompatible Endpunkte | OpenAI-kompatibler Server-Modus (mlx_lm.server) |
| Oberfläche | Native macOS-Menüleisten-App plus Web-Admin-Dashboard | Nur Kommandozeile, keine GUI |
| Coding-Agenten-Integrationen | Ein-Klick-Einrichtung für OpenClaw, OpenCode, Codex und andere | Keine dokumentierte Funktion; erfordert manuelle Endpunkt-Konfiguration |
Wenn Sie den einfachsten möglichen Weg suchen, ein MLX-Modell über ein Skript oder einen schnellen Server-Befehl auszuführen, reicht mlx-lm allein möglicherweise völlig aus. Wenn Sie einen persistenten Multi-Modell-Server mit Menüleisten-Oberfläche, SSD-gestütztem Caching für lange Agenten-Kontexte und Ein-Klick-Coding-Agenten-Integrationen wollen, ist oMLX gezielt dafür gebaut, diese Schicht auf mlx-lm aufzusetzen, statt es zu ersetzen.
oMLX vs. mlx-serve
oMLX und mlx-serve sind beides kostenlose, quelloffene lokale Inferenzserver für Apple Silicon mit OpenAI- und Anthropic-kompatiblen APIs; die Hauptunterschiede sind die Laufzeit (Python/MLX gegenüber einer einzelnen Zig-Binärdatei) und die Modellformate (MLX gegenüber MLX plus GGUF). Es sind getrennte Projekte verschiedener Entwickler, keines baut auf dem anderen auf.
Aspekt | oMLX | |
|---|---|---|
| Sprache / Laufzeit | Python auf MLX/mlx-lm, Swift-Menüleisten-App | Einzelne Zig-Binärdatei (~7 MB), kein Python |
| Modellformate | MLX-Modelle (LLM, VLM, Embedding, Reranker) | MLX plus eingebettetes llama.cpp für GGUF |
| APIs | OpenAI- und Anthropic-kompatibel | OpenAI-, Anthropic- und Ollama-kompatibel |
| Begleit-App | Menüleisten-App + Web-Admin-Dashboard | MLX Core Menüleisten-App (Chat, Agenten, Medien) |
| Lizenz | Apache License 2.0 | MIT (gebündelte Apache-2.0-Komponenten) |
| macOS-Anforderung | macOS 15.0 oder neuer | macOS 26.2 oder neuer |
Wählen Sie oMLX, wenn lange, wiederholt aufgerufene Coding-Agent-Kontexte und der gestufte SSD-KV-Cache (der Neustarts übersteht) Priorität haben; wählen Sie mlx-serve, wenn Sie eine kleine Python-freie Binärdatei oder GGUF-Unterstützung neben MLX wollen. Die Angaben zu mlx-serve stammen aus der mlx-serve-Review; diese Review hat beide nicht gegeneinander gebenchmarkt — prüfen Sie aktuelle Funktionen im jeweiligen Repository.
Für wen eignet sich oMLX?
Ob oMLX zu Ihnen passt, hängt fast ausschließlich zuerst von einer Sache ab: ob Sie überhaupt einen Apple-Silicon-Mac verwenden, denn für diese Anforderung gibt es keinen Workaround.
Nutzen Sie oMLX, wenn
- Sie einen Apple-Silicon-Mac (M1 bis M5) mit macOS 15.0 oder neuer verwenden — das ist eine zwingende Voraussetzung, keine Empfehlung
- Sie einen persistenten lokalen Inferenzserver mit Menüleisten-App wollen, statt ein Skript, das Sie manuell neu starten müssen
- Sie einen Coding-Agenten (Claude Code, OpenClaw, OpenCode oder ähnliches) mit langen, wiederholt aufgerufenen Kontexten nutzen und Ladeverzögerungen für genau diesen Workflow reduzieren wollen
- Sie sowohl OpenAI-kompatible als auch Anthropic-kompatible Endpunkte von einem einzigen lokalen Server wollen, statt zwei separate Tools zu betreiben
- Sie mehrere Modelle — LLMs, VLMs, Embedding-Modelle, Reranker — aus einem einzigen Prozess mit automatischer Speicherverwaltung bereitstellen möchten
Warten Sie ab oder schauen Sie sich anderweitig um, wenn
- Sie einen Windows- oder Linux-Rechner oder einen Intel-Mac verwenden — oMLX hat für keine dieser Plattformen ein Build, weil es von Apples MLX-Framework abhängt, das ausschließlich Apple Silicon unterstützt; siehe das lokale KI-Software-Verzeichnis für plattformübergreifende Alternativen
- Sie ein offiziell unterstütztes, finanziertes Produkt mit einem Unternehmen und einer SLA dahinter wollen — diese Review fand keine Hinweise auf ein Unternehmen oder eine Finanzierung hinter oMLX; es wird laut eigenem GitHub-Repository von einem einzelnen namentlich genannten Entwickler gepflegt
- Sie den absolut einfachsten, minimalsten Weg wollen, ein MLX-Modell auszuführen — mlx-lm allein, ohne oMLXs Server-Schicht, könnte besser passen
- Sie ein bewährtes Projekt mit langer Erfolgsbilanz für eine Produktivbereitstellung benötigen — oMLX wurde erstmals im März 2026 angekündigt, seine öffentliche Historie ist also noch kurz im Vergleich zu etablierteren Inferenzservern
oMLX vs. andere lokale Inferenz-Tools
oMLX sitzt in der Apple-Silicon-/MLX-Ecke der lokalen Inferenz-Landschaft. So schneidet es im Vergleich zu anderen Tools in diesem Segment ab — siehe das lokale KI-Software-Verzeichnis für den vollständigen Katalog und den eigenen oMLX-vs.-mlx-lm-Vergleich oben für den direktesten Vergleich.
- mlx-lm — die zugrunde liegende Python-Bibliothek und CLI, auf der oMLX selbst aufbaut; die richtige Wahl, wenn Sie den einfachsten möglichen Weg wollen, ein MLX-Modell ohne vollständige Server-Schicht auszuführen. Siehe den eigenen Vergleichsabschnitt oben.
- mlx-serve — ein eigenständiger, kostenloser, quelloffener Zig-Inferenzserver für Apple Silicon mit OpenAI-, Anthropic- und Ollama-kompatiblen APIs und GGUF-Unterstützung über llama.cpp; siehe den Vergleich oMLX vs. mlx-serve oben.
- exo — ein quelloffenes Tool zum Clustern mehrerer Apple-Silicon-Macs (und anderer Geräte), um größere Modelle auszuführen, als eine einzelne Maschine fassen könnte; relevant, falls oMLXs experimenteller Einzel-Cluster-Verteilmodus für Ihr Setup nicht ausreicht. Siehe die exo Review.
- LM Studio — eine plattformübergreifende (macOS, Windows, Linux) Desktop-App, die auf Apple Silicon ebenfalls MLX als eine ihrer Inferenz-Engines neben llama.cpp nutzt; besser geeignet, wenn dasselbe Tool auch auf Nicht-Mac-Hardware laufen soll. Siehe die LM Studio Review.
- llamafile — ein Ansatz für lokale Inferenz mit einer einzigen ausführbaren Datei, aufgebaut auf llama.cpp statt MLX, der dieselbe Datei unter macOS, Windows und Linux ohne Installationsschritt ausführt; ein nützlicher Kontrast, falls Ihnen plattformübergreifende Portabilität wichtiger ist als Apple-Silicon-spezifische Leistung. Siehe den Artikel llamafile erklärt.
Häufige Fehler bei der Bewertung von oMLX
Die meiste Verwirrung rund um oMLX entsteht durch die Annahme, es funktioniere wie ein plattformübergreifendes Tool, durch Verwechslung mit einem gleichnamigen Fork oder durch die Erwartung von Intel-Mac-Unterstützung.
Fehler 1: Annehmen, oMLX laufe unter Windows oder Linux
oMLX ist ausschließlich für macOS, und zwar speziell für Apple Silicon, weil es auf Apples MLX-Framework aufbaut, das Windows oder Linux überhaupt nicht unterstützt. Zum Zeitpunkt dieser Review ist im Repository des Projekts kein Roadmap-Punkt oder Beta-Build für eine der beiden Plattformen dokumentiert — falls Sie ein plattformübergreifendes Tool benötigen, siehe stattdessen LM Studio oder llamafile.
Fehler 2: github.com/jundot/omlx mit einem gleichnamigen Fork verwechseln
Mehrere GitHub-Repositories mit dem identischen Namen "omlx" existieren unter anderen Benutzernamen (zum Beispiel mkmsyk/omlx, dannysl/omlx). Das originale, aktiv weiterentwickelte Projekt — bestätigt durch die eigene Ankündigung des Entwicklers auf Apple MLXs GitHub-Diskussionsboard — ist github.com/jundot/omlx. Prüfen Sie immer, ob Sie sich genau dieses Repository ansehen, bevor Sie es installieren oder Sternezahlen zitieren.
Fehler 3: Annehmen, Intel-basierte Macs würden unterstützt
oMLXs Systemvoraussetzungen listen ausdrücklich Apple Silicon (M1 bis M5); diese Review fand in der offiziellen Dokumentation keinen Hinweis auf Intel-Mac-Unterstützung. MLX selbst, das Framework, auf dem oMLX aufbaut, unterstützt keine Intel-Macs, daher ist es unwahrscheinlich, dass ein künftiges oMLX-Update dies nachrüstet.
Fehler 4: Erwarten, oMLX sei ein Chat-Client statt ein Server
oMLXs Admin-Dashboard enthält zwar eine integrierte Chat-Oberfläche zum Testen, sein primärer Zweck ist jedoch die Bereitstellung von Modellen über eine API für andere Anwendungen (wie Claude Code, OpenCode oder Ihre eigenen Skripte) — es ist von der Kategorie her näher an einem lokalen Inferenzserver als an einer vollwertigen eigenständigen Chat-App wie Jan oder GPT4All.
Häufig gestellte Fragen
Was ist oMLX?
oMLX (github.com/jundot/omlx) ist ein kostenloser, quelloffener lokaler Inferenzserver für Apple-Silicon-Macs. Er führt Modelle über Apples MLX-Framework aus und wird als native macOS-Menüleisten-App plus einem omlx-Kommandozeilen-Tool und Hintergrunddienst ausgeliefert, mit OpenAI- und Anthropic-kompatiblen API-Endpunkten.
Ist oMLX kostenlos?
Ja. Weder das GitHub-Repository noch omlx.ai hat eine Preisseite, und die LICENSE-Datei ist eine unveränderte Apache License 2.0 ohne jegliche kostenpflichtige Stufe.
Läuft oMLX unter Windows oder Linux?
Nein. oMLX ist ausschließlich für macOS und benötigt speziell Apple Silicon (M1 bis M5) sowie macOS 15.0 (Sequoia) oder neuer, weil es von Apples MLX-Framework abhängt, das weder Windows, Linux noch Intel-Macs unterstützt.
Läuft oMLX auf einem Intel-Mac?
Nein. Die dokumentierten Systemvoraussetzungen von oMLX geben ausschließlich Apple Silicon an. MLX, das Framework, auf dem es aufbaut, unterstützt keine Intel-basierten Macs.
Wie unterscheidet sich oMLX von mlx-lm?
mlx-lm ist die zugrunde liegende Python-Bibliothek und schlanke CLI, die Apples MLX-Ökosystem zum Ausführen von Modellen bietet; oMLX baut auf dem BatchGenerator von mlx-lm auf und fügt einen persistenten Server, eine Menüleisten-App, einen mehrstufigen SSD-gestützten Cache, Multi-Modell-Verwaltung sowie OpenAI-/Anthropic-kompatible Endpunkte hinzu. Siehe den vollständigen Vergleich oben.
Wofür ist der paginierte SSD-Cache in oMLX gedacht?
Er lagert inaktive Schlüssel-Wert-Cache-Blöcke vom RAM im safetensors-Format auf die SSD Ihres Macs aus, statt sie zu verwerfen. Wenn ein lange laufender Coding-Agent einen großen Kontext erneut aufruft, kann oMLX die zuvor verarbeiteten Blöcke von der SSD wiederherstellen, statt sie vom Modell neu zu berechnen — was laut eigener Dokumentation Wartezeiten beim Neuladen langer Kontexte von mehreren zehn Sekunden auf wenige Sekunden senkt.
Kann ich oMLX mit Claude Code oder anderen Coding-Agenten verwenden?
Ja. oMLXs API ist sowohl mit dem OpenAI- als auch dem Anthropic-Anfrageformat kompatibel, die README dokumentiert Claude-Code-spezifische Anpassungen (Meldung des tatsächlichen Kontextfensters und SSE-Keep-alive), und das Admin-Dashboard bietet Ein-Klick-Einrichtung für OpenClaw, OpenCode, Codex und andere.
Ist oMLX quelloffen? Welche Lizenz verwendet es?
Ja. Die LICENSE-Datei von oMLX ist eine unveränderte Apache License 2.0, mit einem Copyright-Vermerk aus 2025 für "oMLX-Contributors."
Wie installiere ich oMLX mit Homebrew?
Führen Sie brew tap jundot/omlx https://github.com/jundot/omlx aus, dann brew install jundot/omlx/omlx und schließlich omlx start. Die oMLX-README nennt außerdem eine macOS-.dmg-App und eine Installation aus dem Quellcode; prüfen Sie die Befehle dort, da sich Installationsschritte zwischen Releases ändern können.
Unterstützt oMLX verteilte Inferenz über mehrere Macs?
Experimentell. Die oMLX-README beschreibt Quell-Builds, die ein heruntergeladenes Modell mit MLX-Pipeline-Rängen über Ring oder Thunderbolt RDMA/JACCL auf Macs mit unterschiedlich viel Speicher aufteilen können. Das Feature ist nicht in der Standard-App oder der Homebrew-Installation enthalten, und das Projekt dokumentiert seine Einschränkungen in einem eigenen Dokument.
Was ist die neueste oMLX-Version?
v0.7.2, veröffentlicht am 21. Oktober 2026. Vor stabilen Releases erscheinen auf derselben Releases-Seite Entwicklungs-Builds und Release Candidates; prüfen Sie github.com/jundot/omlx/releases auf Neueres, bevor Sie eine Version zitieren.
Was ist der Unterschied zwischen oMLX und MLX?
MLX ist Apples quelloffenes Machine-Learning-Framework für Apple Silicon. oMLX ist ein lokaler Inferenzserver auf Basis von MLX und der mlx-lm-Bibliothek und ergänzt eine Menüleisten-App, Multi-Modell-Verwaltung, einen paginierten SSD-Cache und OpenAI/Anthropic-kompatible APIs.
oMLX vs. mlx-serve: Was sollte ich nutzen?
Beide sind kostenlose, quelloffene Inferenzserver für Apple Silicon. oMLX basiert auf Python und hat einen gestuften SSD-KV-Cache für lange Coding-Agent-Kontexte; mlx-serve ist eine einzelne Zig-Binärdatei, die auch GGUF-Modelle über llama.cpp ausführt. Siehe die Tabelle oben.
Wer entwickelt oMLX?
oMLX wird von jundot entwickelt, einem unabhängigen Maintainer (Kontakt laut Repository: junkim.dot@gmail.com). Diese Review fand keine Hinweise auf ein Unternehmen oder eine Finanzierungsrunde hinter dem Projekt.
Ist github.com/jundot/omlx das echte oMLX-Repository?
Ja. Mehrere identisch benannte "omlx"-Repositories existieren unter anderen GitHub-Benutzernamen, aber github.com/jundot/omlx ist das Originalprojekt, bestätigt durch die eigene Ankündigung des Entwicklers auf Apple MLXs GitHub-Diskussionsboard.
Muss ich bei der Verwendung von oMLX die DSGVO beachten?
oMLX selbst verarbeitet oder überträgt keine Daten an einen Cloud-Server — jede Modellausführung findet lokal auf Ihrem Mac statt, sofern Sie keinen Cloud-Anbieter separat konfigurieren. Für Organisationen, die unter die DSGVO fallen, kann das die Prüfung der Datenresidenz und -verarbeitungspflichten nach Artikel 28 vereinfachen, weil Nutzungsdaten und Modellkontext Ihr Gerät nicht verlassen. Das ersetzt keine eigene rechtliche Prüfung: oMLX selbst trifft keine DSGVO-Aussage, und die BSI-Grundschutz-Anforderungen für Ihre konkrete Infrastruktur hängen von Ihrem gesamten Setup ab, nicht nur von oMLX.
Ist oMLX für den deutschen Mittelstand geeignet?
oMLX kann für Mittelstandsunternehmen mit vorhandener Apple-Silicon-Hardware interessant sein, die Coding-Agenten oder interne Tools lokal statt über einen Cloud-API-Anbieter betreiben wollen — es entstehen keine laufenden API-Kosten, und Daten bleiben auf dem jeweiligen Mac. Diese Review fand allerdings keine Hinweise auf ein Unternehmen, eine SLA oder offiziellen Support hinter oMLX; es wird von einem einzelnen unabhängigen Entwickler gepflegt, was für Mittelstandsbetriebe mit strengen BSI-Grundschutz- oder Support-Anforderungen relevant sein kann.