oMLX Review 2026 : serveur d'inférence Apple Silicon avec cache SSD

Qu'est-ce qu'oMLX ?

• Fonction principale : un serveur d'inférence en arrière-plan qui charge des modèles à poids ouverts et les sert via une API HTTP locale, géré depuis une application barre de menus ou le CLI omlx
• Moteur d'inférence : construit sur le framework MLX d'Apple et le BatchGenerator de la bibliothèque mlx-lm, selon la documentation d'oMLX, avec une couche originale de batching continu et de cache paginé par-dessus
• Fondation : selon l'annonce du développeur, oMLX a été initialement construit sur vllm-mlx comme point de départ, avec des implémentations originales ajoutées pour le tiering du cache SSD, le batching continu, le support des modèles vision-langage, l'API compatible Anthropic, et l'interface macOS native
• Développeur : jundot (contact listé comme junkim.dot@gmail.com dans le dépôt), un mainteneur indépendant — cette review n'a trouvé aucune preuve d'une entreprise ou d'un tour de financement derrière oMLX
• Dépôt canonique : github.com/jundot/omlx — plusieurs forks portant le même nom existent sous d'autres identifiants GitHub (par exemple mkmsyk/omlx, dannysl/omlx) ; ce ne sont pas le projet original

Origine et croissance d'oMLX

• Annonce : 4 mars 2026, sur github.com/ml-explore/mlx/discussions/3203, publiée par le développeur du projet lui-même, jundot
• Point de départ : vllm-mlx, avec le tiering SSD, le batching continu, le VLM, l'API Anthropic et le code d'interface native ajoutés par le développeur
• Croissance : d'environ 110 étoiles GitHub à l'annonce de mars 2026 à environ 21 859 étoiles à la date de cette review, selon le dépôt GitHub d'oMLX
• Historique de licence : le fichier LICENSE du dépôt porte une mention de copyright 2025 pour « oMLX contributors », antérieure à l'annonce publique du projet en mars 2026 — cohérent avec un développement privé avant le lancement public

Que pouvez-vous faire avec oMLX ?

• Cache clé-valeur à plusieurs niveaux — les blocs de contexte actifs restent dans un niveau RAM chaud ; les blocs inactifs passent dans un niveau SSD froid au format safetensors, avec partage de préfixe et copy-on-write, et le cache survit aux redémarrages du serveur au lieu d'être abandonné
• Batching continu — les requêtes concurrentes sont traitées via le BatchGenerator de mlx-lm, avec une concurrence maximale configurable, plutôt que de traiter les requêtes une par une
• Service multi-modèles — chargez côte à côte des LLM, des modèles vision-langage (VLM), des modèles d'embedding et des reranker, avec éviction LRU, chargement/déchargement manuel, épinglage de modèle et une durée de vie configurable par modèle
• API compatible OpenAI et Anthropic — /v1/chat/completions, /v1/completions, /v1/embeddings et /v1/rerank pour les clients au format OpenAI, plus /v1/messages pour les clients au format Anthropic, tous servis depuis http://localhost:8000
• Support vision-langage et OCR — chat multi-image avec entrées en base64, URL ou fichier, appel d'outils avec contexte visuel, et détection automatique des modèles OCR dédiés
• Appel d'outils et MCP — appel d'outils par schéma JSON avec détection automatique du chat-template pour Llama, Qwen, DeepSeek, Gemma, GLM, MiniMax, Mistral et d'autres familles de modèles, plus configuration du Model Context Protocol (MCP)
• Application native macOS dans la barre de menus — une application Swift/SwiftUI (explicitement pas Electron, selon la documentation propre du projet) pour démarrer, arrêter et surveiller le serveur sans terminal, avec des statistiques d'usage locales (totaux par modèle, carte de chaleur horaire d'utilisation) et redémarrage automatique en cas de plantage
• Tableau de bord d'administration — une interface web sur /admin, accessible depuis un navigateur une fois le serveur lancé, pour la gestion des modèles, une interface de chat intégrée, un benchmarking en un clic, un téléchargeur de modèles, et une configuration en un clic pour les intégrations d'agents de codage incluant Claude Code, Cursor, OpenClaw, OpenCode, Codex, Hermes Agent, Copilot et Pi
• Inférence distribuée expérimentale — inférence multi-Mac à travers des rangs de pipeline MLX via un réseau Ring ou Thunderbolt RDMA, marquée expérimentale dans la propre documentation d'oMLX

Exemples d'usage : trois façons d'utiliser oMLX

Installer oMLX : app macOS, Homebrew et CLI

Tarifs oMLX : oMLX est-il vraiment gratuit ?

• Aucun abonnement, aucun palier payant, aucune limite d'usage imposée par oMLX lui-même
• Aucun compte ni inscription requis pour installer ou exécuter l'application
• L'application, l'application barre de menus, le CLI et le tableau de bord d'administration sont tous couverts par les mêmes conditions de l'Apache License 2.0
• Comme oMLX n'exécute que des modèles locaux via MLX, il n'y a pas non plus de coût par token ou par requête auprès d'un fournisseur cloud — le seul coût est l'électricité et le matériel que vous possédez déjà

oMLX vs. mlx-lm

À qui s'adresse oMLX ?

oMLX vs. autres outils d'inférence locale

• mlx-lm — la bibliothèque Python et le CLI sous-jacents sur lesquels oMLX lui-même est construit ; le bon choix si vous voulez le moyen le plus simple possible d'exécuter un modèle MLX sans couche serveur complète. Voir le comparatif dédié ci-dessus.
• exo — un outil open source pour mettre en cluster plusieurs Mac Apple Silicon (et d'autres appareils) afin d'exécuter des modèles plus grands qu'une seule machine ne pourrait contenir ; pertinent si le mode expérimental de cluster unique distribué d'oMLX ne suffit pas à votre configuration. Voir la review exo.
• LM Studio — une application de bureau multiplateforme (macOS, Windows, Linux) qui utilise aussi MLX comme l'un de ses moteurs d'inférence sur Apple Silicon, aux côtés de llama.cpp ; mieux adaptée si vous avez besoin que le même outil fonctionne aussi sur du matériel non-Mac. Voir la review LM Studio.
• llamafile — une approche d'inférence locale en exécutable unique, construite sur llama.cpp plutôt que MLX, qui exécute le même fichier sous macOS, Windows et Linux sans étape d'installation ; un contraste utile si la portabilité multiplateforme compte plus pour vous que la performance spécifique à l'Apple Silicon. Voir l'article llamafile expliqué.

Erreurs courantes en évaluant oMLX

Questions fréquentes

Sources

Lectures complémentaires

• Répertoire de logiciels IA locale 2026 — le catalogue complet d'outils d'IA locale auquel appartient cet article, incluant l'entrée d'oMLX dans le répertoire aux côtés d'autres moteurs d'inférence couverts ci-dessus.
• mlx-lm expliqué — un regard plus approfondi sur la bibliothèque Python et le CLI sur lesquels oMLX lui-même est construit.
• Review exo — un outil pour mettre en cluster plusieurs Mac Apple Silicon afin d'exécuter des modèles plus grands qu'une seule machine ne pourrait contenir.
• Review LM Studio — une application de bureau multiplateforme qui prend aussi en charge MLX sur Apple Silicon, aux côtés de llama.cpp pour les autres plateformes.
• llamafile expliqué — une alternative multiplateforme en exécutable unique, construite sur llama.cpp au lieu de MLX.