Moteurs d'inférence, runtimes et passerelles locaux : comparatif (2026) pour exécuter et servir des modèles

Notre méthode de comparaison

Tableau comparatif

Moteurs d'inférence : ce qui les distingue

• API compatible OpenAI. candle-vllm, NVIDIA Dynamo, exo, KoboldCpp, KServe, llama.cpp, LocalAI, LoRAX, Lucebox, MLC LLM, mlx-serve, mlxcel, OlliteRT, oMLX, OpenLLM, Rapid-MLX, Shimmy, SwiftLM, text-generation-webui, vllm-mlx et vLLM documentent une API HTTP compatible OpenAI, ce qui permet aux applications écrites pour l'API d'OpenAI de les utiliser comme cible.
• GPU NVIDIA. candle-vllm, ExLlamaV2, KoboldCpp, llama.cpp, LMDeploy, LocalAI, LoRAX, Lucebox, MLC LLM, mlxcel, SGLang, Shimmy, TensorRT-LLM, text-generation-webui et vLLM documentent la prise en charge des GPU NVIDIA (CUDA).
• Apple Silicon. candle-vllm, claude-code-local, exo, KoboldCpp, llama.cpp, LocalAI, MLC LLM, MLX-LM, mlx-serve, mlxcel, oMLX, Rapid-MLX, Shimmy, SwiftLM, text-generation-webui, TurboFieldfare et vllm-mlx documentent la prise en charge d'Apple Silicon, de Metal ou de MLX.
• GPU AMD. KoboldCpp, llama.cpp, LocalAI, Lucebox, MLC LLM, SGLang, Shimmy, text-generation-webui et vLLM documentent la prise en charge des GPU AMD.
• Inférence sur CPU. exo, KoboldCpp, llama.cpp, LocalAI, OlliteRT, SGLang, text-generation-webui et vLLM documentent l'exécution de l'inférence sur un CPU.
• Multi-GPU et multi-nœuds. candle-vllm, NVIDIA Dynamo, ExLlamaV2, exo, KServe, LMDeploy, LocalAI, LoRAX, Lucebox, MLX-LM, mlxcel, oMLX, SGLang et vLLM documentent l'inférence multi-GPU, en parallélisme tensoriel ou multi-nœuds.
• Licence. La plupart des moteurs présentés ici sont sous Apache-2.0 (19 outils) ou MIT (9) ; KoboldCpp et text-generation-webui sont sous AGPL-3.0. Les licences copyleft soumettent la distribution de versions modifiées à des conditions — voir Les licences des outils d'IA expliquées.

Runtimes et gestionnaires : ce qui les distingue

• API compatible OpenAI. Docker Model Runner, Foundry Local, GPUStack, Jan, Lemonade et Osaurus documentent une API compatible OpenAI.
• Application de bureau. GPT4All, Jan, LM Studio, Osaurus et Ypipe documentent une application de bureau installable.
• Bibliothèque de modèles intégrée. Foundry Local, GPUStack, Jan, Lemonade, LM Studio et Ollama documentent un moyen intégré de trouver et de télécharger des modèles.
• Mode sans interface ou serveur. DreamServer, GPUStack, Lemonade et Osaurus documentent un fonctionnement en service d'arrière-plan ou en serveur, sans interface graphique.
• Licence et prix. Quatre des runtimes présentés ici sont sous Apache-2.0 et quatre sous MIT. LM Studio et Docker Model Runner sont propriétaires (LM Studio est gratuit à l'usage ; Docker Model Runner est fourni avec Docker Desktop), Msty est à code fermé avec une offre gratuite, et RunAnywhere et YPipe appliquent leurs propres conditions ou des conditions non documentées — consultez chaque avis.

Routeurs et passerelles : ce qui les distingue

• Point d'accès compatible OpenAI. AIClient2API et litellm documentent un point d'accès compatible OpenAI.
• Routage vers des modèles locaux. litellm documente les modèles locaux ou auto-hébergés (comme Ollama) parmi les fournisseurs qu'il prend en charge.
• Basculement et répartition de charge. AIClient2API, ClawRouter et litellm documentent le basculement, les nouvelles tentatives ou la répartition de charge entre modèles ou fournisseurs.
• Licence. Deux des quatre sont sous MIT, un sous GPL-3.0 et un sous Apache-2.0.

Ce que ce comparatif ne peut pas vous dire

• Il compare des capacités documentées, pas des performances. Il ne dit rien des jetons par seconde, de la consommation de mémoire ou de la latence — PromptQuorum ne les a pas mesurés pour ces outils, et ils dépendent fortement de votre matériel et de votre modèle.
• Les tirets correspondent à des lacunes de la documentation que nous avons consultée, pas à des constats négatifs. Certains outils peuvent prendre en charge une fonctionnalité que leur README ne mentionne pas ; c'est particulièrement visible pour quelques outils très répandus dont les README, courts, en disent peu (par exemple les fonctionnalités de moteur d'Ollama).
• La prise en charge matérielle correspond à ce qu'indique la documentation, pas à la garantie d'une bonne expérience sur ce matériel ; lisez l'avis de l'outil pour connaître les prérequis réels.
• Les outils évoluent vite. L'avis de chaque outil indique la version par rapport à laquelle il a été vérifié, et ce guide est actualisé lorsqu'un avis l'est.

Questions fréquentes

Sources

• Le README ou le site officiel de chaque outil, indiqué dans l'avis PromptQuorum correspondant (accessible depuis le tableau comparatif).
• Répertoire PromptQuorum des applications d'IA locales — la fiche à partir de laquelle chaque ligne du tableau est générée.
• Les licences des outils d'IA expliquées — ce que signifient les familles de licences citées ci-dessus.

Lectures associées

• Répertoire de logiciels locaux — parcourez 224 applications d'IA locales et filtrez par catégorie.
• Outils vocaux et audio locaux : comparatif — la même comparaison pour la synthèse vocale, la reconnaissance vocale et les agents vocaux.
• Outils locaux d'image, de vidéo et de vision : comparatif — la même comparaison pour la génération d'images et les modèles de vision.