Aller au contenu principal
PromptQuorumConçu pour les humains. Structuré pour l'IA.
Accueil/LLM locaux avancés
Overview & Reference

LMDeploy Review : service LLM à haut débit et quantification

·10 min de lecturePar Hans Kuepper · Fondateur de PromptQuorum · Moteur de découverte de l'IA open-weight et open source

LMDeploy est une boîte à outils et bibliothèque Python gratuite et open source (Apache 2.0) en ligne de commande pour compresser, quantifier et servir de grands modèles de langage sur GPU NVIDIA, installée via pip install lmdeploy. Développée par les équipes MMRazor et MMDeploy au sein de l'écosystème InternLM/OpenMMLab, elle embarque deux moteurs d'inférence — TurboMind (un moteur C++/CUDA optimisé pour le débit) et un moteur PyTorch en Python pur — plus la quantification AWQ et du cache KV, un serveur API compatible OpenAI, et la prise en charge de bien plus de 50 familles de LLM et VLM ouverts.

Points clés

  • LMDeploy (github.com/InternLM/lmdeploy) est une boîte à outils gratuite, open source, installable via pip pour l'inférence et la quantification — une CLI/bibliothèque, pas une appli graphique
  • Développé par les équipes MMRazor et MMDeploy au sein de l'écosystème InternLM/OpenMMLab (Shanghai AI Laboratory) ; dépôt créé le 15 juin 2023
  • Sous licence Apache 2.0, confirmée via le fichier LICENSE du dépôt GitHub
  • Embarque deux moteurs d'inférence : TurboMind (C++/CUDA, optimisé pour le débit) et un moteur PyTorch en Python pur
  • Prend en charge la quantification 4 bits AWQ des poids et la quantification int8/int4 du cache KV
  • Plus de 8 000 étoiles GitHub et 750 forks au moment de cette review ; dernière release taguée v0.17.0, publiée le 1er septembre 2026

📍 En une phrase

LMDeploy est une boîte à outils gratuite et open source (Apache 2.0) pour compresser, quantifier et servir des LLM sur GPU NVIDIA, développée par les équipes MMRazor et MMDeploy au sein de l'écosystème InternLM/OpenMMLab, installée via pip install lmdeploy, avec plus de 8 000 étoiles GitHub.

💬 En termes simples

LMDeploy est un outil en ligne de commande et une bibliothèque Python que vous installez avec pip, qui prend un LLM que vous possédez déjà (depuis HuggingFace, par exemple) et l'exécute rapidement sur votre propre GPU, en le réduisant éventuellement au préalable via une quantification 4 bits pour utiliser moins de mémoire. Ce n'est pas une appli de chat avec une fenêtre à cliquer — c'est une infrastructure que vous exécutez sur un serveur, et d'autres applications lui parlent via une API compatible OpenAI.

📌Remarque: Cette review s'appuie sur le dépôt GitHub, le README, la documentation et la fiche PyPI de LMDeploy. Les chiffres de débit et de vitesse de quantification (comme « 1,8x plus rapide que vLLM ») sont des benchmarks auto-publiés par LMDeploy, pas des mesures indépendantes de PromptQuorum — vérifiez les benchmarks publiés actuels avant de vous fier à un chiffre précis pour une décision d'achat ou d'architecture.

Lire en:
🇺🇸en🇩🇪de🇫🇷fr🇯🇵ja🇨🇳zh🇪🇸es🇧🇷pt🇸🇦ar🇰🇷ko

LMDeploy (github.com/InternLM/lmdeploy) est une boîte à outils gratuite et open source (Apache 2.0) pour compresser, quantifier et servir de grands modèles de langage, développée par les équipes MMRazor et MMDeploy au sein de l'écosystème InternLM/OpenMMLab. Elle s'installe via pip install lmdeploy et embarque deux moteurs d'inférence — TurboMind et un moteur PyTorch en Python pur — plus un serveur API compatible OpenAI, avec plus de 8 000 étoiles GitHub. Cette review complète la fiche de LMDeploy dans le Local LLM Software Directory et détaille ce qu'il fait réellement, comment l'installer et à qui il convient.

Qu'est-ce que LMDeploy ?

LMDeploy est une boîte à outils pour compresser, déployer et servir de grands modèles de langage, conçue pour l'inférence à haut débit sur GPU NVIDIA. Sa propre description GitHub indique qu'elle a été développée par les équipes MMRazor et MMDeploy — deux projets OpenMMLab, l'écosystème open source de vision par ordinateur et de déploiement de modèles maintenu par le Shanghai AI Laboratory, la même organisation derrière la famille de modèles InternLM.

  • Type de produit : un outil en ligne de commande et une bibliothèque Python — aucune interface graphique ; utilisation depuis un terminal, un script Python ou un conteneur Docker
  • Développeur : les équipes MMRazor et MMDeploy, au sein de l'écosystème InternLM/OpenMMLab sous le Shanghai AI Laboratory
  • Dépôt : InternLM/lmdeploy sur GitHub, créé le 15 juin 2023
  • Licence : Apache 2.0, confirmée via le fichier LICENSE du dépôt
  • Échelle : plus de 8 000 étoiles GitHub, 750 forks et 596 issues ouvertes au moment de cette review
  • Distribution : publié sur PyPI sous le paquet lmdeploy, plus des images Docker officielles selon la documentation du projet

Historique du projet et jalons de versions

Le dépôt GitHub de LMDeploy a été créé en juin 2023, et le projet a été livré en continu depuis, passant d'un unique moteur d'inférence TurboMind à une boîte à outils à deux moteurs avec quantification, support multimodal (VLM) et service distribué.

  1. 1
    2023/08 — Quantification AWQ 4 bits et lancement sur HuggingFace Hub
    Why it matters: A ajouté la quantification 4 bits des poids basée sur AWQ et publié des modèles 4 bits prêts à l'emploi sur HuggingFace, selon le changelog officiel.
  2. 2
    2024/01 — Introduction du moteur d'inférence PyTorch
    Why it matters: A ajouté un second moteur d'inférence, en Python pur, aux côtés de TurboMind, abaissant la barrière pour les développeurs souhaitant étendre ou déboguer la pile de service.
  3. 3
    2024/06–2024/07 — Support VLM et appel de fonctions
    Why it matters: A ajouté des pipelines d'inférence multimodale (modèles vision-langage) et leur service, ainsi que l'appel d'outils/fonctions pour Llama 3.1 et InternLM2.5.
  4. 4
    2025/01 — Support de DeepSeek-V3 et R1
    Why it matters: A ajouté un support quasi immédiat des familles de modèles DeepSeek-V3 et R1, une lignée de modèles de raisonnement largement utilisée.
  5. 5
    2025/06 — Désagrégation prefill/decode pour DeepSeek
    Why it matters: A intégré la désagrégation prefill/decode pour les modèles DeepSeek via DLSlime et Mooncake, une technique de production pour faire évoluer le service de grands modèles MoE sur plusieurs machines.
  6. 6
    2025/09 — Support MXFP4 sur GPU NVIDIA (V100 et plus récents)
    Why it matters: A ajouté l'inférence quantifiée MXFP4, dont le changelog de LMDeploy indique un débit 1,5x supérieur à celui de vLLM sur GPU H800 pour les modèles gpt-oss d'OpenAI.
  7. 7
    2026/02 — Support de Qwen3.5 et intégration llm-compressor
    Why it matters: A ajouté le support de la collection de modèles Qwen3.5 et intégré vllm-project/llm-compressor pour la quantification 4 bits symétrique/asymétrique.
  8. 8
    v0.17.0 — 1er septembre 2026
    Why it matters: La dernière release taguée sur GitHub au moment de cette review — consultez directement la [page des releases GitHub](https://github.com/InternLM/lmdeploy/releases) pour tout ce qui a été publié après la date de publication de cette review.

Que peut-on faire avec LMDeploy ?

L'ensemble de fonctionnalités de LMDeploy se concentre sur trois missions : réduire un modèle via la quantification, l'exécuter efficacement et l'exposer comme service réseau. Voici ce que fait réellement chaque partie, selon le README et la documentation propres de LMDeploy.

  • Deux moteurs d'inférence — TurboMind, un moteur C++/CUDA que LMDeploy présente comme son option la plus performante en débit, et un moteur PyTorch en Python pur, plus facile à étendre et à enrichir de nouvelles architectures de modèles ; choisissez selon le modèle en fonction du tableau des modèles pris en charge de LMDeploy
  • Batching continu et attention paginée — batching persistant (continu), cache KV bloqué/paginé et split-and-fuse dynamique, la même classe de techniques utilisée par d'autres moteurs d'inférence en production pour augmenter l'utilisation GPU sous des requêtes concurrentes
  • Quantification — quantification 4 bits AWQ des poids, plus quantification int8/int4 du cache KV combinable avec AWQ en même temps, et (depuis 2026/02) quantification 4 bits symétrique/asymétrique via une intégration llm-compressor
  • Large support de modèles — des dizaines de familles LLM incluant Llama, Llama2/3/3.1/3.2, InternLM2/3, Qwen1.5/2/2.5/3, Qwen3-MoE, Qwen3-Next, DeepSeek-MoE/V2/V3/R1, Mistral, Mixtral, ChatGLM2, GLM-4, Yi, Baichuan2 et Code Llama, selon la documentation des modèles pris en charge de LMDeploy
  • Support des modèles vision-langage (VLM) — pipelines d'inférence hors ligne et service API pour des modèles multimodaux tels qu'InternVL, LLaVA, MiniGemini et CogVLM2
  • Serveur API compatible OpenAI — lmdeploy serve api_server démarre un serveur qui reproduit le format de requête/réponse chat-completions d'OpenAI, documenté séparément pour les LLM et les VLM
  • Pipeline d'inférence par lots hors ligne — une API Python lmdeploy.pipeline() pour exécuter l'inférence directement dans un script, sans monter de serveur
  • Serveur proxy multi-modèles, multi-machines — un service de répartition des requêtes pour exécuter plusieurs modèles sur plusieurs machines et GPU derrière un point d'entrée unique
  • Support matériel au-delà des GPU NVIDIA CUDA — support des NPU Huawei Ascend via le moteur PyTorch, et support Windows (degré de parallélisme tensoriel 1) via TurboMind

Exemples d'utilisation : trois façons d'utiliser LMDeploy

Ce sont des workflows concrets construits à partir des commandes documentées ci-dessus de LMDeploy — pas des cas d'usage hypothétiques.

Exécuter une inférence par lots hors ligne depuis un script Python

Après pip install lmdeploy, exécutez un modèle directement dans Python via l'API pipeline : `import lmdeploy; pipe = lmdeploy.pipeline("internlm/internlm3-8b-instruct"); print(pipe(["Hi, please introduce yourself"]))`. LMDeploy télécharge le modèle depuis HuggingFace par défaut (ou ModelScope/openMind Hub si vous définissez la variable d'environnement correspondante) et l'exécute via le moteur adapté à ce modèle.

Démarrer un serveur API compatible OpenAI pour d'autres applications

Exécutez lmdeploy serve api_server <model-path-or-hf-id> pour démarrer un serveur local qui parle le format chat-completions d'OpenAI. Pointez n'importe quelle bibliothèque client OpenAI ou application vers cette adresse au lieu de api.openai.com, ce qui vous permet de réutiliser du code d'intégration OpenAI existant contre un modèle auto-hébergé.

Quantifier un modèle en 4 bits AWQ avant de le servir

Utilisez le workflow de quantification AWQ de LMDeploy (documenté dans docs/en/quantization/w4a16.md) pour produire une version 4 bits des poids d'un modèle pris en charge, puis servez ce modèle quantifié via TurboMind — les propres chiffres de LMDeploy situent l'inférence 4 bits jusqu'à 2,4x le débit de FP16 sur le même matériel, ce qui permet de loger un modèle plus grand ou de servir plus de requêtes concurrentes sur le même GPU.

Tarifs et licence

LMDeploy est gratuit et open source, sans offre payante. Le fichier LICENSE du dépôt GitHub applique la licence Apache, version 2.0, sans modification, et aucune page tarifaire n'existe dans la documentation du projet.

  • Aucun abonnement, aucune offre payante, aucune limite d'usage imposée par LMDeploy lui-même
  • Aucun compte ni inscription requis pour installer ou utiliser la boîte à outils
  • Votre coût réel correspond au matériel GPU ou à l'instance GPU cloud sur laquelle vous exécutez LMDeploy — LMDeploy lui-même n'ajoute aucun frais
  • Apache 2.0 est une licence permissive : aucune obligation de copyleft de publier votre propre code, l'usage commercial/en production est explicitement autorisé

LMDeploy vs. vLLM

LMDeploy et vLLM figurent parmi les moteurs d'inférence LLM open source les plus utilisés, et le marketing de LMDeploy se compare explicitement à vLLM. Les deux sont gratuits, proches d'Apache 2.0 (vLLM est aussi sous Apache 2.0), installables via Python et prennent en charge un serveur API compatible OpenAI — les différences résident surtout dans l'architecture du moteur, la taille de l'écosystème et le focus sur certaines familles de modèles.

Moteurs principaux

LMDeploy:
TurboMind (C++/CUDA) plus un moteur PyTorch
vLLM:
Un seul moteur basé sur PagedAttention

Débit annoncé

LMDeploy:
Jusqu'à 1,8x vLLM (auto-déclaré)
vLLM:
Largement cité comme référence standard du secteur

Quantification

LMDeploy:
AWQ, cache KV int8/int4, MXFP4
vLLM:
AWQ, GPTQ, FP8 et autres formats

Taille de l'écosystème

LMDeploy:
~8 000 étoiles GitHub
vLLM:
Une communauté plus large et une surface d'intégration tierce plus étendue

Force par famille de modèles

LMDeploy:
Fort support de première classe pour InternLM et Qwen
vLLM:
Très large, souvent le premier à supporter de nouvelles sorties de nombreux labos

Développeur

LMDeploy:
Équipes MMRazor/MMDeploy (Shanghai AI Laboratory)
vLLM:
Né à UC Berkeley, aujourd'hui un large projet open source multi-entreprises

Les chiffres de débit de LMDeploy sont ses propres résultats auto-publiés, pas un benchmark indépendant de PromptQuorum — effectuez votre propre comparaison sur votre modèle cible, votre GPU et votre profil de trafic avant de choisir l'un ou l'autre pour la production. Voir l'explicatif vLLM pour en savoir plus sur vLLM en particulier.

Comparer dans l'annuaire

À qui s'adresse LMDeploy ?

LMDeploy convient aux équipes qui déploient des LLM sur leur propre infrastructure GPU NVIDIA et veulent une pile de service sensible à la quantification et à haut débit plutôt qu'une appli de chat de bureau.

Utilisez LMDeploy si vous

  • déployez de l'inférence LLM sur du matériel GPU NVIDIA que vous contrôlez, en datacenter ou sur une instance GPU cloud
  • voulez une quantification AWQ et du cache KV intégrée pour loger des modèles plus grands ou plus de requêtes concurrentes dans la même mémoire GPU
  • exécutez les familles de modèles InternLM ou Qwen, pour lesquelles LMDeploy offre un support de première classe particulièrement solide
  • voulez un serveur API compatible OpenAI que vous pouvez placer derrière du code client OpenAI existant
  • avez besoin d'un service multimodal (VLM) aux côtés du service LLM texte seul dans la même boîte à outils
  • êtes à l'aise pour travailler depuis un terminal, un script Python ou un conteneur Docker plutôt qu'une appli graphique

Cherchez ailleurs si vous

  • voulez une application de chat de bureau avec une fenêtre et un sélecteur de modèle — LMDeploy n'a aucune interface graphique ; voir le Local LLM Software Directory pour des applications de bureau
  • avez besoin d'inférence CPU seule ou Apple Silicon — le moteur TurboMind de LMDeploy vise les GPU NVIDIA CUDA ; envisagez llama.cpp ou MLX-LM pour ces cas
  • voulez le plus grand écosystème et l'outillage tiers le plus large autour d'un moteur d'inférence — vLLM dispose d'une communauté et d'une surface d'intégration plus larges
  • avez besoin de contrats de support entreprise ou d'un SLA — les canaux de support de LMDeploy sont GitHub Issues, Discord et WeChat, typiques d'un projet open source de laboratoire de recherche plutôt que d'un éditeur commercial

Concurrents et alternatives

LMDeploy se situe dans le segment des moteurs de service LLM en production, aux côtés de vLLM, TensorRT-LLM, SGLang et ExLlamaV2 — des outils conçus pour exécuter des modèles à grande échelle sur du matériel GPU dédié, distincts des applications de bureau grand public.

TensorRT-LLM

Connu pour:
La bibliothèque d'inférence basée sur un compilateur propre à NVIDIA, très optimisée pour son matériel
Link:
TensorRT-LLM expliqué
Articles sur TensorRT-LLM (7)

Également mentionné dans :

+1 autres non affichés

ExLlamaV2

Connu pour:
Un moteur axé quantification, populaire pour exécuter des modèles GPTQ/EXL2 sur GPU grand public
Link:
ExLlamaV2 expliqué
Articles sur ExLlamaV2 (3)

Également mentionné dans :

Cette liste reflète les outils couramment comparés à LMDeploy dans le segment du service en production, et non un classement indépendant de PromptQuorum — vérifiez l'ensemble de fonctionnalités et les exigences matérielles actuels de chaque outil avant de choisir.

Comparer dans l'annuaire

Erreurs courantes lors de l'évaluation de LMDeploy

La plupart des confusions autour de LMDeploy viennent du fait de le traiter comme une appli de chat de bureau, ou de citer ses chiffres de benchmark auto-déclarés comme vérifiés de manière indépendante.

Erreur 1 : s'attendre à une interface de chat graphique

LMDeploy n'a aucune interface graphique. C'est une boîte à outils en ligne de commande et une bibliothèque Python utilisées pour exécuter des serveurs d'inférence et des pipelines par lots — pour une fenêtre de chat, voir plutôt des applications de bureau comme Jan ou LM Studio, qui utilisent souvent des moteurs différents en interne.

Erreur 2 : citer « 1,8x plus rapide que vLLM » comme un fait vérifié de manière indépendante

Ce chiffre, et les affirmations de débit similaires dans le README de LMDeploy, sont des benchmarks auto-publiés par le projet, pas une mesure de tiers ou de PromptQuorum. Effectuez un benchmark sur votre propre modèle, votre GPU et votre profil de trafic avant de vous y fier pour une décision de dimensionnement.

Erreur 3 : supposer que LMDeploy fonctionne sur n'importe quel GPU ou en CPU seul

Le moteur TurboMind principal de LMDeploy vise les GPU NVIDIA CUDA. Le support des NPU Huawei Ascend existe via le moteur PyTorch, mais cette review n'a trouvé aucun chemin CPU seul ou Apple Silicon — vérifiez la documentation des modèles et du matériel pris en charge pour votre configuration spécifique.

Erreur 4 : supposer que chaque modèle est également bien supporté

LMDeploy documente quels modèles chaque moteur (TurboMind vs. PyTorch) prend en charge, et la profondeur du support varie selon la famille de modèles — les modèles InternLM et Qwen bénéficient généralement d'un traitement de première classe compte tenu de l'origine de LMDeploy. Consultez le tableau des modèles pris en charge pour votre modèle spécifique avant de vous engager.

Questions fréquemment posées

Qu'est-ce que LMDeploy ?

LMDeploy (github.com/InternLM/lmdeploy) est une boîte à outils gratuite et open source (Apache 2.0) pour compresser, quantifier et servir de grands modèles de langage sur GPU NVIDIA, développée par les équipes MMRazor et MMDeploy au sein de l'écosystème InternLM/OpenMMLab.

LMDeploy est-il gratuit ?

Oui. LMDeploy est sous licence Apache 2.0, sans page tarifaire ni offre payante. Votre coût réel correspond au matériel GPU ou à l'instance cloud sur laquelle vous l'exécutez.

Comment installer LMDeploy ?

Exécutez pip install lmdeploy dans un environnement Python 3.10–3.13 (un environnement conda est recommandé). Depuis la v0.13.0, les wheels PyPI par défaut ciblent CUDA 12.8, ce qui suffit généralement sans installation CUDA séparée sur des configurations GPU NVIDIA classiques.

LMDeploy a-t-il une interface graphique ?

Non. LMDeploy est une boîte à outils en ligne de commande et une bibliothèque Python. Il n'a pas de fenêtre de chat — vous interagissez via le terminal, un script Python ou son serveur API compatible OpenAI.

LMDeploy est-il plus rapide que vLLM ?

Le README de LMDeploy indique un débit de requêtes jusqu'à 1,8x supérieur à vLLM, sur la base de benchmarks auto-publiés. Ce n'est pas un chiffre vérifié de manière indépendante — effectuez votre propre benchmark sur votre modèle et votre matériel cibles avant de vous y fier.

Quelle quantification LMDeploy prend-il en charge ?

La quantification 4 bits AWQ des poids, la quantification int8/int4 du cache KV (combinable avec AWQ), MXFP4 sur les GPU NVIDIA pris en charge, et, depuis 2026/02, la quantification 4 bits symétrique/asymétrique via une intégration avec vllm-project/llm-compressor.

Quels modèles LMDeploy prend-il en charge ?

Des dizaines de familles LLM — dont Llama, InternLM2/3, Qwen1.5 à Qwen3, DeepSeek-MoE/V2/V3/R1, Mistral, ChatGLM2, GLM-4 et Code Llama — plus des modèles vision-langage comme InternVL, LLaVA et CogVLM2. Consultez la documentation des modèles pris en charge de LMDeploy pour la liste complète et actuelle.

LMDeploy prend-il en charge des GPU autres que NVIDIA ?

Son moteur TurboMind principal vise les GPU NVIDIA CUDA. Le moteur PyTorch ajoute un support pour les NPU Huawei Ascend. Cette review n'a trouvé aucun chemin de support CPU seul ou Apple Silicon.

Qui développe LMDeploy ?

Les équipes MMRazor et MMDeploy, au sein de l'écosystème open source InternLM/OpenMMLab maintenu par le Shanghai AI Laboratory.

LMDeploy dispose-t-il d'un serveur API compatible OpenAI ?

Oui. Exécuter lmdeploy serve api_server démarre un serveur local qui reproduit le format de requête/réponse chat-completions d'OpenAI, permettant à du code client OpenAI existant de le cibler au lieu d'un point de terminaison cloud.

Sources

← Retour aux LLM locaux avancés

MCP