メインコンテンツへスキップ
PromptQuorum人のために設計。 AI向けに構造化。
ホーム/ローカルLLM活用
Overview & Reference

LMDeployレビュー: 高スループットLLMサービングと量子化

·読了時間10分Hans Kuepper 著 · PromptQuorum創設者 · オープンウェイト／オープンソースAIの発見エンジン

LMDeployは、NVIDIA GPU上で大規模言語モデルを圧縮・量子化・サービングするための無料のオープンソース（Apache 2.0）コマンドラインツールキット兼Pythonライブラリで、pip install lmdeployでインストールします。 InternLM/OpenMMLabエコシステム内のMMRazorおよびMMDeployチームが開発し、TurboMind（スループットに最適化されたC++/CUDAエンジン）と純Python製PyTorchエンジンの2つの推論エンジンに加え、AWQおよびKVキャッシュ量子化、OpenAI互換のAPIサーバー、そして50を優に超えるオープンウェイトLLM・VLMファミリーへの対応を備えています。

重要なポイント

  • LMDeploy（github.com/InternLM/lmdeploy）は無料でオープンソース、pipでインストール可能な推論・量子化ツールキット — GUIアプリではなくCLI/ライブラリ
  • InternLM/OpenMMLabエコシステム（上海AI Laboratory）内のMMRazorおよびMMDeployチームが開発。リポジトリ作成日は2023年6月15日
  • GitHubリポジトリのLICENSEファイルで確認済みのApache 2.0ライセンス
  • 2つの推論エンジンを搭載: TurboMind（C++/CUDA、スループット最適化）と純Python製PyTorchエンジン
  • AWQ 4ビット重み量子化とint8/int4のKVキャッシュ量子化に対応
  • 本レビュー時点でGitHubスターは8,000超、フォークは750超。最新タグ付きリリースはv0.17.0で、2026年9月1日公開

📍 一文で説明

LMDeployは、InternLM/OpenMMLabエコシステム内のMMRazorおよびMMDeployチームが開発した、NVIDIA GPU上でLLMを圧縮・量子化・サービングするための無料のオープンソース（Apache 2.0）ツールキットで、pip install lmdeployでインストールでき、GitHubスターは8,000を超える。

💬 簡潔に説明

LMDeployはpipでインストールするコマンドラインツール兼Pythonライブラリで、すでに手元にあるLLM（例えばHuggingFaceから）を自分のGPU上で高速に実行し、必要に応じて4ビット量子化で事前に縮小してメモリ使用量を抑えることができます。クリックして使うウィンドウ付きのチャットアプリではなく、サーバー上で動かすインフラであり、他のアプリケーションはOpenAI互換のAPIを通じてやり取りします。

📌補足: 本レビューはLMDeploy自身のGitHubリポジトリ、README、ドキュメント、PyPI掲載情報に基づいています。スループットや量子化速度に関する数値（「vLLMより1.8倍高速」など）はLMDeploy自身が公表した自己申告のベンチマークであり、PromptQuorumによる独自測定ではありません。購入や設計上の判断において特定の数値に依拠する前に、最新の公開ベンチマークを確認してください。

言語を選択:
🇺🇸en🇩🇪de🇫🇷fr🇯🇵ja🇨🇳zh🇪🇸es🇧🇷pt🇸🇦ar🇰🇷ko

LMDeploy（github.com/InternLM/lmdeploy）は、大規模言語モデルの圧縮・量子化・サービングを行う無料のオープンソース（Apache 2.0）ツールキットで、InternLM/OpenMMLabエコシステム内のMMRazorおよびMMDeployチームによって開発されています。pip install lmdeployでインストールでき、TurboMindと純Python製PyTorchエンジンという2つの推論エンジンに加え、OpenAI互換のAPIサーバーを備え、GitHubスターは8,000を超えます。本レビューはローカルLLMソフトウェアディレクトリにあるLMDeployの項目の関連記事で、実際に何ができるか、インストール方法、どのような人に向いているかを解説します。

LMDeployとは?

LMDeployは、大規模言語モデルの圧縮・デプロイ・サービングを行うツールキットで、NVIDIA GPU上での高スループット推論を実現するために作られています。 GitHub上の説明によれば、MMRazorおよびMMDeployチームによって開発されました。両者ともOpenMMLabプロジェクトであり、InternLMモデルファミリーの開発元でもある上海AI Laboratoryが運営する、オープンソースのコンピュータビジョン・モデルデプロイエコシステムです。

  • 製品種別: コマンドラインツール兼Pythonライブラリ — グラフィカルなインターフェースはなく、ターミナル、Pythonスクリプト、またはDockerコンテナから利用
  • 開発元: MMRazorおよびMMDeployチーム。上海AI Laboratory傘下のInternLM/OpenMMLabエコシステムの一部
  • リポジトリ: GitHub上のInternLM/lmdeploy、2023年6月15日作成
  • ライセンス: Apache 2.0、リポジトリのLICENSEファイルで確認済み
  • 規模: 本レビュー時点でGitHubスターは8,000超、フォークは750超、オープンなIssueは596件
  • 配布: PyPI上でlmdeployパッケージとして公開されており、プロジェクトのドキュメントによれば公式Dockerイメージも提供

プロジェクトの沿革とバージョンの節目

LMDeployのGitHubリポジトリは2023年6月に作成され、以降継続的に開発が進んでいます。単一のTurboMind推論エンジンから、量子化、マルチモーダル（VLM）対応、分散サービングを備えた2エンジン構成のツールキットへと拡大しました。

  1. 1
    2023/08 — 4ビットAWQ量子化とHuggingFace Hubでの公開
    Why it matters: 公式チェンジログによれば、AWQベースの4ビット重み量子化を追加し、すぐに使える4ビットモデルをHuggingFace上に公開した。
  2. 2
    2024/01 — PyTorch推論エンジンの導入
    Why it matters: TurboMindに加え、純Python製の2つ目の推論エンジンを追加し、サービングスタックの拡張やデバッグを行う開発者にとっての障壁を下げた。
  3. 3
    2024/06–2024/07 — VLMおよび関数呼び出しのサポート
    Why it matters: マルチモーダル（視覚言語モデル）の推論パイプラインおよびサービングに加え、Llama 3.1とInternLM2.5向けのツール/関数呼び出しを追加した。
  4. 4
    2025/01 — DeepSeek-V3・R1のサポート
    Why it matters: 広く使われている推論モデル系列であるDeepSeek-V3・R1のモデルファミリーへの、リリース直後に近いタイミングでのサポートを追加した。
  5. 5
    2025/06 — DeepSeekのPD分離
    Why it matters: DLSlimeとMooncakeを介したDeepSeekモデル向けのprefill/decode分離を統合。大規模MoEモデルのサービングを複数マシンにまたがってスケールさせる本番技術。
  6. 6
    2025/09 — NVIDIA GPU（V100以降）向けMXFP4サポート
    Why it matters: MXFP4量子化推論を追加。LMDeploy自身のチェンジログによれば、H800 GPU上のOpenAI gpt-ossモデルでvLLMの1.5倍のスループットを記録。
  7. 7
    2026/02 — Qwen3.5サポートとllm-compressor統合
    Why it matters: Qwen3.5モデルコレクションへのサポートを追加し、対称/非対称4ビット量子化のためにvllm-project/llm-compressorを統合した。
  8. 8
    v0.17.0 — 2026年9月1日
    Why it matters: 本レビュー時点でのGitHub最新タグ付きリリース。このレビューの公開日以降にリリースされた内容については、[GitHubリリースページ](https://github.com/InternLM/lmdeploy/releases)を直接確認してください。

LMDeployでできること

LMDeployの機能セットは、モデルを量子化で縮小すること、効率的に実行すること、ネットワークサービスとして公開することという3つの役割を中心に構成されています。LMDeploy自身のREADMEとドキュメントによれば、それぞれ実際には次のことを行います。

  • 2つの推論エンジン — LMDeployが最もスループットの高い選択肢と位置づけるC++/CUDAエンジンのTurboMindと、拡張や新しいモデルアーキテクチャの追加が容易な純Python製PyTorchエンジン。どちらを使うかはLMDeploy自身のサポートモデル表に基づきモデルごとに選択
  • 継続的バッチ処理とページドアテンション — 永続的（継続的）バッチ処理、ブロック単位/ページ単位のKVキャッシュ、動的split-and-fuseという、他の本番向け推論エンジンでも使われている同種の技術により、同時リクエスト下でのGPU利用率を高める
  • 量子化 — AWQ 4ビット重み量子化に加え、AWQと同時に組み合わせ可能なint8/int4 KVキャッシュ量子化、そして（2026/02以降）llm-compressor統合による対称/非対称4ビット量子化
  • 幅広いモデルサポート — LMDeployのサポートモデルドキュメントによれば、Llama、Llama2/3/3.1/3.2、InternLM2/3、Qwen1.5/2/2.5/3、Qwen3-MoE、Qwen3-Next、DeepSeek-MoE/V2/V3/R1、Mistral、Mixtral、ChatGLM2、GLM-4、Yi、Baichuan2、Code Llamaなど数十のLLMファミリーに対応
  • 視覚言語モデル（VLM）サポート — InternVL、LLaVA、MiniGemini、CogVLM2などのマルチモーダルモデル向けのオフライン推論パイプラインとAPIサービング
  • OpenAI互換のAPIサーバー — lmdeploy serve api_serverを実行すると、OpenAIのchat completions形式のリクエスト/レスポンスを再現するサーバーが起動する。LLMとVLMそれぞれについて個別にドキュメント化されている
  • オフラインバッチ推論パイプライン — サーバーを立てずにスクリプト内で直接推論を実行できるPythonのlmdeploy.pipeline()API
  • マルチモデル・マルチマシンプロキシサーバー — 複数のマシンとGPUにまたがる複数モデルを1つのエントリポイントの背後で稼働させるためのリクエスト分配サービス
  • NVIDIA CUDA GPU以外へのハードウェア対応 — PyTorchエンジン経由でのHuawei Ascend NPUサポート、およびTurboMind経由でのWindowsサポート（テンソル並列度1）

利用例: LMDeployの3つの使い方

以下は、上記のLMDeployが文書化しているコマンドから構成した具体的なワークフローであり、仮想的なユースケースではありません。

Pythonスクリプトからオフラインバッチ推論を実行する

pip install lmdeployの後、パイプラインAPIを使ってPython内で直接モデルを実行できます: `import lmdeploy; pipe = lmdeploy.pipeline("internlm/internlm3-8b-instruct"); print(pipe(["Hi, please introduce yourself"]))`。LMDeployはデフォルトでHuggingFaceからモデルをダウンロードします（該当する環境変数を設定すればModelScope/openMind Hubも利用可能）。そのモデルに適したエンジンを通じて実行されます。

他のアプリが利用できるOpenAI互換のAPIサーバーを起動する

lmdeploy serve api_server <model-path-or-hf-id>を実行すると、OpenAIのchat completions形式を話すローカルサーバーが起動します。任意のOpenAIクライアントライブラリやアプリをapi.openai.comの代わりにこのアドレスに向けることで、既存のOpenAI連携コードをセルフホストのモデルに対して再利用できます。

サービング前にモデルを4ビットAWQに量子化する

LMDeployのAWQ量子化ワークフロー（docs/en/quantization/w4a16.mdで文書化）を使って、サポート対象モデルの4ビット重みバージョンを作成し、その量子化済みモデルをTurboMind経由でサービングします。LMDeploy自身の数値によれば、4ビット推論は同一ハードウェア上でFP16比最大2.4倍のスループットとなり、同じGPUでより大きなモデルを扱ったり、より多くの同時リクエストを処理したりできるようになります。

料金とライセンス

LMDeployは無料かつオープンソースで、有料プランはありません。 GitHubリポジトリのLICENSEファイルには、変更を加えていないApache License, Version 2.0が適用されており、プロジェクトのドキュメント内に料金ページは一切ありません。

  • サブスクリプション、有料プラン、LMDeploy自身が課す利用制限はいずれも存在しない
  • ツールキットのインストールや利用にアカウント登録は不要
  • 実際のコストは、LMDeployを実行するGPUハードウェアまたはクラウドGPUインスタンスのコストであり、LMDeploy自体は追加料金を一切課さない
  • Apache 2.0は許容度の高いライセンスであり、自社コードを公開するコピーレフト義務はなく、商用・本番利用も明示的に許可されている

LMDeploy vs. vLLM

LMDeployとvLLMは、最も広く使われているオープンソースLLM推論エンジンの2つであり、LMDeploy自身のマーケティングも明確にvLLMを比較対象としています。 どちらも無料で、Apache 2.0に近く（vLLMもApache 2.0）、Pythonでインストール可能で、OpenAI互換のAPIサーバーに対応しています。違いは主にエンジンのアーキテクチャ、エコシステムの規模、注力しているモデルファミリーにあります。

コアエンジン

LMDeploy:
TurboMind（C++/CUDA）に加えPyTorchエンジン
vLLM:
PagedAttentionベースの単一エンジン

スループットの主張

LMDeploy:
vLLM比で最大1.8倍（自己申告）
vLLM:
業界標準のベースラインとして広く引用される

量子化

LMDeploy:
AWQ、int8/int4 KVキャッシュ、MXFP4
vLLM:
AWQ、GPTQ、FP8など他フォーマット

エコシステム規模

LMDeploy:
約8,000のGitHubスター
vLLM:
より大きなコミュニティと幅広いサードパーティ連携

モデルファミリーの強み

LMDeploy:
InternLMとQwenへの強力な第一級サポート
vLLM:
非常に幅広く、多くのラボの新モデルに真っ先に対応することが多い

開発元

LMDeploy:
MMRazor/MMDeployチーム（上海AI Laboratory）
vLLM:
UC Berkeley発祥で、現在は複数企業にまたがる広範なオープンソースプロジェクト

LMDeployのスループットに関する主張は自己申告の数値であり、PromptQuorumによる独自ベンチマークではありません。本番でどちらかを選ぶ前に、対象のモデル、GPU、トラフィックパターンで独自の比較を行ってください。vLLM自体の詳細はvLLM解説を参照してください。

ディレクトリで比較する

LMDeployはどんな人に向いているか

LMDeployは、デスクトップチャットアプリではなく、量子化に対応した高スループットのサービングスタックを求め、自身が管理するNVIDIA GPUインフラ上でLLMをデプロイするチームに向いています。

こんな方はLMDeployを

  • データセンターやクラウドGPUインスタンスなど、自分で管理するNVIDIA GPUハードウェア上でLLM推論をデプロイしている
  • 同じGPUメモリでより大きなモデルやより多くの同時リクエストを扱うために、AWQとKVキャッシュ量子化が組み込まれていてほしい
  • LMDeployが特に強力な第一級サポートを提供するInternLMまたはQwenのモデルファミリーを運用している
  • 既存のOpenAIクライアントコードの背後に置けるOpenAI互換のAPIサーバーがほしい
  • 同一ツールキット内で、テキスト専用のLLMサービングに加えてマルチモーダル（VLM）サービングも必要
  • グラフィカルなアプリよりも、ターミナル、Pythonスクリプト、Dockerコンテナでの作業に抵抗がない

こんな方は他を検討

  • ウィンドウとモデル選択機能を備えたデスクトップチャットアプリが欲しい場合 — LMDeployにGUIはありません。デスクトップアプリはローカルLLMソフトウェアディレクトリを参照してください
  • CPUのみやApple Silicon上での推論が必要な場合 — LMDeployのTurboMindエンジンはNVIDIA CUDA GPUを対象としています。そうしたケースではllama.cppやMLX-LMを検討してください
  • 推論エンジンをめぐる最大のエコシステムと最も幅広いサードパーティツールを求める場合 — vLLMのほうがコミュニティと連携範囲が大きい
  • エンタープライズ向けサポート契約やSLAが必要な場合 — LMDeployのサポート窓口はGitHub Issues、Discord、WeChatであり、商用ベンダーというより研究機関のオープンソースプロジェクトらしい形態です

競合とその他の選択肢

LMDeployは、vLLM、TensorRT-LLM、SGLang、ExLlamaV2と並ぶ、本番向けLLMサービングエンジンのセグメントに位置しています。これらは専用GPUハードウェア上で大規模にモデルを実行するために作られたツールであり、コンシューマー向けデスクトップアプリとは一線を画します。

vLLM

代表的な特徴:
最も広く採用されているオープンソース推論エンジン、PagedAttention、新モデルへの幅広い即日対応
Link:
vLLM解説
vLLMに関する記事（10件）

さらに92件（非表示）

TensorRT-LLM

代表的な特徴:
NVIDIA自身によるコンパイラベースの推論ライブラリで、NVIDIAハードウェア向けに深く最適化
Link:
TensorRT-LLM解説
TensorRT-LLMに関する記事（7件）

その他の言及:

さらに1件（非表示）

ExLlamaV2

代表的な特徴:
量子化に特化したエンジンで、コンシューマーGPUでのGPTQ/EXL2モデル実行に人気
Link:
ExLlamaV2解説
ExLlamaV2に関する記事（3件）

その他の言及:

このリストは、本番サービングのセグメントでLMDeployとよく比較されるツールを示すものであり、PromptQuorumによる独自ランキングではありません。選定前に各ツールの現在の機能セットとハードウェア要件を確認してください。

ディレクトリで比較する

LMDeploy評価時によくある間違い

LMDeployをめぐる混乱の多くは、これをデスクトップチャットアプリのように扱ったり、自己申告のベンチマーク数値を独自検証済みの事実として引用したりすることから生じます。

間違い1: グラフィカルなチャットインターフェースを期待する

LMDeployにGUIはありません。推論サーバーやバッチパイプラインを動かすためのコマンドラインツールキット兼Pythonライブラリです。チャットウィンドウが必要なら、代わりにJanやLM Studioのようなデスクトップアプリを検討してください。多くの場合、内部では別のエンジンを使っています。

間違い2: 「vLLMより1.8倍高速」を独自検証済みの事実として引用する

この数値や、LMDeployのREADMEに記載された同様のスループットに関する主張は、プロジェクト自身が公表した自己申告のベンチマークであり、第三者やPromptQuorumによる測定ではありません。容量計画の判断に用いる前に、自分のモデル・GPU・トラフィックパターンでベンチマークを実施してください。

間違い3: LMDeployが任意のGPUやCPUのみで動作すると想定する

LMDeployの主要なTurboMindエンジンはNVIDIA CUDA GPUを対象としています。Huawei Ascend NPUのサポートはPyTorchエンジン経由で存在しますが、CPUのみやApple Siliconに対応する経路は本レビューでは見つかりませんでした。ご自身のセットアップについては、サポートモデルおよびサポートハードウェアのドキュメントを確認してください。

間違い4: すべてのモデルが同等にサポートされていると想定する

LMDeployは各エンジン（TurboMindとPyTorch）がどのモデルをサポートしているかを文書化しており、サポートの深さはモデルファミリーによって異なります。LMDeployの出自を踏まえると、InternLMとQwenのモデルは第一級の扱いを受ける傾向があります。特定のモデルに取り組む前に、サポートモデル表を確認してください。

よくある質問

LMDeployとは何ですか?

LMDeploy（github.com/InternLM/lmdeploy）は、InternLM/OpenMMLabエコシステム内のMMRazorおよびMMDeployチームが開発した、NVIDIA GPU上で大規模言語モデルを圧縮・量子化・サービングするための無料のオープンソース（Apache 2.0）ツールキットです。

LMDeployは無料ですか?

はい。LMDeployはApache 2.0ライセンスで、料金ページも有料プランもありません。実際のコストは、それを実行するGPUハードウェアまたはクラウドインスタンスのコストです。

LMDeployはどうやってインストールしますか?

Python 3.10〜3.13環境内でpip install lmdeployを実行してください（conda環境が推奨されます）。v0.13.0以降、デフォルトのPyPIホイールはCUDA 12.8をターゲットにしているため、一般的なNVIDIA GPU環境では通常、別途CUDAをインストールする必要はありません。

LMDeployにグラフィカルなインターフェースはありますか?

いいえ。LMDeployはコマンドラインツールキット兼Pythonライブラリです。チャットウィンドウはなく、ターミナル、Pythonスクリプト、またはOpenAI互換のAPIサーバーを通じて操作します。

LMDeployはvLLMより高速ですか?

LMDeploy自身のREADMEでは、自己申告のベンチマークに基づき、vLLM比で最大1.8倍のリクエストスループットが報告されています。これは独立して検証された数値ではないため、依拠する前に対象のモデルとハードウェアで独自のベンチマークを実施してください。

LMDeployはどのような量子化に対応していますか?

AWQ 4ビット重み量子化、int8/int4のKVキャッシュ量子化（AWQと組み合わせ可能）、サポート対象NVIDIA GPUでのMXFP4、そして2026/02以降はvllm-project/llm-compressorとの統合による対称/非対称4ビット量子化です。

LMDeployはどのモデルに対応していますか?

Llama、InternLM2/3、Qwen1.5からQwen3、DeepSeek-MoE/V2/V3/R1、Mistral、ChatGLM2、GLM-4、Code Llamaなど数十のLLMファミリーに加え、InternVL、LLaVA、CogVLM2などの視覚言語モデルにも対応しています。完全かつ最新の一覧は、LMDeploy自身のサポートモデルドキュメントを参照してください。

LMDeployはNVIDIA以外のGPUに対応していますか?

主要なTurboMindエンジンはNVIDIA CUDA GPUを対象としています。PyTorchエンジンによりHuawei Ascend NPUのサポートが追加されますが、本レビューではCPUのみやApple Siliconに対応する経路は見つかりませんでした。

LMDeployは誰が開発していますか?

上海AI Laboratory傘下のInternLM/OpenMMLabオープンソースエコシステムの一部である、MMRazorおよびMMDeployチームです。

LMDeployにはOpenAI互換のAPIサーバーがありますか?

はい。lmdeploy serve api_serverを実行すると、OpenAIのchat completions形式のリクエスト/レスポンスを再現するローカルサーバーが起動し、既存のOpenAIクライアントコードをクラウドエンドポイントの代わりにそこへ向けられます。

出典

← ローカルLLM活用 に戻る

MCP