Skip to main content
PromptQuorum
ホーム/ローカルLLM活用/LMDeployレビュー: 高スループットLLMサービングと量子化
Overview & Reference

LMDeployレビュー: 高スループットLLMサービングと量子化

·読了時間10分·Hans Kuepper 著 · PromptQuorumの創設者、マルチモデルAIディスパッチツール · PromptQuorum
言語を選択:
🇺🇸en🇩🇪de🇫🇷fr🇯🇵ja🇨🇳zh🇪🇸es🇧🇷pt🇸🇦ar🇰🇷ko

LMDeployは、NVIDIA GPU上で大規模言語モデルを圧縮・量子化・サービングするための無料のオープンソース（Apache 2.0）コマンドラインツールキット兼Pythonライブラリで、pip install lmdeployでインストールします。 InternLM/OpenMMLabエコシステム内のMMRazorおよびMMDeployチームが開発し、TurboMind（スループットに最適化されたC++/CUDAエンジン）と純Python製PyTorchエンジンの2つの推論エンジンに加え、AWQおよびKVキャッシュ量子化、OpenAI互換のAPIサーバー、そして50を優に超えるオープンウェイトLLM・VLMファミリーへの対応を備えています。

LMDeploy（github.com/InternLM/lmdeploy）は、大規模言語モデルの圧縮・量子化・サービングを行う無料のオープンソース（Apache 2.0）ツールキットで、InternLM/OpenMMLabエコシステム内のMMRazorおよびMMDeployチームによって開発されています。pip install lmdeployでインストールでき、TurboMindと純Python製PyTorchエンジンという2つの推論エンジンに加え、OpenAI互換のAPIサーバーを備え、GitHubスターは8,000を超えます。本レビューはローカルLLMソフトウェアディレクトリにあるLMDeployの項目の関連記事で、実際に何ができるか、インストール方法、どのような人に向いているかを解説します。

重要なポイント

  • LMDeploy（github.com/InternLM/lmdeploy）は無料でオープンソース、pipでインストール可能な推論・量子化ツールキット — GUIアプリではなくCLI/ライブラリ
  • InternLM/OpenMMLabエコシステム（上海AI Laboratory）内のMMRazorおよびMMDeployチームが開発。リポジトリ作成日は2023年6月15日
  • GitHubリポジトリのLICENSEファイルで確認済みのApache 2.0ライセンス
  • 2つの推論エンジンを搭載: TurboMind（C++/CUDA、スループット最適化）と純Python製PyTorchエンジン
  • AWQ 4ビット重み量子化とint8/int4のKVキャッシュ量子化に対応
  • 本レビュー時点でGitHubスターは8,000超、フォークは750超。最新タグ付きリリースはv0.17.0で、2026年9月1日公開

📍 一文で説明

LMDeployは、InternLM/OpenMMLabエコシステム内のMMRazorおよびMMDeployチームが開発した、NVIDIA GPU上でLLMを圧縮・量子化・サービングするための無料のオープンソース（Apache 2.0）ツールキットで、pip install lmdeployでインストールでき、GitHubスターは8,000を超える。

💬 簡潔に説明

LMDeployはpipでインストールするコマンドラインツール兼Pythonライブラリで、すでに手元にあるLLM（例えばHuggingFaceから）を自分のGPU上で高速に実行し、必要に応じて4ビット量子化で事前に縮小してメモリ使用量を抑えることができます。クリックして使うウィンドウ付きのチャットアプリではなく、サーバー上で動かすインフラであり、他のアプリケーションはOpenAI互換のAPIを通じてやり取りします。

📌補足: 本レビューはLMDeploy自身のGitHubリポジトリ、README、ドキュメント、PyPI掲載情報に基づいています。スループットや量子化速度に関する数値（「vLLMより1.8倍高速」など）はLMDeploy自身が公表した自己申告のベンチマークであり、PromptQuorumによる独自測定ではありません。購入や設計上の判断において特定の数値に依拠する前に、最新の公開ベンチマークを確認してください。

LMDeployとは?

LMDeployは、大規模言語モデルの圧縮・デプロイ・サービングを行うツールキットで、NVIDIA GPU上での高スループット推論を実現するために作られています。 GitHub上の説明によれば、MMRazorおよびMMDeployチームによって開発されました。両者ともOpenMMLabプロジェクトであり、InternLMモデルファミリーの開発元でもある上海AI Laboratoryが運営する、オープンソースのコンピュータビジョン・モデルデプロイエコシステムです。

  • 製品種別: コマンドラインツール兼Pythonライブラリ — グラフィカルなインターフェースはなく、ターミナル、Pythonスクリプト、またはDockerコンテナから利用
  • 開発元: MMRazorおよびMMDeployチーム。上海AI Laboratory傘下のInternLM/OpenMMLabエコシステムの一部
  • リポジトリ: GitHub上のInternLM/lmdeploy、2023年6月15日作成
  • ライセンス: Apache 2.0、リポジトリのLICENSEファイルで確認済み
  • 規模: 本レビュー時点でGitHubスターは8,000超、フォークは750超、オープンなIssueは596件
  • 配布: PyPI上でlmdeployパッケージとして公開されており、プロジェクトのドキュメントによれば公式Dockerイメージも提供

プロジェクトの沿革とバージョンの節目

LMDeployのGitHubリポジトリは2023年6月に作成され、以降継続的に開発が進んでいます。単一のTurboMind推論エンジンから、量子化、マルチモーダル（VLM）対応、分散サービングを備えた2エンジン構成のツールキットへと拡大しました。

  1. 1
    2023/08 — 4ビットAWQ量子化とHuggingFace Hubでの公開
    Why it matters: 公式チェンジログによれば、AWQベースの4ビット重み量子化を追加し、すぐに使える4ビットモデルをHuggingFace上に公開した。
  2. 2
    2024/01 — PyTorch推論エンジンの導入
    Why it matters: TurboMindに加え、純Python製の2つ目の推論エンジンを追加し、サービングスタックの拡張やデバッグを行う開発者にとっての障壁を下げた。
  3. 3
    2024/06–2024/07 — VLMおよび関数呼び出しのサポート
    Why it matters: マルチモーダル（視覚言語モデル）の推論パイプラインおよびサービングに加え、Llama 3.1とInternLM2.5向けのツール/関数呼び出しを追加した。
  4. 4
    2025/01 — DeepSeek V3・R1のサポート
    Why it matters: 広く使われている推論モデル系列であるDeepSeek V3・R1のモデルファミリーへの、リリース直後に近いタイミングでのサポートを追加した。
  5. 5
    2025/06 — DeepSeekのPD分離
    Why it matters: DLSlimeとMooncakeを介したDeepSeekモデル向けのprefill/decode分離を統合。大規模MoEモデルのサービングを複数マシンにまたがってスケールさせる本番技術。
  6. 6
    2025/09 — NVIDIA GPU（V100以降）向けMXFP4サポート
    Why it matters: MXFP4量子化推論を追加。LMDeploy自身のチェンジログによれば、H800 GPU上のOpenAI gpt-ossモデルでvLLMの1.5倍のスループットを記録。
  7. 7
    2026/02 — Qwen3.5サポートとllm-compressor統合
    Why it matters: Qwen3.5モデルコレクションへのサポートを追加し、対称/非対称4ビット量子化のためにvllm-project/llm-compressorを統合した。
  8. 8
    v0.17.0 — 2026年9月1日
    Why it matters: 本レビュー時点でのGitHub最新タグ付きリリース。このレビューの公開日以降にリリースされた内容については、[GitHubリリースページ](https://github.com/InternLM/lmdeploy/releases)を直接確認してください。

LMDeployでできること

LMDeployの機能セットは、モデルを量子化で縮小すること、効率的に実行すること、ネットワークサービスとして公開することという3つの役割を中心に構成されています。LMDeploy自身のREADMEとドキュメントによれば、それぞれ実際には次のことを行います。

  • 2つの推論エンジン — LMDeployが最もスループットの高い選択肢と位置づけるC++/CUDAエンジンのTurboMindと、拡張や新しいモデルアーキテクチャの追加が容易な純Python製PyTorchエンジン。どちらを使うかはLMDeploy自身のサポートモデル表に基づきモデルごとに選択
  • 継続的バッチ処理とページドアテンション — 永続的（継続的）バッチ処理、ブロック単位/ページ単位のKVキャッシュ、動的split-and-fuseという、他の本番向け推論エンジンでも使われている同種の技術により、同時リクエスト下でのGPU利用率を高める
  • 量子化 — AWQ 4ビット重み量子化に加え、AWQと同時に組み合わせ可能なint8/int4 KVキャッシュ量子化、そして（2026/02以降）llm-compressor統合による対称/非対称4ビット量子化
  • 幅広いモデルサポート — LMDeployのサポートモデルドキュメントによれば、Llama、Llama2/3/3.1/3.2、InternLM2/3、Qwen1.5/2/2.5/3、Qwen3-MoE、Qwen3-Next、DeepSeek-MoE/V2/V3/R1、Mistral、Mixtral、ChatGLM2、GLM-4、Yi、Baichuan2、Code Llamaなど数十のLLMファミリーに対応
  • 視覚言語モデル（VLM）サポート — InternVL、LLaVA、MiniGemini、CogVLM2などのマルチモーダルモデル向けのオフライン推論パイプラインとAPIサービング
  • OpenAI互換のAPIサーバー — lmdeploy serve api_serverを実行すると、OpenAIのchat completions形式のリクエスト/レスポンスを再現するサーバーが起動する。LLMとVLMそれぞれについて個別にドキュメント化されている
  • オフラインバッチ推論パイプライン — サーバーを立てずにスクリプト内で直接推論を実行できるPythonのlmdeploy.pipeline()API
  • マルチモデル・マルチマシンプロキシサーバー — 複数のマシンとGPUにまたがる複数モデルを1つのエントリポイントの背後で稼働させるためのリクエスト分配サービス
  • NVIDIA CUDA GPU以外へのハードウェア対応 — PyTorchエンジン経由でのHuawei Ascend NPUサポート、およびTurboMind経由でのWindowsサポート（テンソル並列度1）

利用例: LMDeployの3つの使い方

以下は、上記のLMDeployが文書化しているコマンドから構成した具体的なワークフローであり、仮想的なユースケースではありません。

料金とライセンス

LMDeployは無料かつオープンソースで、有料プランはありません。 GitHubリポジトリのLICENSEファイルには、変更を加えていないApache License, Version 2.0が適用されており、プロジェクトのドキュメント内に料金ページは一切ありません。

  • サブスクリプション、有料プラン、LMDeploy自身が課す利用制限はいずれも存在しない
  • ツールキットのインストールや利用にアカウント登録は不要
  • 実際のコストは、LMDeployを実行するGPUハードウェアまたはクラウドGPUインスタンスのコストであり、LMDeploy自体は追加料金を一切課さない
  • Apache 2.0は許容度の高いライセンスであり、自社コードを公開するコピーレフト義務はなく、商用・本番利用も明示的に許可されている

LMDeploy vs. vLLM

LMDeployとvLLMは、最も広く使われているオープンソースLLM推論エンジンの2つであり、LMDeploy自身のマーケティングも明確にvLLMを比較対象としています。 どちらも無料で、Apache 2.0に近く（vLLMもApache 2.0）、Pythonでインストール可能で、OpenAI互換のAPIサーバーに対応しています。違いは主にエンジンのアーキテクチャ、エコシステムの規模、注力しているモデルファミリーにあります。

コアエンジン

LMDeploy:
TurboMind（C++/CUDA）に加えPyTorchエンジン
vLLM:
PagedAttentionベースの単一エンジン

スループットの主張

LMDeploy:
vLLM比で最大1.8倍（自己申告）
vLLM:
業界標準のベースラインとして広く引用される

量子化

LMDeploy:
AWQ、int8/int4 KVキャッシュ、MXFP4
vLLM:
AWQ、GPTQ、FP8など他フォーマット

エコシステム規模

LMDeploy:
約8,000のGitHubスター
vLLM:
より大きなコミュニティと幅広いサードパーティ連携

モデルファミリーの強み

LMDeploy:
InternLMとQwenへの強力な第一級サポート
vLLM:
非常に幅広く、多くのラボの新モデルに真っ先に対応することが多い

開発元

LMDeploy:
MMRazor/MMDeployチーム（上海AI Laboratory）
vLLM:
UC Berkeley発祥で、現在は複数企業にまたがる広範なオープンソースプロジェクト

LMDeployのスループットに関する主張は自己申告の数値であり、PromptQuorumによる独自ベンチマークではありません。本番でどちらかを選ぶ前に、対象のモデル、GPU、トラフィックパターンで独自の比較を行ってください。vLLM自体の詳細はvLLM解説を参照してください。

LMDeployはどんな人に向いているか

LMDeployは、デスクトップチャットアプリではなく、量子化に対応した高スループットのサービングスタックを求め、自身が管理するNVIDIA GPUインフラ上でLLMをデプロイするチームに向いています。

競合とその他の選択肢

LMDeployは、vLLM、TensorRT-LLM、SGLang、ExLlamaV2と並ぶ、本番向けLLMサービングエンジンのセグメントに位置しています。これらは専用GPUハードウェア上で大規模にモデルを実行するために作られたツールであり、コンシューマー向けデスクトップアプリとは一線を画します。

vLLM

代表的な特徴:
最も広く採用されているオープンソース推論エンジン、PagedAttention、新モデルへの幅広い即日対応
Link:
vLLM解説
vLLMに関する記事（10件）

さらに81件（非表示）

TensorRT-LLM

代表的な特徴:
NVIDIA自身によるコンパイラベースの推論ライブラリで、NVIDIAハードウェア向けに深く最適化
Link:
TensorRT-LLM解説
TensorRT-LLMに関する記事（7件）

その他の言及:

SGLang

代表的な特徴:
RadixAttentionキャッシュを中心に構築された推論エンジン兼構造化生成言語
Link:
SGLang解説
SGLangに関する記事（5件）

その他の言及:

ExLlamaV2

代表的な特徴:
量子化に特化したエンジンで、コンシューマーGPUでのGPTQ/EXL2モデル実行に人気
Link:
ExLlamaV2解説
ExLlamaV2に関する記事（2件）

その他の言及:

このリストは、本番サービングのセグメントでLMDeployとよく比較されるツールを示すものであり、PromptQuorumによる独自ランキングではありません。選定前に各ツールの現在の機能セットとハードウェア要件を確認してください。

LMDeploy評価時によくある間違い

LMDeployをめぐる混乱の多くは、これをデスクトップチャットアプリのように扱ったり、自己申告のベンチマーク数値を独自検証済みの事実として引用したりすることから生じます。

よくある質問

LMDeployとは何ですか?

LMDeploy（github.com/InternLM/lmdeploy）は、InternLM/OpenMMLabエコシステム内のMMRazorおよびMMDeployチームが開発した、NVIDIA GPU上で大規模言語モデルを圧縮・量子化・サービングするための無料のオープンソース（Apache 2.0）ツールキットです。

LMDeployは無料ですか?

はい。LMDeployはApache 2.0ライセンスで、料金ページも有料プランもありません。実際のコストは、それを実行するGPUハードウェアまたはクラウドインスタンスのコストです。

LMDeployはどうやってインストールしますか?

Python 3.10〜3.13環境内でpip install lmdeployを実行してください（conda環境が推奨されます）。v0.13.0以降、デフォルトのPyPIホイールはCUDA 12.8をターゲットにしているため、一般的なNVIDIA GPU環境では通常、別途CUDAをインストールする必要はありません。

LMDeployにグラフィカルなインターフェースはありますか?

いいえ。LMDeployはコマンドラインツールキット兼Pythonライブラリです。チャットウィンドウはなく、ターミナル、Pythonスクリプト、またはOpenAI互換のAPIサーバーを通じて操作します。

LMDeployはvLLMより高速ですか?

LMDeploy自身のREADMEでは、自己申告のベンチマークに基づき、vLLM比で最大1.8倍のリクエストスループットが報告されています。これは独立して検証された数値ではないため、依拠する前に対象のモデルとハードウェアで独自のベンチマークを実施してください。

LMDeployはどのような量子化に対応していますか?

AWQ 4ビット重み量子化、int8/int4のKVキャッシュ量子化（AWQと組み合わせ可能）、サポート対象NVIDIA GPUでのMXFP4、そして2026/02以降はvllm-project/llm-compressorとの統合による対称/非対称4ビット量子化です。

LMDeployはどのモデルに対応していますか?

Llama、InternLM2/3、Qwen1.5からQwen3、DeepSeek-MoE/V2/V3/R1、Mistral、ChatGLM2、GLM-4、Code Llamaなど数十のLLMファミリーに加え、InternVL、LLaVA、CogVLM2などの視覚言語モデルにも対応しています。完全かつ最新の一覧は、LMDeploy自身のサポートモデルドキュメントを参照してください。

LMDeployはNVIDIA以外のGPUに対応していますか?

主要なTurboMindエンジンはNVIDIA CUDA GPUを対象としています。PyTorchエンジンによりHuawei Ascend NPUのサポートが追加されますが、本レビューではCPUのみやApple Siliconに対応する経路は見つかりませんでした。

LMDeployは誰が開発していますか?

上海AI Laboratory傘下のInternLM/OpenMMLabオープンソースエコシステムの一部である、MMRazorおよびMMDeployチームです。

LMDeployにはOpenAI互換のAPIサーバーがありますか?

はい。lmdeploy serve api_serverを実行すると、OpenAIのchat completions形式のリクエスト/レスポンスを再現するローカルサーバーが起動し、既存のOpenAIクライアントコードをクラウドエンドポイントの代わりにそこへ向けられます。

出典

← ローカルLLM活用 に戻る