跳转到主要内容
PromptQuorum为人类设计。 为AI结构化。
主页/本地LLM进阶
Overview & Reference

LMDeploy 评测：高吞吐量 LLM 服务与量化

·10 分钟阅读Hans Kuepper 作者 · PromptQuorum创始人 · 开放权重与开源AI发现引擎

LMDeploy 是一款免费、开源（Apache 2.0）的命令行工具包和 Python 库，用于在 NVIDIA GPU 上压缩、量化和服务大语言模型，可通过 pip install lmdeploy 安装。 它由 InternLM/OpenMMLab 生态系统内的 MMRazor 和 MMDeploy 团队开发，内置两个推理引擎——TurboMind（针对吞吐量优化的 C++/CUDA 引擎）和一个纯 Python 的 PyTorch 引擎——外加 AWQ 与 KV 缓存量化、一个兼容 OpenAI 的 API 服务器，并支持远超 50 个开放权重的 LLM 与 VLM 系列模型。

关键要点

  • LMDeploy（github.com/InternLM/lmdeploy）是一款免费、开源、可通过 pip 安装的推理与量化工具包——是 CLI/库，而非 GUI 应用
  • 由 InternLM/OpenMMLab 生态系统（上海人工智能实验室）内的 MMRazor 与 MMDeploy 团队开发；仓库创建于 2023 年 6 月 15 日
  • Apache 2.0 许可，已通过 GitHub 仓库的 LICENSE 文件确认
  • 内置两个推理引擎：TurboMind（C++/CUDA，针对吞吐量优化）和一个纯 Python 的 PyTorch 引擎
  • 支持 AWQ 4 位仅权重量化以及 int8/int4 KV 缓存量化
  • 截至本评测时 GitHub 星标超过 8,000，Fork 超过 750；最新标记发布版本为 v0.17.0，发布于 2026 年 9 月 1 日

📍 简单一句话

LMDeploy 是一款免费、开源（Apache 2.0）的工具包，用于在 NVIDIA GPU 上压缩、量化和服务 LLM，由 InternLM/OpenMMLab 生态系统内的 MMRazor 与 MMDeploy 团队开发，可通过 pip install lmdeploy 安装，GitHub 星标超过 8,000。

💬 简单来说

LMDeploy 是一个通过 pip 安装的命令行工具和 Python 库，它接收您已经拥有的 LLM（例如来自 HuggingFace 的模型），在您自己的 GPU 上快速运行，也可以先通过 4 位量化压缩以减少显存占用。它不是带窗口可点击的聊天应用，而是您在服务器上运行的基础设施，其他应用通过兼容 OpenAI 的 API 与它通信。

📌注: 本评测基于 LMDeploy 自身的 GitHub 仓库、README、文档和 PyPI 页面。吞吐量与量化速度数据（如"比 vLLM 快 1.8 倍"）均为 LMDeploy 自行公布的基准，并非 PromptQuorum 的独立测量结果——在依据某一具体数字做出采购或架构决策前，请核实当前发布的基准数据。

选择语言:
🇺🇸en🇩🇪de🇫🇷fr🇯🇵ja🇨🇳zh🇪🇸es🇧🇷pt🇸🇦ar🇰🇷ko

LMDeploy（github.com/InternLM/lmdeploy）是一款免费、开源（Apache 2.0）的工具包，用于压缩、量化和服务大语言模型，由 InternLM/OpenMMLab 生态系统内的 MMRazor 和 MMDeploy 团队开发。它可通过 pip install lmdeploy 安装，内置两个推理引擎——TurboMind 与纯 Python 的 PyTorch 引擎——外加一个兼容 OpenAI 的 API 服务器，GitHub 星标超过 8,000。本评测是 本地 LLM 软件目录 中 LMDeploy 条目的配套文章，介绍它实际能做什么、如何安装以及适合什么人使用。

LMDeploy 是什么?

LMDeploy 是一款用于压缩、部署和服务大语言模型的工具包，旨在 NVIDIA GPU 上实现高吞吐量推理。 其自身的 GitHub 描述 指出，它由 MMRazor 和 MMDeploy 团队开发——两者都是 OpenMMLab 项目，即由上海人工智能实验室维护的开源计算机视觉与模型部署生态系统，也正是 InternLM 系列模型的开发方。

  • 产品类型：命令行工具和 Python 库——没有图形界面；通过终端、Python 脚本或 Docker 容器使用
  • 开发方：MMRazor 与 MMDeploy 团队，隶属于上海人工智能实验室旗下的 InternLM/OpenMMLab 生态系统
  • 仓库：GitHub 上的 InternLM/lmdeploy，创建于 2023 年 6 月 15 日
  • 许可证：Apache 2.0，已通过仓库的 LICENSE 文件确认
  • 规模：截至本评测时 GitHub 星标超过 8,000，Fork 超过 750，开放 Issue 596 个
  • 发布渠道：在 PyPI 上以 lmdeploy 包发布，据项目文档还提供官方 Docker 镜像

项目历史与版本里程碑

LMDeploy 的 GitHub 仓库创建于 2023 年 6 月，此后项目持续迭代，从单一的 TurboMind 推理引擎扩展为具备量化、多模态（VLM）支持和分布式服务能力的双引擎工具包。

  1. 1
    2023/08 —— 4 位 AWQ 量化与 HuggingFace Hub 上线
    Why it matters: 据官方更新日志，新增了基于 AWQ 的 4 位仅权重量化，并在 HuggingFace 上发布了开箱即用的 4 位模型。
  2. 2
    2024/01 —— 引入 PyTorch 推理引擎
    Why it matters: 在 TurboMind 之外新增了第二个纯 Python 推理引擎，降低了开发者扩展或调试服务栈的门槛。
  3. 3
    2024/06–2024/07 —— VLM 与函数调用支持
    Why it matters: 新增了多模态（视觉语言模型）推理流水线与服务能力，以及针对 Llama 3.1 和 InternLM2.5 的工具/函数调用。
  4. 4
    2025/01 —— 支持 DeepSeek-V3 和 R1
    Why it matters: 为广泛使用的推理模型系列 DeepSeek-V3 和 R1 提供了近乎同步的支持。
  5. 5
    2025/06 —— DeepSeek 的 PD 分离
    Why it matters: 通过 DLSlime 和 Mooncake 集成了针对 DeepSeek 模型的 prefill/decode 分离，这是一种用于跨多机扩展大型 MoE 模型服务的生产级技术。
  6. 6
    2025/09 —— NVIDIA GPU（V100 及更新）上的 MXFP4 支持
    Why it matters: 新增了 MXFP4 量化推理，据 LMDeploy 自身的更新日志，在 H800 GPU 上针对 OpenAI gpt-oss 模型的吞吐量达到 vLLM 的 1.5 倍。
  7. 7
    2026/02 —— Qwen3.5 支持与 llm-compressor 集成
    Why it matters: 新增了对 Qwen3.5 模型系列的支持，并集成了 vllm-project/llm-compressor，用于对称/非对称 4 位量化。
  8. 8
    v0.17.0 —— 2026 年 9 月 1 日
    Why it matters: 截至本评测时最新的 GitHub 标记发布版本——若要了解本评测发布日期之后的任何更新，请直接查看 [GitHub 发布页面](https://github.com/InternLM/lmdeploy/releases)。

LMDeploy 能做什么?

LMDeploy 的功能集围绕三项任务展开：通过量化压缩模型、高效运行模型、将其作为网络服务对外提供。根据 LMDeploy 自身的 README 和 文档，以下是每部分的实际功能。

  • 两个推理引擎 —— TurboMind 是 LMDeploy 定位为吞吐量最高选项的 C++/CUDA 引擎，另一个是更易于扩展和添加新模型架构的纯 Python PyTorch 引擎；具体选用哪个引擎需参考 LMDeploy 自身的 支持模型表
  • 持续批处理与分页注意力 —— 持久性（持续）批处理、分块/分页 KV 缓存以及动态 split-and-fuse，这与其他生产级推理引擎所用的技术属于同一类，用于在并发请求下提高 GPU 利用率
  • 量化 —— AWQ 4 位仅权重量化，外加可与 AWQ 同时组合使用的 int8/int4 KV 缓存量化，以及（自 2026/02 起）通过 llm-compressor 集成实现的对称/非对称 4 位量化
  • 广泛的模型支持 —— 根据 LMDeploy 的支持模型文档，涵盖数十个 LLM 系列，包括 Llama、Llama2/3/3.1/3.2、InternLM2/3、Qwen1.5/2/2.5/3、Qwen3-MoE、Qwen3-Next、DeepSeek-MoE/V2/V3/R1、Mistral、Mixtral、ChatGLM2、GLM-4、Yi、Baichuan2 以及 Code Llama
  • 视觉语言模型（VLM）支持 —— 为 InternVL、LLaVA、MiniGemini、CogVLM2 等多模态模型提供离线推理流水线和 API 服务
  • 兼容 OpenAI 的 API 服务器 —— 运行 lmdeploy serve api_server 会启动一个服务器，模拟 OpenAI 聊天补全的请求/响应格式，针对 LLM 和 VLM 分别提供文档
  • 离线批量推理流水线 —— Python 的 lmdeploy.pipeline() API，可直接在脚本内运行推理，无需搭建服务器
  • 多模型、多机代理服务器 —— 一种请求分发服务，可在一个入口后面跨多台机器和多个 GPU 运行多个模型
  • NVIDIA CUDA GPU 之外的硬件支持 —— 通过 PyTorch 引擎支持华为昇腾 NPU，并通过 TurboMind 支持 Windows（张量并行度为 1）

使用示例：三种使用 LMDeploy 的方式

以下是基于上文所述 LMDeploy 文档化命令构建的具体工作流程，而非假设性的使用场景。

从 Python 脚本运行离线批量推理

执行 pip install lmdeploy 后，可通过流水线 API 直接在 Python 中运行模型：`import lmdeploy; pipe = lmdeploy.pipeline("internlm/internlm3-8b-instruct"); print(pipe(["Hi, please introduce yourself"]))`。LMDeploy 默认从 HuggingFace 下载模型（若设置相应环境变量，也可从 ModelScope/openMind Hub 下载），并通过适合该模型的引擎运行它。

启动一个供其他应用使用的兼容 OpenAI 的 API 服务器

运行 lmdeploy serve api_server <model-path-or-hf-id> 即可启动一个使用 OpenAI 聊天补全格式的本地服务器。将任何 OpenAI 客户端库或应用指向该地址，而非 api.openai.com，即可让现有的 OpenAI 集成代码复用于自托管模型。

在提供服务前将模型量化为 4 位 AWQ

使用 LMDeploy 的 AWQ 量化工作流（记录于 docs/en/quantization/w4a16.md）为受支持模型生成 4 位仅权重版本，然后通过 TurboMind 提供该量化模型的服务——LMDeploy 自身的数据显示，在相同硬件上，4 位推理的吞吐量最高可达 FP16 的 2.4 倍，让您能在同一块 GPU 上运行更大的模型或处理更多并发请求。

价格与许可

LMDeploy 免费且开源，没有付费套餐。 GitHub 仓库的 LICENSE 文件 未经修改地采用了 Apache License 2.0，项目文档中也不存在任何价格页面。

  • 没有订阅、没有付费套餐，也没有 LMDeploy 自身施加的使用限制
  • 安装或使用该工具包无需账号或注册
  • 您的实际成本取决于运行 LMDeploy 的 GPU 硬件或云 GPU 实例——LMDeploy 本身不额外收费
  • Apache 2.0 是一种宽松许可证：没有必须公开自有代码的著佐权义务，并明确允许商业/生产使用

LMDeploy vs. vLLM

LMDeploy 和 vLLM 是使用最广泛的两款开源 LLM 推理引擎，LMDeploy 自身的宣传材料也明确将自己与 vLLM 进行基准对比。 两者都是免费、接近 Apache 2.0（vLLM 同样采用 Apache 2.0）、可通过 Python 安装，并支持兼容 OpenAI 的 API 服务器——差异主要体现在引擎架构、生态规模和模型系列侧重点上。

核心引擎

LMDeploy:
TurboMind（C++/CUDA）加一个 PyTorch 引擎
vLLM:
单一的基于 PagedAttention 的引擎

吞吐量宣称

LMDeploy:
最高达 vLLM 的 1.8 倍（自称）
vLLM:
被广泛视为行业标准基准

量化方式

LMDeploy:
AWQ、int8/int4 KV 缓存、MXFP4
vLLM:
AWQ、GPTQ、FP8 及其他格式

生态规模

LMDeploy:
约 8,000 GitHub 星标
vLLM:
更大的社区和更广泛的第三方集成面

模型系列优势

LMDeploy:
对 InternLM 和 Qwen 有强大的一流支持
vLLM:
覆盖非常广泛，常常率先支持众多实验室的新模型

开发方

LMDeploy:
MMRazor/MMDeploy 团队（上海人工智能实验室）
vLLM:
发源于 UC Berkeley，如今是跨多家公司的广泛开源项目

LMDeploy 的吞吐量宣称均为其自行发布的数据，并非 PromptQuorum 的独立基准测试——在为生产环境选择其中之一前，请针对您的目标模型、GPU 和流量模式进行自己的对比测试。更多关于 vLLM 本身的内容，请参见 vLLM 详解。

在目录中比较

谁适合使用 LMDeploy?

LMDeploy 适合那些在自有 NVIDIA GPU 基础设施上部署 LLM、想要一套支持量化、吞吐量高的服务栈而非桌面聊天应用的团队。

适合使用 LMDeploy 的情况

  • 在数据中心或云 GPU 实例上，于自己掌控的 NVIDIA GPU 硬件上部署 LLM 推理
  • 希望内置 AWQ 和 KV 缓存量化，以在相同 GPU 显存中容纳更大的模型或处理更多并发请求
  • 正在运行 InternLM 或 Qwen 系列模型，LMDeploy 对这些系列有格外强大的一流支持
  • 希望有一个兼容 OpenAI 的 API 服务器，可直接接入现有的 OpenAI 客户端代码
  • 需要在同一工具包内，既有纯文本 LLM 服务，也有多模态（VLM）服务
  • 习惯于在终端、Python 脚本或 Docker 容器中工作，而非图形化应用

不妨考虑其他方案的情况

  • 想要带窗口和模型选择器的桌面聊天应用——LMDeploy 没有 GUI；桌面应用请参见 本地 LLM 软件目录
  • 需要纯 CPU 或 Apple Silicon 推理——LMDeploy 的 TurboMind 引擎面向 NVIDIA CUDA GPU；这类场景可考虑 llama.cpp 或 MLX-LM
  • 想要围绕某个推理引擎拥有最大生态和最广泛第三方工具链——vLLM 拥有更大的社区和集成面
  • 需要企业支持合同或 SLA——LMDeploy 的支持渠道是 GitHub Issues、Discord 和微信，这更符合研究机构开源项目的特点，而非商业厂商

竞品与替代方案

LMDeploy 处于生产级 LLM 服务引擎这一细分领域，与 vLLM、TensorRT-LLM、SGLang 和 ExLlamaV2 并列——这些工具专为在专用 GPU 硬件上大规模运行模型而设计，与面向消费者的桌面应用有明显区别。

vLLM

主要特点:
采用最广泛的开源推理引擎，PagedAttention，对新模型的支持覆盖面广、往往首发即支持
Link:
vLLM 详解
关于vLLM的文章（10篇）

另有92篇未显示

ExLlamaV2

主要特点:
专注量化的引擎，在消费级 GPU 上运行 GPTQ/EXL2 模型时颇受欢迎
Link:
ExLlamaV2 详解
关于ExLlamaV2的文章（3篇）

其他提及：

此列表反映了在生产服务领域常与 LMDeploy 比较的工具，并非 PromptQuorum 的独立排名——请在选择前核实每款工具当前的功能集和硬件要求。

在目录中比较

评估 LMDeploy 时的常见误区

关于 LMDeploy 的大多数误解，源于把它当作桌面聊天应用来对待，或将其自行报告的基准数据当作已独立验证的事实来引用。

误区一：期望有图形化聊天界面

LMDeploy 没有 GUI。它是一个用于运行推理服务器和批处理流水线的命令行工具包和 Python 库——若需要聊天窗口，请改用 Jan 或 LM Studio 等桌面应用，它们底层往往使用不同的引擎。

误区二：将"比 vLLM 快 1.8 倍"当作已独立验证的事实来引用

这一数字以及 LMDeploy README 中的类似吞吐量声明，均为项目自行发布的基准数据，并非第三方或 PromptQuorum 的测量结果。在用于容量规划决策前，请在自己的模型、GPU 和流量模式下运行基准测试。

误区三：假设 LMDeploy 可在任意 GPU 上运行或仅支持 CPU

LMDeploy 的主要引擎 TurboMind 面向 NVIDIA CUDA GPU。华为昇腾 NPU 支持通过 PyTorch 引擎存在，但本评测未发现纯 CPU 或 Apple Silicon 的支持路径——请针对您的具体配置查阅支持模型与支持硬件文档。

误区四：假设每个模型都受到同等程度的支持

LMDeploy 文档说明了每个引擎（TurboMind 与 PyTorch）支持哪些模型，支持深度因模型系列而异——鉴于 LMDeploy 的出身，InternLM 和 Qwen 系列模型往往获得一流的支持待遇。在正式采用某个具体模型前，请查阅 支持模型表。

常见问题

LMDeploy 是什么?

LMDeploy（github.com/InternLM/lmdeploy）是一款免费、开源（Apache 2.0）的工具包，用于在 NVIDIA GPU 上压缩、量化和服务大语言模型，由 InternLM/OpenMMLab 生态系统内的 MMRazor 与 MMDeploy 团队开发。

LMDeploy 是免费的吗?

是的。LMDeploy 采用 Apache 2.0 许可，没有价格页面，也没有付费套餐。您的实际成本取决于运行它所用的 GPU 硬件或云实例。

如何安装 LMDeploy?

在 Python 3.10–3.13 环境中运行 pip install lmdeploy（建议使用 conda 环境）。自 v0.13.0 起，默认的 PyPI wheel 针对 CUDA 12.8 构建，因此对典型的 NVIDIA GPU 配置通常无需单独安装 CUDA。

LMDeploy 有图形界面吗?

没有。LMDeploy 是一个命令行工具包和 Python 库。它没有聊天窗口——您通过终端、Python 脚本或兼容 OpenAI 的 API 服务器与它交互。

LMDeploy 比 vLLM 更快吗?

LMDeploy 自身的 README 基于其自行发布的基准，报告请求吞吐量比 vLLM 最高提升 1.8 倍。这不是独立验证的数字——在依赖它之前，请在您的目标模型和硬件上运行自己的基准测试。

LMDeploy 支持哪些量化方式?

AWQ 4 位仅权重量化、int8/int4 KV 缓存量化（可与 AWQ 组合使用）、受支持 NVIDIA GPU 上的 MXFP4，以及自 2026/02 起通过与 vllm-project/llm-compressor 的集成实现的对称/非对称 4 位量化。

LMDeploy 支持哪些模型?

数十个 LLM 系列——包括 Llama、InternLM2/3、Qwen1.5 到 Qwen3、DeepSeek-MoE/V2/V3/R1、Mistral、ChatGLM2、GLM-4 和 Code Llama——外加 InternVL、LLaVA、CogVLM2 等视觉语言模型。完整、最新的列表请参见 LMDeploy 自身的支持模型文档。

LMDeploy 支持 NVIDIA 以外的 GPU 吗?

其主要的 TurboMind 引擎面向 NVIDIA CUDA GPU。PyTorch 引擎增加了对华为昇腾 NPU 的支持。本评测未发现纯 CPU 或 Apple Silicon 的支持路径。

LMDeploy 是谁开发的?

MMRazor 与 MMDeploy 团队，隶属于上海人工智能实验室维护的开源 InternLM/OpenMMLab 生态系统。

LMDeploy 有兼容 OpenAI 的 API 服务器吗?

有。运行 lmdeploy serve api_server 会启动一个本地服务器，模拟 OpenAI 聊天补全的请求/响应格式，让现有 OpenAI 客户端代码可以指向它，而不必指向云端点。

资料来源

← 返回 本地LLM进阶

MCP