跳转到主要内容
PromptQuorum为人类设计。 为AI结构化。
主页/本地LLM进阶
Overview & Reference

企业级LLM推理服务器2026:vLLM对比TGI对比NVIDIA NIM

·13分钟阅读 作者 · PromptQuorum创始人 · 开放权重与开源AI发现引擎

vLLM 是企业多 GPU LLM 服务中应用广泛的开源选项;NVIDIA NIM 是付费且有厂商支持的方案;Hugging Face TGI 已进入维护模式(仓库已归档);Ollama 主要面向单用户场景设计。

关键要点

  • vLLM 是面向高吞吐多租户服务的应用广泛的开源(Apache 2.0)推理服务器,支持连续批处理以及张量和流水线并行;Hugging Face TGI 提供类似的核心功能,但现已进入维护模式。
  • NVIDIA NIM 是付费的预构建微服务容器(生产使用需要 NVIDIA AI Enterprise 许可),封装了带 NVIDIA 优化的 vLLM 或 SGLang 引擎,并有厂商支持。
  • Ollama并非为企业级多租户服务而设计——它是面向单节点、单用户的运行时;将其用于开发者笔记本电脑和边缘/部门级原型,而非生产API流量。
  • Kubernetes 部署各不相同:vLLM 提供 Helm、KServe 和 production-stack 等路径,TGI 仅提供容器镜像,NIM 有 NVIDIA 自家的 Operator,据 Ollama 文档,只有社区 Helm chart,未列出原生自动扩缩容钩子。
  • 许可决定总成本:vLLM 和 TGI 免费且开源;NIM 的生产使用需要 NVIDIA AI Enterprise 许可,据 NVIDIA 常见问题解答,起价为每块 GPU 每年 4,500 美元,另加 GPU 本身的费用。
  • 可观测性各不相同:vLLM 在 /metrics 暴露指标,TGI 提供 Prometheus 指标和 OpenTelemetry 追踪;NIM 通过其 Operator 支持 DCGM 与 NIM 专属指标;Ollama 的文档未描述指标端点。
  • 生产级开源服务用 vLLM;需要厂商支持且愿意付费时用 NIM;新项目应离开 TGI;Ollama 仅用于原型验证。

📍 简单一句话

对于企业多 GPU LLM 服务,vLLM 是应用广泛的开源选项,NVIDIA NIM 是付费且有厂商支持的替代方案,Hugging Face TGI 已进入维护模式,而 Ollama 面向单用户而非多租户部署。

💬 简单来说

在笔记本上运行一个 AI 模型,与用共享 GPU 集群服务数百名员工或客户,是两类不同的问题。vLLM 是为后者打造的免费软件。NVIDIA NIM 以付费、预打包产品的形式完成同样的工作,并有 NVIDIA 的支持。Hugging Face 的 TGI 也曾为此而生,但现已进入维护模式;而大多数人用来在本地试用模型的 Ollama,并非为这么多同时在线的用户设计。

大多数本地LLM工具对比测试的是哪个工具在单台笔记本电脑上最容易安装。一旦模型需要从共享GPU池向数百名员工或客户提供并发服务,这个问题就不再重要了——胜出的是完全不同的一套工具。本指南将vLLM、Hugging Face Text Generation Inference(TGI)、NVIDIA NIM和Ollama作为企业级服务基础设施进行比较:并发负载下的吞吐量、多GPU与多节点部署、Kubernetes模式、许可协议以及支持模式。在四者中,Ollama是最容易在单机安装的,但也是对这项工作准备最少的——它的设计中心是一个用户、一个模型、一台机器,而不是共享的生产集群。

本页包含指向第三方产品的参考链接。PromptQuorum 未加入任何联盟计划——这些是不产生佣金的普通链接。点击链接和后续步骤由您自行承担责任。本页的任何推荐均基于我们对各服务商公开页面的自行解读,并非服务商的背书,也不是测试结果。

查看Lambda Labs企业级GPU价格产品链接 · 已披露查看RunPod多GPU测试价格产品链接 · 已披露

什么是企业级LLM推理服务器

企业级LLM推理服务器是一个软件层,接受来自众多用户或应用的并发请求,并将其高效路由到共享GPU池中。 这与单用户运行时不同,后者只为一台机器上的一个进程加载一个模型。

企业级服务软件与笔记本电脑工具的三点区别:连续批处理(将多个进行中的请求打包到同一次GPU计算中)、多GPU并行(将一个模型拆分到多个GPU或节点)、以及平台团队可在Kubernetes中运行的生产级API接口(健康检查、指标、自动扩缩容钩子)。

vLLM、Hugging Face TGI和NVIDIA NIM从一开始就围绕这三项需求构建。基于llama.cpp的Ollama则是为单机的可移植性和易用性而设计——这是一个不同但同样合理的目标,却不是同一个目标。如果您真正想问的是"哪个工具最容易装在我的电脑上",请参阅我们的单用户引擎对比文章——本指南覆盖的是这一决策的另一端。

功能对比:vLLM对比TGI对比NVIDIA NIM对比Ollama

能力
vLLM
TGI
NVIDIA NIM
Ollama
许可协议Apache 2.0 / 免费Apache 2.0 / 免费NVIDIA AI Enterprise / 付费MIT / 免费
设计定位高吞吐量GPU服务遗留 HF 服务(维护模式)一体化企业NVIDIA技术栈单用户,非多租户
多GPU张量+流水线并行张量并行张量并行(按配置)单节点(据文档)
连续批处理支持(PagedAttention)支持(Rust路由器)支持(引擎层面)并行请求(默认 1)
量化GPTQ / AWQ / FP8 / INT4bitsandbytes / GPTQ / AWQ / EETQ / Marlin / FP8按模型配置GGUF Q4-Q8
Kubernetes部署Helm / production-stack / KServe容器镜像 / 自备清单NIM Operator(官方)文档列出社区chart
支持模式社区 / GitHub维护模式 / 已归档NVIDIA 企业支持社区(据文档)
可观测性内置Prometheus指标Prometheus + OTel追踪DCGM / NIM 专属指标文档未提及指标端点

了解vLLM:高吞吐量开源引擎

vLLM是专为多GPU高吞吐量服务而构建的开源推理服务器(Apache 2.0)。 它起源于UC伯克利的Sky Computing Lab,是生产级LLM API中被广泛使用的开源引擎。

  • PagedAttention:以固定大小的块管理KV缓存,而非为每个请求分配连续内存,从而提高可达到的GPU内存利用率,让更多并发请求共享一块GPU。
  • 连续批处理:新请求加入正在运行的批次,而非等待当前批次结束,从而在流量波动时保持GPU高利用率。
  • 多GPU与多节点:张量并行将一个模型的层拆分到一个节点内的多块GPU上;流水线并行将模型拆分到多个节点上,以应对超出单节点合计显存的模型。
  • 量化:GPTQ、AWQ、FP8和INT4格式降低每个副本的显存占用,让固定GPU集群能容纳更多并发模型副本。
  • 兼容OpenAI的API:vllm serve <model> 提供OpenAI Chat Completions API的直接替代,最大限度减少应用端集成工作。
  • vLLM提供官方Helm chart,并与KServe集成以实现Kubernetes原生的模型服务,自动扩缩容可依据请求队列深度或GPU利用率驱动。
# 在4块GPU上以张量并行方式部署模型
pip install vllm

# --api-key 仅保护 /v1、/v2、/inference 和 /cohere 路径,其他端点仍然开放。暴露端口之前,请先在前面部署防火墙或反向代理
vllm serve meta-llama/Llama-3.3-70B-Instruct \
  --tensor-parallel-size 4 \
  --gpu-memory-utilization 0.9 \
  --api-key "$VLLM_API_KEY" \
  --host 0.0.0.0 --port 8000

了解 Hugging Face TGI:现已进入维护模式

Hugging Face Text Generation Inference(TGI)是面向 Hugging Face Hub 模型的开源(Apache 2.0)推理服务器,但现已进入维护模式:其 GitHub 仓库已于 2026 年 3 月归档(只读),Hugging Face 建议新部署使用 vLLM 与 SGLang。 据其 README,它仍支撑着 Hugging Chat、Inference API 和 Inference Endpoints,因此现有部署仍可运行,但不要期待新功能。

  • 基于Rust的请求路由器:处理排队和连续批处理(据TGI文档)。
  • Flash Attention 与 Paged Attention:TGI 文档列出了这两项,也就是 vLLM 推广开的同类显存效率技术。
  • 张量并行:将一个模型拆分到一个节点内的多块GPU上;支持多节点服务,但自研工具链不如vLLM完善。
  • 量化:支持bitsandbytes、GPTQ、AWQ、EETQ、Marlin和FP8格式。
  • 原生集成Hugging Face Hub:如果模型已托管在Hub上,获取模型、分词器和safetensors权重不需要任何手动转换步骤。
  • 许可协议提醒:TGI在2023至2024年间曾短暂采用Hugging Face自定的限制性许可(HFOIL 1.0,见TGI许可FAQ),之后恢复为Apache 2.0——请确认部署清单中固定的许可版本,因为较旧的缓存镜像可能仍带有限制性标签。
  • 迁移:新项目从 vLLM 或 SGLang 起步;已有 TGI 集群的,应规划迁移到持续维护的引擎,而不是停留在已归档的代码库上。TGI 的最后一个版本是 2025 年 12 月的 v3.3.7。

了解NVIDIA NIM:厂商支持的选项

NVIDIA NIM(NVIDIA推理微服务)是一种付费的预构建容器,将经NVIDIA优化的开源推理引擎封装在标准化API之后,作为NVIDIA AI Enterprise订阅的一部分出售。 它用有支持、预先优化的部署,替代了vLLM和TGI的自行搭建工作。

  • 带 NVIDIA 优化的引擎容器:据 NVIDIA 当前的 NIM for LLMs 文档,每个容器镜像封装一个带 NVIDIA 优化的开源引擎(vLLM 或 SGLang);同一概述页面指出,早期的 1.x 架构将多个后端打包在同一个容器中。在与自托管 vLLM 比较吞吐量之前,请先确认所用 NIM 版本采用哪种引擎。
  • NVIDIA 提供的企业支持:相对开源方案的差异点 -- 在 NVIDIA AI Enterprise 许可下的厂商支持渠道;请在合同中确认具体的 SLA 与可用性条款。
  • 面向 Kubernetes 的 NIM Operator:NVIDIA 的 operator 为每个 NIM 服务创建 Kubernetes 部署,可在节点上预缓存模型,并支持基于 DCGM 或 NIM 专属指标的自动扩缩容。
  • 模型目录:NVIDIA维护一套精选的开放权重模型,预打包为可直接拉取的NIM容器,并提供打包自有微调模型的途径。
  • 代价是厂商锁定和许可成本:NIM 面向 NVIDIA GPU 构建,生产使用需要 NVIDIA AI Enterprise 许可,据 NVIDIA 的 NIM 常见问题解答,起价为每块 GPU 每年 4,500 美元。NVIDIA Developer Program 成员可在最多 16 块 GPU 上自托管 NIM 用于研究、开发和实验。编制预算前,请向 NVIDIA AI Enterprise 确认最新条款,因为企业软件订阅价格的变动往往不会公开通知。

为什么Ollama不是企业级服务引擎

Ollama并非为企业级多租户推理服务而设计,这是设计选择,而非缺陷。 Ollama用简单的REST API和一条命令的模型拉取封装了llama.cpp,针对在一台机器上运行一个模型的开发者进行了优化。

  • 并发:据其常见问题解答,Ollama 通过 OLLAMA_NUM_PARALLEL(默认 1)和请求队列(OLLAMA_MAX_QUEUE,默认 512)处理并行请求,但文档中没有连续批处理或 PagedAttention 式显存管理,因此不像 vLLM 或 NIM 那样为大量同时在线的用户而设计。
  • 多GPU:Ollama可以在一台机器上将大模型拆分到多块GPU,但其文档未描述可与vLLM相媲美的张量并行或多节点分布式服务。
  • Kubernetes:GitHub README 中列出了社区维护的 Helm chart;文档中未列出自研的 Kubernetes Operator 或自动扩缩容集成。
  • 可观测性:Ollama 的文档未描述指标端点,这一点不同于 vLLM 和 TGI。
  • Ollama在企业内仍然适用的场景:开发者笔记本电脑、内部流量较小的部门级原型,或一次只服务一个用户的隔离边缘设备。一旦流量需要多租户并发能力,就应迁移到vLLM、TGI或NIM——关于这一迁移的硬件层面,请参阅本地LLM的多GPU配置。

单节点对比多节点的架构决策

第一个架构决策是单节点还是多节点,这取决于模型是否能装入单个节点的合计GPU显存,而不仅仅取决于流量大小。

需要多GPU节点但不想购买整套集群的团队,可以对比GPU服务器托管服务商。

  • 单节点、多GPU:使用张量并行(vLLM的--tensor-parallel-size,TGI的--num-shard)将一个模型的层拆分到一台服务器内的多块GPU上。这是能装入单节点合计显存的模型的默认方案。
  • 多节点:一旦模型超出单节点GPU显存,或请求量超出单节点张量并行能承载的范围,就增加流水线并行。vLLM通过Ray支持此方案;NIM则通过其自有的多节点部署模板支持。
  • 负载均衡:对于大小相同的副本,简单的轮询均衡器即可胜任,但感知KV缓存的路由——将同一对话的后续请求发回已缓存其上下文的副本——能显著降低聊天类工作负载的延迟。
  • 模型路由:运行多个模型(例如一个编程模型和一个通用聊天模型)的企业,通常会在路由层后面为每个模型运行独立的副本池,而非共享一个池——GPU显存无法在差异很大的模型之间足够干净地分时共享,不值得为此增加复杂度。
  • 自动扩缩容:根据请求队列深度或GPU利用率扩缩容,而非传统Kubernetes HPA默认的CPU指标——GPU推理Pod的CPU利用率往往几乎不随负载变化。搭配自定义Prometheus指标的KEDA是vLLM/TGI的常见模式;NIM的Operator已将其作为产品的一部分内置。关于这背后更广泛的容量规划,请参阅企业级本地LLM扩展。

如何部署多GPU推理栈

部署企业级推理栈遵循固定的顺序:定义SLA,评估集群规模,选择引擎,然后围绕它布置部署、路由和可观测性。

  1. 1
    在选择硬件前,先定义延迟和并发SLA。
  2. 2
    根据模型的显存占用和目标并发请求数评估GPU集群规模,而非仅根据模型参数量。
  3. 3
    选择服务引擎 -- 追求开源灵活性选 vLLM(或 SGLang),追求厂商支持的开箱即用部署选 NIM;不要在新项目中使用 TGI。
  4. 4
    将引擎容器化,并通过Helm(或NIM Operator)部署到您的Kubernetes集群。
  5. 5
    如模型需要,在节点内配置张量并行、跨节点配置流水线并行。
  6. 6
    在副本池前配置感知KV缓存的负载均衡或轮询均衡。
  7. 7
    将自动扩缩容接入请求队列深度或GPU利用率,而非CPU。
  8. 8
    添加Prometheus/OpenTelemetry可观测性,并在正式上线前以目标并发量进行负载测试。

许可协议与支持模式对比

在这些方案之间,许可是对总拥有成本影响最大的一项。 vLLM 采用 Apache 2.0 许可,任何规模下均可免费运行,TGI(Apache 2.0,现已归档)亦然 -- 您只需为底层 GPU 基础设施付费。NVIDIA NIM 的生产使用需要 NVIDIA AI Enterprise 许可,据 NVIDIA 常见问题解答,起价为每块 GPU 每年 4,500 美元,另加 GPU 成本;NVIDIA Developer Program 成员可在最多 16 块 GPU 上免费用于研究、开发和实验。编制预算前,请直接向 NVIDIA 确认最新条款。Ollama 采用 MIT 许可且免费,支持仅限社区 GitHub 与 Discord -- 其文档中未列出付费的企业支持层级。

对生产系统而言,支持模式与许可成本同样重要:vLLM 的支持来自 GitHub issue 和社区渠道(热门问题响应快,但没有 SLA),TGI 只接收小幅维护,NIM 附带 NVIDIA 支持合同,而 Ollama 的文档中未列出社区渠道之外的任何支持途径。

生产级服务的可观测性接入点

vLLM和TGI都开箱即用地暴露兼容Prometheus的/metrics端点,涵盖请求延迟、队列深度、GPU KV缓存利用率和token吞吐量。 将其接入现有的Prometheus/Grafana技术栈,即可获得生产级仪表盘,无需自定义埋点。

NVIDIA NIM 支持基于 DCGM 的 GPU 指标和 NIM 专属指标,其 Operator 可将它们用于自动扩缩容 -- 如果其余基础设施已以 NVIDIA 为中心,这更为合适。

Ollama 内置的指标功能极少:文档未描述指标端点。这与其单用户设计重心一致,但若把它当作共享基础设施运行、需要按请求查看大量并发用户的延迟,就是实实在在的缺口。

该选择哪个推理服务器

开源方案的常见首选:vLLM -- 社区广泛、硬件支持面广、多 GPU 工具完善、版本更新频繁。

已在使用 Hugging Face:仍应规划 vLLM 或 SGLang -- TGI 已进入维护模式,仅为现有部署保留。

需要厂商支持时的选择:NVIDIA NIM -- 有厂商背书、开箱即用,需付许可费用。

不适合生产多租户流量:Ollama——留给开发者机器和单用户边缘部署。

  • 🧭 为多个团队运营共享内部 LLM API 的平台团队 → 在 Kubernetes 上自托管 vLLM。
  • 🧭 需要厂商支持合同的受监管企业 → NVIDIA NIM;审计日志需自行在前端另行添加(参见相关的企业合规指南)。
  • 🧭 已将模型托管标准化在 Hugging Face Hub 的团队 → vLLM,可直接加载 Hub 模型;TGI 仅为现有部署保留。
  • 🧭 在基础设施就绪前构建概念验证的开发者 → 先用 Ollama,并发流量真正出现后迁移到 vLLM。
  • ❌ 如果预计同时在线用户超过寥寥几人,Ollama 并非为共享的生产端点而设计 -- 建议改用 vLLM。
  • ❌ 如果需要按请求负载进行 Kubernetes 原生自动扩缩容,Ollama 的文档中未列出与 KEDA 队列深度扩缩对应的功能 -- 请使用 vLLM 或 NIM。

评估企业推理基础设施规模时的常见错误

  • 按参数量而非并发请求数评估GPU规模。 仅按一份模型副本能装入显存来评估的GPU集群,没有余量应对并发用户——先按峰值并发评估,再检查模型是否仍能装入。
  • 将Ollama部署在共享生产负载均衡器后面。 在两个用户的演示中可以运行;但并非为面向数百用户的部署而设计。
  • 按CPU利用率扩缩容。 GPU推理Pod的CPU利用率往往几乎不随负载变化——应改为按队列深度或GPU利用率扩缩容。
  • 忽略对TGI旧缓存镜像的许可检查。 请确认拉取的镜像标签对应Apache 2.0版本,而非缓存的HFOIL 1.0时代构建。
  • 未直接向NVIDIA确认当前每GPU价格就为NIM做预算。 企业软件订阅价格会变动;过时的报价不能作为预算依据。

资料来源

常见问题

vLLM和NVIDIA NIM有什么区别?

vLLM 是免费开源(Apache 2.0)的推理服务器,需要您自己托管和运维。NVIDIA NIM 是 NVIDIA 提供的预构建容器,据 NVIDIA 当前文档,它封装了带 NVIDIA 优化的 vLLM 或 SGLang 引擎;生产使用需要 NVIDIA AI Enterprise 许可,并附带厂商支持。vLLM 让您拥有控制权且无需许可费,代价是调优和支持要自己承担;NIM 则以许可费换取这些。PromptQuorum 没有对两者做过基准测试对比。

Ollama能用于企业级多用户推理服务吗?

不建议用于生产多租户流量。Ollama 通过 OLLAMA_NUM_PARALLEL(默认 1)和请求队列处理并行请求,但文档中没有连续批处理或 PagedAttention 式显存管理,其文档中也未列出 Kubernetes 原生自动扩缩容。它适合开发者机器、单用户边缘设备或低流量的内部原型。

NVIDIA NIM相对于开源的vLLM或TGI,许可成本值得吗?

取决于厂商支持合同和 NVIDIA 的打包是否值得您付出许可成本,还是保持基础设施免费、自己运维。需要厂商支持合同的受监管企业通常认为值得(审计日志仍需另行添加);拥有自有 ML 基础设施专长的团队往往无需许可费用即可运行 vLLM。

如何在多块GPU和多个节点之间扩展LLM推理?

用张量并行把一个模型的层拆分到单个节点内的 GPU 上;当模型超过单节点 GPU 显存总和时,用流水线并行拆分到多个节点。vLLM 两者都支持(多节点可用 Ray 或 multiprocessing);TGI 支持张量并行,官方多节点工具较少,并已进入维护模式;NIM 通过其模型配置部署多 GPU 模型,并借助 NIM Operator 在 Kubernetes 上运行。

每个推理服务器支持哪些量化格式?

vLLM 支持 GPTQ、AWQ、FP8 和 INT4。TGI 列出 bitsandbytes、GPTQ、AWQ、EETQ、Marlin 和 FP8。NVIDIA NIM 按模型配置和 GPU 选择精度。Ollama 使用 Q4 到 Q8 精度的 GGUF 格式,目标是节省单机显存,而非多租户吞吐量。

如何在Kubernetes上部署vLLM或TGI?

vLLM 记录了多种 Kubernetes 部署途径,包括 Helm chart、KServe 和 vllm-project 的 production-stack。TGI 提供容器镜像,需要您自行用清单封装。请按 GPU 分配设置资源请求,按请求队列深度或 GPU 利用率而非 CPU 配置自动扩缩容,并添加 Prometheus ServiceMonitor 来抓取指标端点。

什么是连续批处理,为什么它对企业服务很重要?

连续批处理允许新请求加入已在运行的 GPU 批次,而不必等当前批次结束。它能在不均匀的真实流量下保持较高的 GPU 利用率,因此是 vLLM、TGI 和 NIM 内部引擎的标配,也是它们与 Ollama 这类单用户工具之间最大的差异之一。

哪个推理服务器的可观测性最好?

vLLM 在其 /metrics 端点暴露指标,TGI 提供 Prometheus 指标和 OpenTelemetry 追踪 -- 可直接对接现有的 Prometheus/Grafana 体系。NVIDIA NIM 通过其 Operator 支持 DCGM 与 NIM 专属指标,更适合以 NVIDIA 为中心的基础设施。Ollama 的文档未描述指标端点。

多个模型是否需要独立的GPU集群,还是可以共享一个池?

实践中,运行多个模型的企业通常会为每个模型运行独立的副本池,而非共享一个池,因为GPU显存无法在大小差异很大的模型之间干净地共享。应在应用层或网关层将请求路由到正确的池,而不是尝试将多个模型部署在相同的GPU副本上。

vLLM、TGI和NVIDIA NIM的许可协议有何不同?

vLLM 与 Hugging Face TGI 均采用 Apache 2.0 许可,任何规模下都免费 -- 您只需为底层 GPU 基础设施付费。NVIDIA NIM 的生产使用需要 NVIDIA AI Enterprise 许可,据 NVIDIA 常见问题解答,起价为每块 GPU 每年 4,500 美元,另加 GPU 硬件成本;Developer Program 成员可在最多 16 块 GPU 上自托管 NIM 用于研究和开发。请直接向 NVIDIA 确认最新价格。Ollama 采用 MIT 许可且免费,仅有社区支持。

Hugging Face TGI 还在维护吗?

TGI 已进入维护模式。其 README 称 Hugging Face 只接受小幅缺陷修复、文档改进和轻量维护,GitHub 仓库已于 2026 年 3 月归档(只读)。最新版本是 2025 年 12 月的 v3.3.7,Hugging Face 建议新部署使用 vLLM 与 SGLang。现有 TGI 部署仍可运行,但应规划迁移。

vLLM 与 TensorRT-LLM 如何比较?

vLLM 是通用的服务引擎,可直接加载 Hugging Face 格式的模型,并运行在 NVIDIA、AMD GPU 及其他硬件上。TensorRT-LLM 是 NVIDIA 面向 NVIDIA GPU 的推理库。早期版本会把模型预先编译成针对特定 GPU 的 TensorRT 引擎;NVIDIA 当前文档描述的是基于 PyTorch 的工作流,其中 TensorRT 引擎后端已被移除,因此请确认您部署的版本。vLLM 通常意味着部署更简单、硬件与模型覆盖更广;TensorRT-LLM 适合已锁定 NVIDIA GPU 的团队。参见 TensorRT-LLM 详解。

← 返回 本地LLM进阶

MCP