GPUStack评测2026：面向本地AI的开源GPU集群管理器

GPUStack是什么

• 核心功能：在GPU和机器组成的集群中编排LLM推理（以及通过llama-box的stable-diffusion.cpp支持进行的图像生成），而非在单一设备上进行
• 架构：一个中央GPUStack服务器协调一个或多个工作节点，每个节点为共享资源池贡献GPU算力
• 编排的后端：llama-box（GPUStack基于llama.cpp和stable-diffusion.cpp自研的推理服务器实现）、vLLM、SGLang、TensorRT-LLM，以及面向华为Ascend NPU硬件的Ascend MindIE，并支持添加自定义推理引擎
• 硬件支持：根据官方文档，支持包括NVIDIA和AMD GPU、华为Ascend NPU及海光DCU在内的异构加速器
• 按需GPU实例：GPUStack可以配置可通过SSH访问的GPU实例，让用户能够直接在集群中的机器上工作，而不仅仅通过API
• 规范仓库：github.com/gpustack/gpustack；项目网站：gpustack.ai

GPUStack发展里程碑

1. 1
   首次发布——开源GPU集群管理器
   Why it matters: GPUStack一经推出，就明确定位为在集群范围内编排GPU算力，填补了Ollama等单机运行环境与完整企业级推理服务栈之间的空白。
2. 2
   持续进行——多后端编排（llama-box、vLLM、SGLang、TensorRT-LLM）
   Why it matters: 支持多个推理引擎而非单一引擎，使GPUStack能够将工作负载路由到最适合该模型和硬件的后端，而不是把用户锁定在单一引擎上。
3. 3
   持续进行——新增对Ascend MindIE和海光DCU的支持
   Why it matters: 将后端和硬件支持扩展到华为Ascend NPU和海光DCU，而不仅限于NVIDIA和AMD GPU，拓宽了集群实际可以利用的本地硬件范围。
4. 4
   持续进行——Docker和Helm确立为主要安装路径；遗留curl脚本在v0.7版本被弃用
   Why it matters: 围绕Docker和面向Kubernetes的Helm chart而非shell脚本安装程序进行整合，体现出GPUStack被定位为由团队管理的基础设施软件，而非一次性的开发者安装工具。
5. 5
   持续进行——截至2026年9月5日拥有5,607颗GitHub星标
   Why it matters: 星标数是一个大致的使用信号，而非质量基准，但它表明在大多数本地AI用户从未接触过的集群管理这一类别中，确实存在真实的采用情况。

GPUStack能做什么

• 多后端推理编排——根据模型和硬件自动配置并运行llama-box、vLLM、SGLang、TensorRT-LLM或Ascend MindIE，并支持添加自定义推理引擎
• 跨异构硬件的集群调度——根据官方文档，将NVIDIA和AMD GPU、华为Ascend NPU以及海光DCU整合为一个可统一调度的资源池
• 按需的、可通过SSH访问的GPU实例——不仅提供一个推理API端点，还能配置用户可以直接SSH登录的实例
• OpenAI兼容API——经官方文档确认；现有的OpenAI客户端代码只需极少改动即可指向由GPUStack管理的端点
• 内置的llama-box引擎——GPUStack基于llama.cpp和stable-diffusion.cpp自研的实现，支持CPU推理、OpenAI Function-calling API、OpenAI Embeddings API兼容以及推测解码
• Web管理界面和CLI——根据官方快速入门文档，服务器在提供CLI和API访问的同时，还提供一个Web界面（默认端口80）
• 通过Helm实现Kubernetes原生部署——对于已经运行Kubernetes的团队，GPUStack提供官方Helm chart，而不需要定制化部署
• 离线安装路径——为无网络访问的环境提供文档说明，适用于本地或受监管的部署场景

使用示例：三种使用GPUStack的方式

安装与入门

1. 1
   Docker（根据官方文档，为当前推荐的方式）：在将作为GPUStack服务器的机器上运行sudo docker run -d --name gpustack --restart unless-stopped -p 80:80 --volume gpustack-data:/var/lib/gpustack gpustack/gpustack；服务器本身可以在Linux、macOS或通过Docker Desktop在Windows上运行。
2. 2
   Kubernetes：如果您的团队已经运行Kubernetes，请根据安装文档部署官方Helm chart。
3. 3
   离线环境：如果目标机器没有网络访问，请遵循文档中记录的air-gapped安装路径。
4. 4
   GPUStack的发布历史中还提到了适用于macOS和Windows的桌面安装程序，可在不使用Docker的情况下搭建服务器——由于截至本评测撰写时它并非主要文档导航的一部分，请直接在gpustack.ai上确认当前的下载链接。
5. 5
   遗留的、偏向Linux的替代方式：curl -sfL https://get.gpustack.ai | sh -s -——此安装脚本仍然可用，但自GPUStack v0.7起已被弃用，取而代之的是上述Docker和Helm路径；请将其视为备用方案，而非新装的默认选择。
6. 6
   若要扩展到多台机器，请将其他Linux机器作为工作节点加入集群。工作节点仅支持Linux——macOS不支持工作节点角色，Windows需要WSL2而非Docker Desktop。

GPUStack的定价与许可

GPUStack与单机运行环境对比

谁适合使用GPUStack

GPUStack与其他本地AI工具对比

• Ollama ——一款面向单一机器的通用本地模型运行环境，完全采用MIT许可，拥有广泛的模型库。如果您不需要跨多个GPU或机器的集群编排，这是最接近的单机替代方案。请参阅完整的Ollama评测。
• LM Studio ——一款面向单一设备本地推理的GUI优先桌面应用，目标用户是终端用户而非集群管理员。如果您想在一台笔记本电脑上使用精致的聊天应用，它比GPUStack更合适。请参阅完整的LM Studio评测。
• Docker Model Runner ——一项随Docker Desktop/Engine捆绑的CLI与API功能，用于在单一机器上运行模型；如果您的工作负载不需要整合多个GPU，这是另一个可以与GPUStack的集群编排方式进行权衡的单设备选项。请参阅完整的Docker Model Runner评测。

评估GPUStack时常见的误区

常见问题

资料来源

相关阅读

• 2026本地LLM软件目录——本文所属的本地AI工具完整目录，包括GPUStack自身的目录条目。
• Ollama评测——一款完全开源、拥有广泛模型库的单机本地模型运行环境。
• LM Studio评测——面向希望获得精致桌面应用而非自托管集群工具的读者的GUI优先单机替代方案。
• Docker Model Runner评测——另一个面向已经使用Docker的团队的单机、开发者导向选项。
• 企业级LLM推理服务器：vLLM vs. TGI vs. NVIDIA NIM——对GPUStack可作为后端编排的企业级推理引擎更广泛的比较。