本地推理引擎、运行时与网关对比(2026):运行和部署模型

我们如何比较

对比表

推理引擎:差异所在

• OpenAI兼容API。candle-vllm、NVIDIA Dynamo、exo、KoboldCpp、KServe、llama.cpp、LocalAI、LoRAX、Lucebox、MLC LLM、mlx-serve、mlxcel、OlliteRT、oMLX、OpenLLM、Rapid-MLX、Shimmy、SwiftLM、text-generation-webui、vllm-mlx和vLLM在文档中说明提供OpenAI兼容的HTTP API,因此为OpenAI API编写的应用可以直接指向它们。
• NVIDIA GPU。candle-vllm、ExLlamaV2、KoboldCpp、llama.cpp、LMDeploy、LocalAI、LoRAX、Lucebox、MLC LLM、mlxcel、SGLang、Shimmy、TensorRT-LLM、text-generation-webui和vLLM在文档中说明支持NVIDIA GPU(CUDA)。
• Apple Silicon。candle-vllm、claude-code-local、exo、KoboldCpp、llama.cpp、LocalAI、MLC LLM、MLX-LM、mlx-serve、mlxcel、oMLX、Rapid-MLX、Shimmy、SwiftLM、text-generation-webui、TurboFieldfare和vllm-mlx在文档中说明支持Apple Silicon、Metal或MLX。
• AMD GPU。KoboldCpp、llama.cpp、LocalAI、Lucebox、MLC LLM、SGLang、Shimmy、text-generation-webui和vLLM在文档中说明支持AMD GPU。
• CPU推理。exo、KoboldCpp、llama.cpp、LocalAI、OlliteRT、SGLang、text-generation-webui和vLLM在文档中说明支持在CPU上运行推理。
• 多GPU与多节点。candle-vllm、NVIDIA Dynamo、ExLlamaV2、exo、KServe、LMDeploy、LocalAI、LoRAX、Lucebox、MLX-LM、mlxcel、oMLX、SGLang和vLLM在文档中说明支持多GPU、张量并行或多节点推理。
• 许可证。 这里的大多数引擎采用Apache-2.0(19款)或MIT(9款);KoboldCpp和text-generation-webui采用AGPL-3.0。Copyleft许可证会对分发修改后的版本附加条件——参见AI工具许可证详解。

运行时与管理器:差异所在

• OpenAI兼容API。Docker Model Runner、Foundry Local、GPUStack、Jan、Lemonade和Osaurus在文档中说明提供OpenAI兼容的API。
• 桌面应用。GPT4All、Jan、LM Studio、Osaurus和Ypipe在文档中说明提供可安装的桌面应用。
• 内置模型库。Foundry Local、GPUStack、Jan、Lemonade、LM Studio和Ollama在文档中说明内置了查找和下载模型的方式。
• 无界面或服务器模式。DreamServer、GPUStack、Lemonade和Osaurus在文档中说明可作为后台服务或不带GUI的服务器运行。
• 许可证与价格。 这里有四款运行时采用Apache-2.0,四款采用MIT。LM Studio和Docker Model Runner是专有软件(LM Studio可免费使用;Docker Model Runner随Docker Desktop捆绑提供),Msty是闭源软件并提供免费层,RunAnywhere和YPipe使用自己的条款或未公开的条款——请查看各自的评测。

路由器与网关:差异所在

• OpenAI兼容端点。AIClient2API和litellm在文档中说明提供OpenAI兼容的端点。
• 路由到本地模型。litellm在文档中说明其支持的提供商包括本地或自托管模型(例如Ollama)。
• 故障回退与负载均衡。AIClient2API、ClawRouter和litellm在文档中说明支持在模型或提供商之间进行回退、重试或负载均衡。
• 许可证。 四款中有两款采用MIT,一款采用GPL-3.0,一款采用Apache-2.0。

本对比无法告诉你的内容

• 它比较的是文档中说明的能力,而不是性能。它不涉及每秒token数、内存占用或延迟——PromptQuorum没有对这些工具测量过这些指标,而且它们在很大程度上取决于你的硬件和模型。
• 短横线是我们所查文档中的空白,而不是否定的结论。有些工具可能支持其README没有提到的功能;这在少数几款README简短、说明很少的常用工具上最为明显(例如Ollama的引擎功能)。
• 硬件支持指的是文档中所述内容,并不保证在该硬件上有良好的体验;实际要求请阅读该工具的评测。
• 工具更新很快。每款工具的评测都会说明核对时所用的版本,本指南会在评测更新时随之刷新。

常见问题

资料来源

• 各工具的官方README或网站,列在该工具的PromptQuorum评测中(可从对比表链接进入)。
• PromptQuorum本地AI应用目录——对比表每一行所依据的记录。
• AI工具许可证详解——上文提到的各类许可证的含义。

相关阅读

• 本地软件目录——浏览全部224款本地AI应用,并按类别筛选。
• 本地语音工具对比——针对文本转语音、语音转文本和语音代理的同类对比。
• 本地图像、视频与视觉工具对比——针对图像生成和视觉模型的同类对比。