本地模型服务该选SGLang还是vLLM?

两者调度方式的差异

核心差异在于每个引擎如何处理跨请求的共享上下文。vLLM的PagedAttention像操作系统管理虚拟内存一样管理KV缓存的GPU内存——按需分配页面,消除困扰简单批处理的碎片化问题。这使得vLLM在高并发下都能保持高效,无论请求是否共享内容。

SGLang基于类似的内存管理思路,并加入了RadixAttention——一个以前缀树结构组织的缓存层:当多个请求共享相同的提示前缀(例如重复的系统提示,或一段进行中对话的第1到3轮)时,SGLang会复用已缓存的计算结果,而不是重新计算。对于前缀重叠度高的工作负载——例如带有较长固定系统提示的聊天机器人,或重放先前对话轮次的智能体——这能同时降低延迟和GPU内存压力。

对于没有共享上下文的一次性、互不相关的请求,两个引擎的表现相当接近——RadixAttention的优势只有在前缀真正重复时才会显现。

根据工作负载做选择

• ▸**选择vLLM的情况:** 需要广泛的模型架构支持,更看重更大更成熟的生态系统,或工作负载主要是没有明显共享上下文的一次性请求。
• ▸**选择SGLang的情况:** 工作负载以多轮对话、重放历史上下文的智能体循环,或结构化/受限生成(JSON模式、函数调用)为主,且这方面的原生支持更成熟。
• ▸**两者都不选的情况:** 你只是在桌面或笔记本电脑上为个人单用户使用运行一个模型——两个引擎都是为并发请求吞吐量设计的,带来的搭建成本在这种场景下并不划算。像Ollama或LM Studio这样的前端工具更适合这种情况。