Willow Inference Server是什么？
Willow Inference Server是一款自托管服务器，可在你自己的硬件上运行语音识别和语音合成模型，并通过WebRTC、REST和WebSocket访问。 其官方GitHub描述写道："Open source, local, and self-hosted highly optimized language inference server supporting ASR/STT, TTS, and LLM across WebRTC, REST, and WS"——本评测发现这一描述如今已部分过时，因为通用LLM支持已于2026年2月从代码库中移除（见下文历史部分）。截至本评测时，WIS准确的定位应是ASR/TTS服务器，而非通用LLM服务器。
- 核心功能：通过WebRTC、REST或WebSocket接收音频或文本，并返回转录文本或合成音频的语音推理服务器
- 语音识别引擎：OpenAI的Whisper模型，经项目调优以适配低延迟流式场景
- 文本转语音引擎：内置的TTS流水线（仓库包含专用的
Dockerfile.xtts和xtts目录），支持从简短示例录音创建自定义语音 - 部署目标：支持CUDA的NVIDIA GPU，同时提供已文档化的纯CPU回退路径（性能较低）
- 开发方：Tovera，开源语音助手硬件项目Willow背后的组织
- 权威仓库：github.com/toverainc/willow-inference-server——目前活跃使用的项目及组织名称，承载服务器的源代码、发布记录和问题跟踪
Willow Inference Server项目历史
Willow Inference Server的GitHub仓库创建于2023年2月，其提交历史显示出活动呈阵发式，中间穿插着长时间的沉寂期，而非持续的每周开发——这是在生产环境中依赖它之前值得了解的一种模式。
- 12023年2月 — 仓库创建
Why it matters: Willow Inference Server最初作为语音助手硬件项目Willow的后端配套项目启动，该项目同样由Tovera组织维护。 - 22024年4月 — TTS引擎更新
Why it matters: 根据仓库的提交历史，这一时期的提交更新了内置的XTTS语音克隆流水线。 - 32025年6月 — 代码质量整理
Why it matters: 一批提交将项目的flake8代码检查替换为black代码格式化，并重新格式化了Python代码库——这是一次维护性整理，而非功能发布，之前大约14个月没有公开提交。 - 42026年2月 — 移除LLM/聊天支持
Why it matters: 一次题为"README: drop LLM/chat references"的提交明确指出："We no longer support that. People can run ollama next to WIS."（我们不再支持该功能，用户可以在WIS旁边运行ollama。）这是该项目近期历史上影响最大的变化——它将WIS的范围从综合的ASR/TTS/LLM服务器收窄为仅限ASR/TTS的服务器，也是截至本评测时仓库main分支上最新的提交。
Willow Inference Server能做什么？
Willow Inference Server的功能集中于快速的自托管语音处理，而非通用的语言模型聊天。以下是根据项目自身的GitHub README，各部分实际的功能。
- 自动语音识别（ASR） — 使用基于Whisper的模型将口语音频转录为文本，项目调优目标是"尽可能接近实时"的流式识别，而不仅仅是批量转录
- 同时支持多个Whisper模型尺寸 — README说明，三种默认Whisper模型尺寸（base、medium、large-v2）可以同时加载在6GB显存内，使部署能够按请求在准确性和速度之间权衡，而不必固定使用某一种模型尺寸
- 支持语音克隆的文本转语音（TTS） — 通过内置的基于XTTS的流水线从文本合成语音，支持从相对简短的示例录音创建自定义语音
- 多协议访问 — 可通过WebRTC（用于低带宽实时音频流）、REST和WebSocket访问，客户端可以选择适合自身用例的传输方式
- 硬件自动检测 — 文档说明服务器会自动检测可用硬件并相应调整行为，而无需针对每种GPU型号手动配置
- Willow语音助手后端 — WIS是开源语音助手硬件项目Willow所连接的推理后端，用于将语音指令转为文本，并可选地将回应再转回语音
使用示例：Willow Inference Server的三种用法
以下是基于上述Willow Inference Server已文档化功能构建的具体工作流——而非假设性用例。
将WIS作为Willow语音助手硬件的后端运行
在一台配备支持CUDA的NVIDIA GPU的机器上部署Willow Inference Server，然后将Willow硬件设备或应用指向你自托管的WIS实例，而不是Tovera托管的示例服务器。设备捕获的语音指令通过WebRTC流式传输到WIS，并用Whisper转录，从而将语音数据保留在你自己掌控的基础设施上。
在没有任何语音硬件的情况下通过REST转录音频
从任何能够发出HTTP请求的脚本或应用程序，将录制好的音频文件发送到WIS的REST端点，即可收到文本转录结果。这与Willow硬件项目相互独立——任何需要Whisper品质自托管语音转文本的应用，都可以将WIS用作独立的转录服务。
为TTS输出生成自定义克隆语音
向WIS的TTS流水线提供目标声音的简短示例录音以创建自定义语音配置文件，然后将文本发送到TTS端点，让其以该声音合成——这对不希望听起来像通用默认TTS声音的无障碍工具或语音助手很有用。
安装Willow Inference Server
Willow Inference Server通过Docker Compose安装，源代码托管在GitHub上。 以下链接和命令来自官方GitHub仓库——由于安装说明可能随提交而变化，请始终直接在该页面核实。
GitHub仓库（源代码，Apache 2.0）
克隆仓库
- 链接:
git clone https://github.com/toverainc/willow-inference-server.git
GPU部署
- 链接:
- 使用仓库的
docker-compose.yml文件运行docker compose up
纯CPU部署
- 链接:
docker compose -f docker-compose-cpu.yml up（文档说明明显慢于GPU）
Willow语音助手项目
- 链接:
- github.com/toverainc — 母组织的其他仓库，包括WIS最初为之服务的Willow硬件/固件项目
Willow Inference Server要达到文档中所述的性能，需要一块支持CUDA的NVIDIA GPU——GTX 1060 3GB是所述的最低配置，同时运行ASR和TTS建议使用约6GB显存。仓库中存在并已文档化一条纯CPU的Docker Compose路径，但项目说明CPU性能明显落后于所有列出的GPU；请将纯CPU模式视为用于测试的功能性回退方案，而非生产部署目标。
Willow Inference Server价格：真的免费吗？
是的——Willow Inference Server没有付费套餐。 GitHub仓库没有定价页面，LICENSE.md文件适用于整个应用程序。许可证文本为Apache License，Version 2.0——宽松许可，附带专利授权，且没有要求发布你自己修改版本的著佐权（copyleft）义务。
- 没有订阅、没有付费套餐、Willow Inference Server本身不施加任何使用限制
- 部署或使用该软件无需账户或注册
- 运行WIS仍需要你自己的GPU硬件以及运行它所需的电力/托管成本——软件本身是免费的，但自托管并不像托管API那样零成本
- Tovera还为独立的语音助手硬件项目Willow运营着一个托管示例服务器——本评测专门覆盖自托管、免费运行的WIS软件；关于单独托管产品的任何细节及其是否产生自身费用，请直接向Tovera核实
Willow Inference Server 对比 whisper.cpp
Willow Inference Server和whisper.cpp都能在本地运行OpenAI的Whisper语音识别模型，两者经常被拿来比较，因为都避免将音频发送到云端API。最明显的区别在于部署模式和功能范围。
方面 | WIS | whisper.cpp |
|---|---|---|
| 范围 | ASR+TTS服务器，含WebRTC/REST/WS | 仅ASR（转录），无服务器/TTS |
| 部署 | Docker Compose，偏重GPU | 编译二进制/库，适合CPU |
| 目标硬件 | NVIDIA CUDA GPU（3–6+GB显存） | 可在CPU运行；GPU加速可选 |
| 实时流式 | 专为此设计，通过WebRTC | 需额外客户端开发才能实现 |
| 硬件集成 | 专为Willow后端设计 | 通用库，无专属硬件绑定 |
| 维护节奏 | 阵发性；最近提交为26年2月 | 积极维护，提交频繁 |
如果你的重点是一个内置WebRTC流式和TTS的现成服务器，并且手头有闲置的NVIDIA GPU，那么Willow Inference Server的功能集更为全面。如果你的重点是尽可能轻量、适合CPU并可嵌入自己应用的转录库，whisper.cpp值得直接评估——完整细节请见whisper.cpp评测。
谁适合使用Willow Inference Server？
Willow Inference Server是否适合你，取决于你是否拥有兼容的NVIDIA GPU、是否需要在一台服务器上同时具备ASR和TTS，以及你是否能接受一个更新呈阵发式而非持续发布的项目。
在以下情况下使用Willow Inference Server
- 你正在部署或自托管开源的Willow语音助手硬件，并希望运行自己的后端，而非使用Tovera托管的示例服务器
- 你需要在一台自托管服务器上同时具备语音转文本和文本转语音功能，并通过WebRTC实现实时访问
- 你能够访问一块支持CUDA的NVIDIA GPU，且至少有3–6GB可用显存
- 你希望从简短的示例录音中为TTS输出提供自定义语音克隆
- 你愿意自行评估甚至在必要时修补一个较小的开源项目，而不是依赖频繁的上游发布
在以下情况下应等待或另寻他选
- 你需要从同一台服务器获得通用LLM/聊天推理——该功能已于2026年2月移除；请改为在WIS旁边搭配运行Ollama等独立工具
- 你没有NVIDIA GPU——WIS已文档化的纯CPU路径确实存在，但据说性能明显落后于GPU，且没有文档说明针对Apple芯片或AMD GPU的专门优化
- 你需要有保证的、持续的上游维护——该项目的提交历史显示活动阵发之间存在数月的间隔，最近的几次分别为2023年2月至2024年4月、2025年6月和2026年2月
- 你只需要简单的离线转录，不需要服务器、WebRTC或TTS——像whisper.cpp这样更轻量的库可能更适合，部署负担更小
Willow Inference Server 对比其他语音工具
Willow Inference Server是本地语音识别与合成领域众多自托管选择之一。以下是它与该领域其他工具的对比——完整目录请见本地AI软件目录，最接近的一对一比较请见上方专门的Willow Inference Server对比whisper.cpp。
- whisper.cpp — 一个轻量、适合CPU的OpenAI Whisper的C/C++移植版，仅用于转录，不含内置服务器、WebRTC或TTS；详见上方专门的比较部分。
- Faster Whisper — 一个基于CTranslate2、专注于推理速度的Whisper重新实现；是一个可嵌入的库，而非像WIS这样的现成ASR/TTS服务器。
- Piper TTS — 一个轻量、适合CPU的本地文本转语音引擎；功能范围比WIS的综合ASR+TTS服务器更窄，但对硬件的要求要轻得多。
- Coqui TTS — 一个支持语音克隆的开源文本转语音工具包，TTS功能范围与WIS内置的XTTS流水线相当，但以库的形式分发，而非WebRTC就绪的服务器。
- Bark TTS — 一个能够生成非语音音频（笑声、停顿）的生成式文本转语音模型；与WIS内置的XTTS流水线相比是不同的TTS引擎选择。
- MacWhisper — 一款用于Whisper转录的原生macOS桌面应用；适合完全不需要WIS服务器/WebRTC部署模式的用户的图形化桌面替代方案。
评估Willow Inference Server时的常见误区
关于Willow Inference Server的大多数困惑，源于对其LLM支持的过时描述、不明确的硬件预期，或对其当前更新活跃程度的高估。
误区1：认为Willow Inference Server仍支持通用LLM聊天
截至本评测时，该项目自身的GitHub描述仍提到"LLM"，但2026年2月一次题为"README: drop LLM/chat references"的提交已明确移除了该支持，并声明："We no longer support that. People can run ollama next to WIS."（我们不再支持该功能，用户可以在WIS旁边运行ollama。）请将WIS仅视为ASR/TTS服务器，如需通用文本生成，请搭配Ollama等独立工具。
误区2：认为任何GPU都可以
Willow Inference Server是围绕支持CUDA的NVIDIA GPU设计和文档化的。没有文档说明针对AMD GPU的专门优化或Apple芯片版本——Apple芯片用户应转而考虑为该硬件设计的基于Whisper的替代方案，例如MacWhisper。
误区3：认为经自托管服务器处理的音频自动就是端到端私密的
在你自己的硬件上运行Willow Inference Server，默认情况下能让你的语音数据不经过第三方云端API，因为转录和合成都在你掌控的基础设施上进行。这一保证仅特定适用于你自己的自托管部署——如果你转而将Willow设备指向Tovera托管的示例服务器，或添加任何其他联网集成，那么在那一刻你的音频就会离开你自己的硬件。请核实你具体部署的数据流向，而不要假定"自托管软件"和"完全私密"自动等同。
误区4：期待持续的发布节奏
Willow Inference Server的提交历史显示活动之间存在数月间隔——例如2024年4月到2025年6月之间约14个月没有公开提交。对于一个按社区节奏推进的项目而言，这属于正常现象，但如果你的部署需要有保证的快速修复，请据此做好规划。
常见问题
Willow Inference Server是什么？
Willow Inference Server（WIS，github.com/toverainc/willow-inference-server）是一款免费开源、自托管的服务器，运行基于Whisper的语音识别和文本转语音，可通过WebRTC、REST和WebSocket访问。它由Tovera开发，作为语音助手硬件项目Willow的后端。
Willow Inference Server是免费的吗？
是的。GitHub仓库没有定价页面，其LICENSE.md文件为Apache License 2.0，适用于整个应用程序，没有付费套餐。运行它仍需要你自己提供并承担GPU硬件的费用。
Willow Inference Server支持LLM/聊天推理吗？
截至本评测时不支持。2026年2月的一次提交从项目中移除了通用LLM/聊天支持，维护者表示："We no longer support that. People can run ollama next to WIS."Willow Inference Server目前仅是一款ASR/TTS服务器。
Willow Inference Server需要什么GPU？
一块支持CUDA的NVIDIA GPU。项目文档说明实际可用的最低配置为GTX 1060 3GB，同时运行三种默认Whisper模型尺寸（base、medium、large-v2）加TTS建议使用约6GB显存。存在纯CPU的Docker Compose路径，但文档说明明显更慢。
如何安装Willow Inference Server？
克隆GitHub仓库，对于GPU部署使用提供的docker-compose.yml运行docker compose up，对于纯CPU路径运行docker compose -f docker-compose-cpu.yml up。安装前请直接查看仓库获取最新说明，因为这些说明可能随提交而变化。
Willow Inference Server是否得到积极维护？
其提交历史显示活动呈阵发式，中间穿插数月间隔，而非持续开发——例如2024年4月到2025年6月之间约14个月没有公开提交。截至本评测时，main分支上最新的提交来自2026年2月，仓库没有任何打标签的发布版本。它并未被归档，但这是一个按社区节奏推进的较小项目，而非拥有持续发布节奏的项目。
Willow Inference Server和Willow之间是什么关系？
Willow是一个独立的开源语音助手硬件/固件项目，同样由Tovera维护。Willow Inference Server是为Willow设备处理语音的后端软件，但也可以独立运行，用于其他语音转文本或文本转语音的用例。
Willow Inference Server能为TTS克隆自定义语音吗？
可以。根据项目文档，其内置的基于XTTS的TTS流水线支持从相对简短的示例录音创建自定义语音配置文件。
Willow Inference Server使用什么许可证？
根据官方LICENSE.md文件，采用Apache License，Version 2.0——宽松许可，附带专利授权，且不要求将你自己的修改开源发布。
Willow Inference Server支持实时流式传输吗？
支持，通过WebRTC实现，该项目专门为低延迟实时音频用例构建，例如持续监听指令的语音助手。REST和WebSocket端点也可用于非流式或更简单的集成场景。