Willow Inference Serverとは?
Willow Inference Serverは、自分のハードウェア上で音声認識と音声合成モデルを実行するセルフホスト型サーバーで、WebRTC、REST、WebSocketsでアクセスできます。 公式のGitHub説明には「Open source, local, and self-hosted highly optimized language inference server supporting ASR/STT, TTS, and LLM across WebRTC, REST, and WS」と記載されていますが、本レビューではこの説明は一部古くなっていると判断しました。一般的なLLMサポートは2026年2月にコードベースから削除されているためです（詳細は下記の歴史セクションを参照）。本レビュー時点で、WISは一般的なLLMサーバーではなく、ASR/TTSサーバーと正確に説明できます。
- コア機能: WebRTC、REST、WebSocketsで音声またはテキストを受け取り、文字起こしされたテキストまたは合成音声を返す音声推論サーバー
- 音声認識エンジン: OpenAIのWhisperモデルを、低遅延のストリーミング用途向けにプロジェクトがチューニング
- テキスト読み上げエンジン: バンドルされたTTSパイプライン（リポジトリには専用の
Dockerfile.xttsとxttsディレクトリが含まれる）で、短いサンプル録音からのカスタム音声作成に対応 - 展開対象: CUDA対応NVIDIA GPU。性能は下がるがCPUのみのフォールバックパスも文書化されている
- 開発元: オープンソースの音声アシスタントハードウェアプロジェクトWillowの背後にある組織Tovera
- 正式なリポジトリ: github.com/toverainc/willow-inference-server — サーバーのソースコード、リリース、課題トラッカーで現在アクティブに使われているプロジェクト名・組織名
Willow Inference Serverのプロジェクト史
Willow Inference ServerのGitHubリポジトリは2023年2月に作成され、そのコミット履歴は継続的な週次開発というより、長い静かな期間に挟まれた活動の波を示しています——本番運用で依存する前に知っておくべきパターンです。
- 12023年2月 — リポジトリ作成
Why it matters: Willow Inference Serverは、Tovera組織が同じく保守する音声アシスタントハードウェアプロジェクトWillowのバックエンド補完として始まった。 - 22024年4月 — TTSエンジンの更新
Why it matters: この時期のコミットは、リポジトリのコミット履歴によれば、バンドルされたXTTS音声クローンパイプラインを更新した。 - 32025年6月 — コード品質の改善作業
Why it matters: 一連のコミットが、プロジェクトのflake8リンティングをblackコードフォーマットに置き換え、Pythonコードベースを再フォーマットした——約14か月間公開コミットがなかった後の、機能リリースというよりメンテナンス作業。 - 42026年2月 — LLM/チャットサポートの削除
Why it matters: 「README: drop LLM/chat references」と題されたコミットは明確に「We no longer support that. People can run ollama next to WIS.」と述べている。これはプロジェクトの近年の歴史で最も重要な変更であり、WISの範囲をASR/TTS/LLM統合サーバーからASR/TTS専用サーバーへと狭め、本レビュー時点でリポジトリのmainブランチにおける最新のコミットとなっている。
Willow Inference Serverで何ができるか?
Willow Inference Serverの機能セットは、汎用の言語モデルチャットよりも、高速でセルフホストされた音声処理に重点を置いています。以下は、プロジェクト自身のGitHubのREADMEに基づいて各パーツが実際に何をするかです。
- 自動音声認識（ASR） — Whisperベースのモデルを使って話された音声をテキストに文字起こし。プロジェクトはバッチ文字起こしだけでなく「可能な限りリアルタイムに近い」ストリーミング認識に向けてチューニングしている
- 複数のWhisperモデルサイズを同時利用 — READMEによると、3つの標準Whisperモデルサイズ（base、medium、large-v2）を6GBのVRAM内で同時にロードでき、1つのモデルサイズに固定する代わりにリクエストごとに精度と速度を調整できる
- 音声クローン対応のテキスト読み上げ（TTS） — バンドルされたXTTSベースのパイプラインを通じてテキストから音声を合成し、比較的短いサンプル録音からのカスタム音声作成に対応
- マルチプロトコルアクセス — WebRTC（低帯域幅のリアルタイム音声ストリーミング向け）、REST、WebSocketsでアクセス可能で、クライアントは用途に合ったトランスポートを選択できる
- ハードウェア自動検出 — サーバーは利用可能なハードウェアを自動検出し、GPUモデルごとの手動設定を必要とせずに動作を調整すると文書化されている
- Willow音声アシスタントのバックエンド — WISは、オープンソースの音声アシスタントハードウェアプロジェクトWillowが接続する推論バックエンドで、話された指示をテキストに、任意で応答を再び音声に変換する
使用例: Willow Inference Serverの3つの使い方
これらは上記で文書化されたWillow Inference Serverの機能から構築された具体的なワークフローであり、仮定の使用例ではありません。
Willow音声アシスタントハードウェアのバックエンドとしてWISを動かす
CUDA対応のNVIDIA GPUを搭載したマシンにWillow Inference Serverをデプロイし、Willowハードウェアデバイスまたはアプリを、Toveraのホスト版サンプルサーバーではなく、自分がセルフホストするWISインスタンスに向けます。デバイスが捕捉した音声コマンドはWebRTC経由でWISにストリーミングされ、Whisperで文字起こしされるため、音声データは自分が管理するインフラ上に留まります。
音声ハードウェアなしでRESTを使って音声を文字起こしする
HTTPリクエストを行える任意のスクリプトやアプリケーションから、録音済みの音声ファイルをWISのRESTエンドポイントに送信すると、テキストの文字起こしが返されます。これはWillowハードウェアプロジェクトとは独立して機能します——Whisper品質のセルフホスト型音声認識が必要なアプリであれば、WISを単独の文字起こしサービスとして利用できます。
TTS出力用にカスタムクローン音声を生成する
ターゲットとなる声の短いサンプル録音をWISのTTSパイプラインに提供してカスタム音声プロファイルを作成し、テキストをTTSエンドポイントに送ってその声で合成させます。汎用のデフォルトTTS音声のように聞こえてほしくないアクセシビリティツールや音声アシスタントに便利です。
Willow Inference Serverのインストール
Willow Inference ServerはDocker Compose経由でインストールでき、ソースコードはGitHub上にあります。 以下のリンクとコマンドは公式のGitHubリポジトリからのものです。インストール手順はコミットごとに変わる可能性があるため、必ずそのページで直接確認してください。
GitHubリポジトリ（ソースコード、Apache 2.0）
リポジトリをクローン
- リンク:
git clone https://github.com/toverainc/willow-inference-server.git
GPUデプロイ
- リンク:
- リポジトリの
docker-compose.ymlを使ってdocker compose up
CPUのみのデプロイ
- リンク:
docker compose -f docker-compose-cpu.yml up（GPUより大幅に遅いと文書化）
Willow音声アシスタントプロジェクト
- リンク:
- github.com/toverainc — 親組織の他のリポジトリ。WISがもともと支えるために作られたWillowハードウェア/ファームウェアプロジェクトを含む
Willow Inference Serverが文書化された性能を発揮するにはCUDA対応NVIDIA GPUが必要です——GTX 1060 3GBが記載された最低ラインで、ASRとTTSを併用するには約6GBのVRAMが推奨されます。CPUのみのDocker Composeパスも存在しリポジトリに文書化されていますが、プロジェクトはCPU性能が掲載されたすべてのGPUに大きく劣ると述べています。CPUのみのモードはテスト用の機能的なフォールバックと捉え、本番デプロイのターゲットとは考えないでください。
Willow Inference Serverの料金: 本当に無料か?
はい——Willow Inference Serverに有料プランはありません。 GitHubリポジトリに料金ページはなく、LICENSE.mdファイルがアプリケーション全体に適用されます。ライセンス文はApache License, Version 2.0——許容的で、特許許諾があり、自分の改変版を公開するコピーレフト義務はありません。
- サブスクリプションなし、有料プランなし、Willow Inference Server自体が課す利用制限もなし
- ソフトウェアのデプロイや利用にアカウントや登録は不要
- WISを動かすには自分のGPUハードウェアと、それを稼働させる電気代・ホスティング費用が引き続き必要です——ソフトウェア自体は無料ですが、セルフホスティングはホスト型APIのようにゼロコストというわけではありません
- Toveraは別の音声アシスタントハードウェアプロジェクトWillow向けにホスト版サンプルサーバーも運営しています——本レビューは特にセルフホストで無料で運用できるWISソフトウェアを対象としています。別のホスト版サービスの詳細や独自の費用の有無については、直接Toveraに確認してください
Willow Inference Server vs. whisper.cpp
Willow Inference Serverとwhisper.cppはどちらもOpenAIのWhisper音声認識モデルをローカルで実行します。 どちらも音声をクラウドAPIに送らないため、よく比較されます。最も明確な違いは、デプロイモデルと範囲にあります。
観点 | WIS | whisper.cpp |
|---|---|---|
| 範囲 | WebRTC/REST/WS対応のASR+TTSサーバー | ASR（文字起こし）のみ、サーバー/TTSなし |
| デプロイ | Docker Compose、GPU中心 | コンパイル済みバイナリ/ライブラリ、CPU向き |
| ターゲットHW | NVIDIA CUDA GPU（3〜6GB+ VRAM） | CPUで動作。GPU高速化は任意 |
| リアルタイム配信 | WebRTCで対応する設計 | 追加のクライアント実装で可能 |
| ハードウェア統合 | Willowバックエンドとして設計 | 汎用ライブラリ、専用HWなし |
| メンテナンス頻度 | 断続的。最終コミット26年2月 | 積極的に保守、頻繁なコミット |
WebRTCストリーミングとTTSが組み込まれた既製のサーバーを優先し、余っているNVIDIA GPUがある場合は、Willow Inference Serverの機能セットの方が幅広いです。自分のアプリに組み込む、できるだけ軽量でCPUに優しい文字起こしライブラリを優先する場合は、whisper.cppを直接検討する価値があります——詳細はwhisper.cppレビューを参照してください。
Willow Inference Serverは誰向けか?
Willow Inference Serverが合うかどうかは、対応するNVIDIA GPUを持っているか、1つのサーバーでASRとTTSの両方が必要か、そしてアップデートが継続的ではなく断続的に配信されるプロジェクトを受け入れられるかにかかっています。
こんな場合にWillow Inference Serverを使う
- オープンソースのWillow音声アシスタントハードウェアをデプロイまたはセルフホストしており、Toveraのホスト版サンプルサーバーではなく自分のバックエンドを動かしたい
- 1つのセルフホスト型サーバーから音声認識とテキスト読み上げの両方が必要で、リアルタイム用途向けにWebRTCでアクセスしたい
- 少なくとも3〜6GBの空きVRAMを持つCUDA対応NVIDIA GPUにアクセスできる
- 短いサンプル録音からのTTS出力用カスタム音声クローンが欲しい
- 頻繁な上流リリースに頼るのではなく、小規模なオープンソースプロジェクトを自分で評価し、必要に応じてパッチを当てることに抵抗がない
こんな場合は待つか、他を検討する
- 同じサーバーから一般的なLLM/チャット推論が必要——この機能は2026年2月に削除されました。代わりにOllamaなどの別ツールをWISと並行して動かしてください
- NVIDIA GPUを持っていない——WISの文書化されたCPUのみのパスは存在しますが、GPU性能を大きく下回ると記載されており、Apple SiliconやAMD GPU向けの特別な最適化も文書化されていません
- 保証された継続的な上流メンテナンスが必要——プロジェクトのコミット履歴は活動の波の間に数か月単位のギャップを示しており、直近では2023年2月から2024年4月、2025年6月、2026年2月と続いている
- サーバー、WebRTC、TTSを必要としないシンプルなオフライン文字起こしだけが必要——whisper.cppのような軽量ライブラリの方がデプロイの手間が少なく合うかもしれません
Willow Inference Server vs. 他の音声ツール
Willow Inference Serverは、ローカルの音声認識・合成向けの複数あるセルフホスト型選択肢の1つです。この分野の他のツールとの比較は以下の通りです——全カタログはローカルAIソフトウェアディレクトリを、最も近い一対一比較は上記の専用Willow Inference Server vs. whisper.cpp比較をご覧ください。
- whisper.cpp — OpenAIのWhisperを文字起こし専用に移植した軽量でCPUに優しいC/C++実装で、組み込みサーバー、WebRTC、TTSはなし。詳細は上記の専用比較セクションを参照。
- Faster Whisper — 推論速度に重点を置いたCTranslate2ベースのWhisper再実装。WISのような既製のASR/TTSサーバーではなく、組み込み用のライブラリ。
- Piper TTS — 軽量でCPUに優しいローカルのテキスト読み上げエンジン。WISの統合ASR+TTSサーバーより範囲は狭いが、ハードウェア要件ははるかに軽い。
- Coqui TTS — 音声クローンに対応したオープンソースのテキスト読み上げツールキット。TTSの範囲はWISがバンドルするXTTSパイプラインと同程度だが、WebRTC対応サーバーではなくライブラリとして配布される。
- Bark TTS — 笑い声やポーズなどの非音声オーディオも生成できる生成型テキスト読み上げモデル。WISがバンドルするXTTSパイプラインとは異なるTTSエンジンの選択肢。
- MacWhisper — Whisper文字起こし用のネイティブmacOSデスクトップアプリ。WISのサーバー/WebRTCデプロイモデルをまったく必要としないユーザー向けのGUIデスクトップ代替。
Willow Inference Server評価時によくある誤解
Willow Inference Serverに関する混乱の多くは、LLMサポートに関する古い説明、不明確なハードウェアの前提、あるいは現在のアップデート頻度の過大評価から生じています。
誤解1: Willow Inference Serverが今も一般的なLLMチャットをサポートしていると思い込む
プロジェクトのGitHub自身の説明は本レビュー時点でも「LLM」に言及していますが、「README: drop LLM/chat references」と題された2026年2月のコミットがこのサポートを明示的に削除し、「We no longer support that. People can run ollama next to WIS.」と述べています。WISはASR/TTSサーバーのみとみなし、一般的なテキスト生成にはOllamaなどの別ツールを組み合わせてください。
誤解2: どのGPUでもよいと思い込む
Willow Inference ServerはCUDA対応NVIDIA GPUを前提に設計・文書化されています。AMD GPU向けの特別な最適化やApple Siliconビルドは文書化されていません——Apple Siliconユーザーは、MacWhisperのようにそのハードウェア向けに設計されたWhisperベースの代替を検討すべきです。
誤解3: セルフホスト型サーバーで処理された音声は自動的にエンドツーエンドでプライベートだと考える
Willow Inference Serverを自分のハードウェアで動かすことで、文字起こしと合成が自分が管理するインフラ上で行われるため、デフォルトでは音声データが第三者のクラウドAPIに渡ることはありません。この保証は自分自身のセルフホスト型デプロイに限定して当てはまります——Willowデバイスを代わりにToveraのホスト版サンプルサーバーに向けたり、他のネットワーク接続された統合を追加したりすると、その時点で音声は自分のハードウェアを離れます。「セルフホスト型ソフトウェア」と「完全にプライベート」が自動的に同じだと仮定せず、自分の具体的なデプロイのデータフローを確認してください。
誤解4: 継続的なリリースサイクルを期待する
Willow Inference Serverのコミット履歴は、活動の間に数か月単位のギャップを示しています——例えば2024年4月から2025年6月まで約14か月間、公開コミットがありませんでした。これはコミュニティのペースで進むプロジェクトとしては通常のことですが、デプロイに迅速な保証付きバグ修正が必要な場合はそれを見越して計画してください。
よくある質問
Willow Inference Serverとは何ですか?
Willow Inference Server（WIS、github.com/toverainc/willow-inference-server）は、Whisperベースの音声認識とテキスト読み上げを実行する無料のオープンソース・セルフホスト型サーバーで、WebRTC、REST、WebSocketsでアクセス可能です。Toveraが音声アシスタントハードウェアプロジェクトWillowのバックエンドとして開発しました。
Willow Inference Serverは無料ですか?
はい。GitHubリポジトリに料金ページはなく、LICENSE.mdファイルはApache License 2.0で、アプリケーション全体に有料プランなしで適用されます。動かすためには引き続き自分のGPUハードウェアを用意し、その費用を負担する必要があります。
Willow Inference ServerはLLM/チャット推論をサポートしていますか?
本レビュー時点ではサポートしていません。2026年2月のコミットでプロジェクトから一般的なLLM/チャットサポートが削除され、メンテナーは「We no longer support that. People can run ollama next to WIS.」と述べています。Willow Inference Serverは現在ASR/TTS専用サーバーです。
Willow Inference Serverにはどのようなgpuが必要ですか?
CUDA対応のNVIDIA GPUです。プロジェクトは実用的な最低ラインとしてGTX 1060 3GBを文書化しており、3つの標準Whisperモデルサイズ（base、medium、large-v2）とTTSを併用するには約6GBのVRAMが推奨されます。CPUのみのDocker Composeパスも存在しますが、大幅に遅いと文書化されています。
Willow Inference Serverはどうやってインストールしますか?
GitHubリポジトリをクローンし、GPUデプロイには提供されているdocker-compose.ymlでdocker compose upを、CPUのみのパスにはdocker compose -f docker-compose-cpu.yml upを実行します。手順はコミットごとに変わる可能性があるため、インストール前にリポジトリで直接最新情報を確認してください。
Willow Inference Serverは積極的に保守されていますか?
コミット履歴は、継続的な開発というより、数か月単位のギャップに挟まれた活動の波を示しています——例えば2024年4月から2025年6月まで約14か月間、公開コミットがありませんでした。本レビュー時点で、mainブランチの最新コミットは2026年2月のもので、リポジトリにタグ付きリリースはありません。アーカイブされてはいませんが、継続的なリリースサイクルを持つプロジェクトというより、コミュニティのペースで進む小規模なプロジェクトです。
Willow Inference ServerとWillowの関係は何ですか?
Willowは、同じくToveraが保守する別のオープンソース音声アシスタントハードウェア/ファームウェアプロジェクトです。Willow Inference Serverは、Willowデバイス向けに音声を処理するバックエンドソフトウェアですが、他の音声認識やテキスト読み上げの用途にも単独で動作できます。
Willow Inference ServerはTTS用にカスタム音声をクローンできますか?
はい。バンドルされたXTTSベースのTTSパイプラインは、プロジェクトのドキュメントによると、比較的短いサンプル録音からカスタム音声プロファイルを作成することに対応しています。
Willow Inference Serverはどのライセンスを使用していますか?
公式のLICENSE.mdファイルによると、Apache License, Version 2.0です——許容的で、特許許諾があり、自分の改変版をオープンソース化する義務はありません。
Willow Inference Serverはリアルタイムストリーミングをサポートしていますか?
はい、WebRTC経由です。プロジェクトは、コマンドを継続的に待ち受ける音声アシスタントのような低遅延のリアルタイム音声用途向けに特別に構築しました。ストリーミングしない、あるいはよりシンプルな統合向けにRESTおよびWebSocketエンドポイントも利用可能です。