Was ist Willow Inference Server?
Willow Inference Server ist ein selbst gehosteter Server, der Spracherkennungs- und Sprachsynthese-Modelle auf Ihrer eigenen Hardware ausführt, erreichbar über WebRTC, REST und WebSockets. Die eigene GitHub-Beschreibung lautet: "Open source, local, and self-hosted highly optimized language inference server supporting ASR/STT, TTS, and LLM across WebRTC, REST, and WS" — eine Beschreibung, die diese Review als teilweise veraltet einstuft, da die allgemeine LLM-Unterstützung im Februar 2026 aus dem Code entfernt wurde (siehe Geschichtsabschnitt unten). Zum Zeitpunkt dieser Review ist WIS korrekt als ASR-/TTS-Server zu beschreiben, nicht als allgemeiner LLM-Server.
- Kernfunktion: ein Sprach-Inferenz-Server, der Audio oder Text über WebRTC, REST oder WebSockets entgegennimmt und transkribierten Text oder synthetisierte Audio zurückgibt
- Spracherkennungs-Engine: OpenAIs Whisper-Modelle, vom Projekt auf niedrige Latenz im Streaming-Betrieb getrimmt
- Text-zu-Sprache-Engine: eine gebündelte TTS-Pipeline (das Repository enthält ein eigenes
Dockerfile.xttsund einxtts-Verzeichnis) mit Unterstützung für individuelle Stimmerstellung aus kurzen Beispielaufnahmen - Bereitstellungsziel: CUDA-fähige NVIDIA-GPUs, mit einem dokumentierten CPU-only-Fallback-Pfad für geringere Leistung
- Entwickler: Tovera, die Organisation hinter dem quelloffenen Sprachassistenz-Hardware-Projekt Willow
- Kanonisches Repository: github.com/toverainc/willow-inference-server — der aktuell aktive Projekt- und Organisationsname für Quellcode, Releases und Issue-Tracker des Servers
Projektgeschichte von Willow Inference Server
Das GitHub-Repository von Willow Inference Server wurde im Februar 2023 erstellt, und die Commit-Historie zeigt Aktivitätsschübe, getrennt durch lange ruhige Phasen, statt kontinuierlicher wöchentlicher Entwicklung — ein Muster, das Sie kennen sollten, bevor Sie sich für den Produktivbetrieb darauf verlassen.
- 1Februar 2023 — Repository erstellt
Why it matters: Willow Inference Server startete als Backend-Begleiter des Sprachassistenz-Hardware-Projekts Willow, das die Organisation Tovera ebenfalls pflegt. - 2April 2024 — Updates der TTS-Engine
Why it matters: Commits aus diesem Zeitraum aktualisierten laut Commit-Historie des Repositorys die gebündelte XTTS-Stimmklon-Pipeline. - 3Juni 2025 — Code-Qualitäts-Durchgang
Why it matters: Ein Commit-Bündel ersetzte das flake8-Linting des Projekts durch black-Code-Formatierung und formatierte die Python-Codebasis neu — ein Wartungsdurchgang statt eines Feature-Releases, nach etwa 14 Monaten ohne öffentlichen Commit. - 4Februar 2026 — LLM-/Chat-Unterstützung entfernt
Why it matters: Ein Commit mit dem Titel "README: drop LLM/chat references" stellt unmissverständlich fest: "We no longer support that. People can run ollama next to WIS." Dies ist die folgenreichste Änderung in der jüngeren Geschichte des Projekts — sie verengt den Umfang von WIS von einem kombinierten ASR-/TTS-/LLM-Server zu einem reinen ASR-/TTS-Server, und es ist der jüngste Commit auf dem Main-Branch des Repositorys zum Zeitpunkt dieser Review.
Was können Sie mit Willow Inference Server tun?
Der Funktionsumfang von Willow Inference Server dreht sich um schnelle, selbst gehostete Sprachverarbeitung statt allgemeinen Sprachmodell-Chat. Hier ist, was jeder Teil tatsächlich tut, laut der eigenen GitHub-README des Projekts.
- Automatische Spracherkennung (ASR) — transkribiert gesprochene Audio zu Text mithilfe Whisper-basierter Modelle, vom Projekt auf "so nah wie möglich an Echtzeit" gestreamte Erkennung getrimmt, statt nur Stapelverarbeitung
- Mehrere gleichzeitige Whisper-Modellgrößen — die README besagt, dass alle drei Standard-Whisper-Modellgrößen (base, medium, large-v2) gleichzeitig innerhalb von 6 GB VRAM geladen werden können, sodass eine Bereitstellung pro Anfrage Genauigkeit gegen Geschwindigkeit abwägen kann, statt sich auf eine Modellgröße festzulegen
- Text-zu-Sprache (TTS) mit Stimmklonen — synthetisiert Sprache aus Text, mit Unterstützung für die Erstellung einer individuellen Stimme aus einer relativ kurzen Beispielaufnahme, über die gebündelte XTTS-basierte Pipeline
- Multi-Protokoll-Zugriff — erreichbar über WebRTC (für Echtzeit-Audio-Streaming mit geringer Bandbreite), REST und WebSockets, sodass ein Client den für seinen Anwendungsfall passenden Transportweg wählen kann
- Automatische Hardware-Erkennung — der Server erkennt laut Dokumentation automatisch verfügbare Hardware und passt sein Verhalten entsprechend an, statt manuelle Konfiguration pro GPU-Modell zu erfordern
- Willow-Sprachassistenz-Backend — WIS ist das Inferenz-Backend, mit dem sich das quelloffene Sprachassistenz-Hardware-Projekt Willow verbindet, um gesprochene Befehle in Text und optional Antworten zurück in Sprache umzuwandeln
Anwendungsbeispiele: Drei Möglichkeiten, Willow Inference Server zu nutzen
Dies sind konkrete Workflows, die auf den oben dokumentierten Funktionen von Willow Inference Server aufbauen — keine hypothetischen Anwendungsfälle.
WIS als Backend für die Willow-Sprachassistenz-Hardware betreiben
Stellen Sie Willow Inference Server auf einem Rechner mit CUDA-fähiger NVIDIA-GPU bereit und richten Sie dann ein Willow-Hardware-Gerät oder die Willow-App auf Ihre selbst gehostete WIS-Instanz statt auf Toveras gehosteten Beispiel-Server. Vom Gerät erfasste Sprachbefehle werden per WebRTC an WIS gestreamt und mit Whisper transkribiert, sodass Sprachdaten auf Infrastruktur bleiben, die Sie kontrollieren.
Audio ohne jegliche Sprach-Hardware über REST transkribieren
Senden Sie eine aufgezeichnete Audiodatei an den REST-Endpunkt von WIS von jedem Skript oder jeder Anwendung aus, die eine HTTP-Anfrage stellen kann, und erhalten Sie eine Text-Transkription zurück. Dies funktioniert unabhängig vom Willow-Hardware-Projekt — jede App, die selbst gehostete Sprache-zu-Text in Whisper-Qualität benötigt, kann WIS als eigenständigen Transkriptionsdienst nutzen.
Eine individuell geklonte Stimme für TTS-Ausgabe erzeugen
Versorgen Sie die TTS-Pipeline von WIS mit einer kurzen Beispielaufnahme einer Zielstimme, um ein individuelles Stimmprofil zu erstellen, und senden Sie dann Text an den TTS-Endpunkt, um ihn in dieser Stimme synthetisieren zu lassen — nützlich für Barrierefreiheits-Tools oder einen Sprachassistenten, der nicht wie eine generische Standard-TTS-Stimme klingen soll.
Willow Inference Server installieren
Willow Inference Server wird via Docker Compose installiert, und der Quellcode liegt auf GitHub. Links und Befehle unten stammen aus dem offiziellen GitHub-Repository — prüfen Sie diese Seite immer direkt, da sich Installationsanweisungen zwischen Commits ändern können.
GitHub-Repository (Quellcode, Apache 2.0)
Repository klonen
- Link:
git clone https://github.com/toverainc/willow-inference-server.git
GPU-Bereitstellung
- Link:
docker compose upmit derdocker-compose.yml-Datei des Repositorys
Nur-CPU-Bereitstellung
- Link:
docker compose -f docker-compose-cpu.yml up(laut Dokumentation deutlich langsamer als GPU)
Willow-Sprachassistenz-Projekt
- Link:
- github.com/toverainc — die übrigen Repositorys der übergeordneten Organisation, einschließlich des Willow-Hardware-/Firmware-Projekts, für das WIS ursprünglich entwickelt wurde
Willow Inference Server benötigt eine CUDA-fähige NVIDIA-GPU für die dokumentierten Leistungswerte — eine GTX 1060 3 GB ist das angegebene Minimum, mit etwa 6 GB VRAM empfohlen, um ASR und TTS gemeinsam auszuführen. Ein Nur-CPU-Docker-Compose-Pfad existiert und ist im Repository dokumentiert, aber das Projekt gibt an, dass die CPU-Leistung deutlich hinter allen aufgeführten GPUs liegt; betrachten Sie den Nur-CPU-Modus als funktionalen Fallback zum Testen, nicht als Ziel für den Produktivbetrieb.
Willow Inference Server Preise: Ist es wirklich kostenlos?
Ja — Willow Inference Server hat keine kostenpflichtige Stufe. Das GitHub-Repository hat keine Preisseite, und die LICENSE.md-Datei gilt für die gesamte Anwendung. Der Lizenztext ist die Apache License, Version 2.0 — permissiv, mit einer Patentgewährung und ohne Copyleft-Pflicht, eigene Änderungen zu veröffentlichen.
- Kein Abonnement, keine kostenpflichtige Stufe, keine von Willow Inference Server selbst auferlegten Nutzungslimits
- Kein Konto oder Registrierung zur Bereitstellung oder Nutzung der Software erforderlich
- Der Betrieb von WIS erfordert weiterhin Ihre eigene GPU-Hardware und die Strom-/Hosting-Kosten für deren Betrieb — die Software selbst ist kostenlos, aber Self-Hosting ist nicht kostenlos in dem Sinne, wie es eine gehostete API sein kann
- Tovera betreibt außerdem einen gehosteten Beispiel-Server für das separate Sprachassistenz-Hardware-Projekt Willow — diese Review behandelt speziell die selbst gehostete, kostenlos zu betreibende WIS-Software; wenden Sie sich direkt an Tovera für Details zu einem separaten gehosteten Angebot und ob dieses eigene Kosten verursacht
Willow Inference Server vs. whisper.cpp
Willow Inference Server und whisper.cpp führen beide OpenAIs Whisper-Spracherkennungsmodelle lokal aus, und sie werden oft verglichen, weil beide vermeiden, Audio an eine Cloud-API zu senden. Die klarsten Unterschiede liegen im Bereitstellungsmodell und im Umfang.
Aspekt | WIS | whisper.cpp |
|---|---|---|
| Umfang | ASR + TTS Server mit WebRTC/REST/WS | Nur ASR (Transkription), kein Server/TTS |
| Bereitstellung | Docker Compose, GPU-fokussiert | Kompilierte Binärdatei/Bibliothek, CPU-freundlich |
| Hardware-Ziel | NVIDIA-CUDA-GPU (3–6+ GB VRAM) | Läuft auf CPU; GPU-Beschleunigung optional |
| Echtzeit-Streaming | Dafür gebaut, via WebRTC | Mit zusätzlicher Client-Arbeit möglich |
| Hardware-Integration | Als Willow-Assistenz-Backend gebaut | Allzweck-Bibliothek, keine Hardware-Anbindung |
| Pflege-Tempo | Schubweise; letzter Commit Feb. 2026 | Aktiv gepflegt, häufige Commits |
Wenn Ihre Priorität ein fertiger Server mit eingebautem WebRTC-Streaming und TTS ist und Sie eine freie NVIDIA-GPU haben, ist der Funktionsumfang von Willow Inference Server der breitere der beiden. Wenn Ihre Priorität die leichtestmögliche, CPU-freundliche Transkriptionsbibliothek zur Einbettung in Ihre eigene Anwendung ist, lohnt sich eine direkte Prüfung von whisper.cpp — siehe die whisper.cpp Review für alle Details.
Für wen eignet sich Willow Inference Server?
Ob Willow Inference Server zu Ihnen passt, hängt davon ab, ob Sie eine kompatible NVIDIA-GPU besitzen, sowohl ASR als auch TTS in einem Server benötigen und mit einem Projekt zurechtkommen, das Updates schubweise statt kontinuierlich ausliefert.
Nutzen Sie Willow Inference Server, wenn
- Sie die quelloffene Willow-Sprachassistenz-Hardware bereitstellen oder selbst hosten und ein eigenes Backend statt Toveras gehostetem Beispiel-Server betreiben möchten
- Sie sowohl Sprache-zu-Text als auch Text-zu-Sprache von einem selbst gehosteten Server benötigen, erreichbar über WebRTC für Echtzeitnutzung
- Sie Zugang zu einer CUDA-fähigen NVIDIA-GPU mit mindestens 3–6 GB freiem VRAM haben
- Sie individuelles Stimmklonen für TTS-Ausgabe aus einer kurzen Beispielaufnahme wollen
- Sie damit einverstanden sind, ein kleineres Open-Source-Projekt selbst zu bewerten und bei Bedarf zu patchen, statt sich auf häufige Upstream-Releases zu verlassen
Warten Sie ab oder schauen Sie sich anderweitig um, wenn
- Sie allgemeine LLM-/Chat-Inferenz vom selben Server benötigen — diese Funktion wurde im Februar 2026 entfernt; lassen Sie stattdessen ein separates Tool wie Ollama neben WIS laufen
- Sie keine NVIDIA-GPU besitzen — der dokumentierte Nur-CPU-Pfad von WIS existiert, liegt aber laut Angabe deutlich hinter GPU-Leistung, und es gibt keine dokumentierte Apple-Silicon- oder AMD-GPU-spezifische Optimierung
- Sie garantierte, kontinuierliche Upstream-Pflege benötigen — die Commit-Historie des Projekts zeigt mehrmonatige Lücken zwischen Aktivitätsschüben, zuletzt Februar 2023 bis April 2024, Juni 2025 und Februar 2026
- Sie nur einfache Offline-Transkription ohne Server, WebRTC oder TTS benötigen — eine leichtere Bibliothek wie whisper.cpp passt möglicherweise mit weniger Bereitstellungsaufwand
Willow Inference Server vs. andere Sprach-Tools
Willow Inference Server ist eine von mehreren selbst gehosteten Optionen für lokale Spracherkennung und -synthese. So schneidet es im Vergleich zu anderen Tools in diesem Bereich ab — siehe das lokale KI-Software-Verzeichnis für den vollständigen Katalog und den eigenen Vergleich Willow Inference Server vs. whisper.cpp oben für den direktesten Vergleich.
- whisper.cpp — ein leichtgewichtiger, CPU-freundlicher C/C++-Port von OpenAIs Whisper nur für Transkription, ohne eingebauten Server, WebRTC oder TTS; siehe den eigenen Vergleichsabschnitt oben.
- Faster Whisper — eine auf CTranslate2 basierende Neuimplementierung von Whisper mit Fokus auf Inferenzgeschwindigkeit; eine einzubettende Bibliothek statt eines fertigen ASR-/TTS-Servers wie WIS.
- Piper TTS — eine leichtgewichtige, CPU-freundliche lokale Text-zu-Sprache-Engine; enger im Umfang als der kombinierte ASR+TTS-Server von WIS, aber weit genügsamer bei den Hardware-Anforderungen.
- Coqui TTS — ein quelloffenes Text-zu-Sprache-Toolkit mit Stimmklon-Unterstützung, im TTS-Umfang vergleichbar mit der von WIS gebündelten XTTS-Pipeline, aber als Bibliothek statt als WebRTC-fertiger Server vertrieben.
- Bark TTS — ein generatives Text-zu-Sprache-Modell, das auch nicht-sprachliches Audio (Lachen, Pausen) erzeugen kann; eine andere TTS-Engine-Wahl als die von WIS gebündelte XTTS-Pipeline.
- MacWhisper — eine native macOS-Desktop-App für Whisper-Transkription; eine grafische Desktop-Alternative für Nutzer, die das Server-/WebRTC-Bereitstellungsmodell von WIS überhaupt nicht benötigen.
Häufige Fehler bei der Bewertung von Willow Inference Server
Die meiste Verwirrung rund um Willow Inference Server entsteht durch veraltete Beschreibungen der LLM-Unterstützung, unklare Hardware-Erwartungen oder eine Überschätzung, wie aktiv derzeit Updates ausgeliefert werden.
Fehler 1: Annehmen, Willow Inference Server unterstütze noch allgemeinen LLM-Chat
Die eigene GitHub-Beschreibung des Projekts erwähnt zum Zeitpunkt dieser Review noch "LLM", aber ein Commit im Februar 2026 mit dem Titel "README: drop LLM/chat references" entfernte diese Unterstützung ausdrücklich und stellte fest: "We no longer support that. People can run ollama next to WIS." Betrachten Sie WIS nur als ASR-/TTS-Server und kombinieren Sie es mit einem separaten Tool wie Ollama für allgemeine Textgenerierung.
Fehler 2: Annehmen, jede GPU reiche aus
Willow Inference Server ist um CUDA-fähige NVIDIA-GPUs herum gebaut und dokumentiert. Es gibt keine dokumentierte AMD-GPU-spezifische Optimierung oder einen Apple-Silicon-Build — Apple-Silicon-Nutzer sollten stattdessen Whisper-basierte Alternativen betrachten, die für diese Hardware konzipiert sind, etwa MacWhisper.
Fehler 3: Annehmen, von einem selbst gehosteten Server verarbeitetes Audio sei automatisch durchgehend privat
Der Betrieb von Willow Inference Server auf Ihrer eigenen Hardware hält Ihre Sprachdaten standardmäßig von einer Cloud-API Dritter fern, da Transkription und Synthese auf von Ihnen kontrollierter Infrastruktur ablaufen. Diese Garantie gilt speziell für Ihre eigene selbst gehostete Bereitstellung — wenn Sie stattdessen ein Willow-Gerät auf Toveras gehosteten Beispiel-Server richten oder eine andere netzwerkverbundene Integration hinzufügen, verlässt Ihr Audio an diesem Punkt Ihre eigene Hardware. Prüfen Sie den Datenfluss Ihrer konkreten Bereitstellung, statt anzunehmen, dass "selbst gehostete Software" und "vollständig privat" automatisch dasselbe sind.
Fehler 4: Eine kontinuierliche Release-Kadenz erwarten
Die Commit-Historie von Willow Inference Server zeigt mehrmonatige Lücken zwischen Aktivitäten — etwa rund 14 Monate ohne öffentliche Commits zwischen April 2024 und Juni 2025. Das ist normal für ein von der Community getragenes Projekt, aber planen Sie damit, falls Ihre Bereitstellung garantiert zeitnahe Fehlerbehebungen benötigt.
Häufig gestellte Fragen
Was ist Willow Inference Server?
Willow Inference Server (WIS, github.com/toverainc/willow-inference-server) ist ein kostenloser, quelloffener, selbst gehosteter Server, der Whisper-basierte Spracherkennung und Text-zu-Sprache ausführt, erreichbar über WebRTC, REST und WebSockets. Er wurde von Tovera als Backend für das Sprachassistenz-Hardware-Projekt Willow entwickelt.
Ist Willow Inference Server kostenlos?
Ja. Das GitHub-Repository hat keine Preisseite, und die LICENSE.md-Datei ist die Apache License 2.0, die für die gesamte Anwendung ohne kostenpflichtige Stufe gilt. Sie müssen weiterhin Ihre eigene GPU-Hardware stellen und bezahlen, um es zu betreiben.
Unterstützt Willow Inference Server LLM-/Chat-Inferenz?
Nein, zum Zeitpunkt dieser Review nicht. Ein Commit im Februar 2026 entfernte die allgemeine LLM-/Chat-Unterstützung aus dem Projekt, wobei die Maintainer feststellten: "We no longer support that. People can run ollama next to WIS." Willow Inference Server ist derzeit ein reiner ASR-/TTS-Server.
Welche GPU benötigt Willow Inference Server?
Eine CUDA-fähige NVIDIA-GPU. Das Projekt dokumentiert eine GTX 1060 3 GB als praktisches Minimum, mit etwa 6 GB VRAM empfohlen, um alle drei Standard-Whisper-Modellgrößen (base, medium, large-v2) zusammen mit TTS auszuführen. Ein Nur-CPU-Docker-Compose-Pfad existiert, ist aber laut Dokumentation deutlich langsamer.
Wie installiere ich Willow Inference Server?
Klonen Sie das GitHub-Repository und führen Sie docker compose up mit der bereitgestellten docker-compose.yml für die GPU-Bereitstellung aus, oder docker compose -f docker-compose-cpu.yml up für den Nur-CPU-Pfad. Prüfen Sie das Repository direkt auf aktuelle Anweisungen, bevor Sie installieren, da sich diese zwischen Commits ändern können.
Wird Willow Inference Server aktiv gepflegt?
Die Commit-Historie zeigt Aktivitätsschübe, getrennt durch mehrmonatige Lücken, statt kontinuierlicher Entwicklung — etwa rund 14 Monate ohne öffentliche Commits zwischen April 2024 und Juni 2025. Zum Zeitpunkt dieser Review stammt der jüngste Commit auf dem Main-Branch vom Februar 2026, und das Repository hat keine getaggten Releases. Es ist nicht archiviert, aber dies ist ein kleineres, von der Community getragenes Projekt statt eines mit kontinuierlicher Release-Kadenz.
Wie verhalten sich Willow Inference Server und Willow zueinander?
Willow ist ein separates quelloffenes Sprachassistenz-Hardware-/Firmware-Projekt, ebenfalls von Tovera gepflegt. Willow Inference Server ist die Backend-Software, die Sprache für Willow-Geräte verarbeitet, kann aber auch eigenständig für andere Sprache-zu-Text- oder Text-zu-Sprache-Anwendungsfälle laufen.
Kann Willow Inference Server eine individuelle Stimme für TTS klonen?
Ja. Die gebündelte XTTS-basierte TTS-Pipeline unterstützt laut Projektdokumentation die Erstellung eines individuellen Stimmprofils aus einer relativ kurzen Beispielaufnahme.
Welche Lizenz verwendet Willow Inference Server?
Die Apache License, Version 2.0, laut der offiziellen LICENSE.md-Datei — permissiv, mit einer Patentgewährung und ohne Pflicht, eigene Änderungen quelloffen zu veröffentlichen.
Unterstützt Willow Inference Server Echtzeit-Streaming?
Ja, über WebRTC, das das Projekt speziell für latenzarme Echtzeit-Audio-Anwendungsfälle wie einen kontinuierlich auf Befehle lauschenden Sprachassistenten gebaut hat. REST- und WebSocket-Endpunkte sind ebenfalls für nicht-streamende oder einfachere Integrationen verfügbar.