2026年构建完全离线语音助手：Whisper + LLM + Piper（逐步指南）

快速事实

• STT层： whisper.cpp（Apple Silicon和嵌入式设备最佳选择）或faster-whisper（NVIDIA GPU Python流水线最佳选择）。
• LLM层： Ollama + Llama 3.1 8B（推荐）、Phi-4（更轻量，质量好）或Mistral 7B（与Llama 3.1 8B质量相当）。
• TTS层： Piper（最快，纯CPU，Pi上实时运行）、Coqui TTS（质量更好，需要GPU）。
• 唤醒词选项： OpenWakeWord（MIT，完全离线）、Porcupine（免费套餐，1个自定义唤醒词）。
• 最低硬件： Raspberry Pi 5（8 GB RAM，~$100）延迟5–8秒。
• 推荐硬件： Mac Mini M5 24 GB（~$600）或RTX 3060 12 GB台式机（~$800）延迟1–2秒。
• 语言支持： Whisper支持99种语言。Piper提供20+语言语音包。LLM语言性能因模型而异。

为何构建本地语音助手？

• 隐私： 音频不离开您的家。无唤醒词音频存储在云端。服务器上无会话历史。对医疗工作者、律师、记者和任何有敏感工作的人至关重要。
• 成本： 无订阅费。Alexa+每月$4.99，Google One每月$1.99–$9.99。本地助手只有一次性硬件成本。
• 自定义： 选择唤醒词、个性、系统提示词和功能。添加自定义命令，连接本地家庭自动化系统，与本地API集成。
• 离线运行： 无需网络即可工作。停电（配UPS）+ 断网：本地助手仍然运行。适用于山间小屋、偏远地区和应急准备。
• 放弃的功能： 网络搜索、与专有云的智能家居集成、与云服务的日历同步，以及让Alexa/Siri在边缘情况下表现流畅的多年RLHF调优积累。

三层架构

• 第1层 — STT（语音识别）： whisper.cpp或faster-whisper。将麦克风音频转换为文本。离线运行，无需网络。
• 第2层 — LLM（推理）： 提供Llama 3.1 8B、Phi-4或Mistral 7B的Ollama。接收转写文本 + 会话历史 + 系统提示词并生成响应。离线运行，无需网络。
• 第3层 — TTS（文字转语音）： Piper或Coqui TTS。将LLM响应文本转换为音频并通过扬声器播放。离线运行，无需网络。
• 编排器： 连接三者的Python脚本：从麦克风采集音频 → 传给STT → 将转写结果传给LLM → 将响应传给TTS → 播放音频。
• 可选唤醒词： 持续运行的轻量检测器（OpenWakeWord、Porcupine），仅在检测到唤醒词时触发完整流水线。没有它，编排器将持续运行whisper.cpp — 消耗更多CPU/GPU并产生更多误触发。

硬件要求

步骤1：设置语音识别

• 安装whisper.cpp： git clone https://github.com/ggerganov/whisper.cpp && cd whisper.cpp && make -j4
• 下载模型： bash ./models/download-ggml-model.sh small（small = WER 3.4%，速度与精度的良好平衡）
• 测试转写： ./main -m models/ggml-small.bin -f test.wav — 应产生准确的文本输出。
• 在Mac上启用Metal： make -j4 WHISPER_COREML=1 然后 bash models/generate-coreml-model.sh small
• Whisper模型选择： Raspberry Pi用base（1 GB RAM，低延迟），均衡选择用small（2 GB RAM，WER 3.4%），最高精度用large-v3（需10 GB显存/内存）。
• 配置静音抑制： 添加--no-speech-threshold 0.6 --suppress-blank标志，避免将静音转写为幻觉文本。
• 用10秒录音测试： 录制测试短语，验证Whisper准确转写。检查噪音和安静语音两种条件。

步骤2：设置本地LLM

• 安装Ollama： 从ollama.com下载。支持macOS、Linux和Windows。2分钟内完成安装。
• 拉取模型： ollama pull llama3.1:8b（推荐）或ollama pull phi4（更轻量，适合16 GB RAM系统）。
• 测试： ollama run llama3.1:8b "What is the capital of France?" — 验证响应准确且快速。
• 语音系统提示词： 使用简短、指令性的系统提示词："你是一个有用的语音助手。保持回答简洁 — 最多1–3句话。不要使用列表、Markdown或格式。像对话一样自然地说话。"
• 温度： 将温度设置为0.3–0.5以获得更可预测、更符合事实的响应。较低的温度减少语音响应中的幻觉。
• 最大token数： 用--num-predict 150限制响应长度 — 长响应增加TTS时间，在语音交互中显得不自然。

步骤3：设置文字转语音

• 安装Piper： pip install piper-tts
• 下载语音： piper --download-dir voices --update-voices --voice en_US-lessac-medium（或从Hugging Face的Piper voices页面获取任意语音）。
• 测试： echo "Hello, how can I help you today?" | piper --model voices/en_US-lessac-medium.onnx --output-raw | aplay -r 22050 -f S16_LE -c 1
• 音频输出： Piper输出原始PCM或WAV。管道至aplay（Linux）、afplay（Mac），或使用sounddevice Python库实现跨平台播放。
• 替代方案（更高质量）： Coqui VITS后端 — 安装pip install TTS，使用tts --model_name tts_models/en/vctk/vits。需要约2 GB显存；比Piper慢2–3倍但音质明显更自然。
• 语音选择： 语音助手选择中等质量语音而非高质量 — 中等质量速度更快，通过扬声器播放时差异可忽略不计。

步骤4：连接流水线

#!/usr/bin/env python3
"""Minimal offline voice assistant: Whisper STT + Ollama LLM + Piper TTS."""

import subprocess
import tempfile
import sounddevice as sd
import soundfile as sf
import numpy as np
import requests
import json

SAMPLE_RATE = 16000
RECORD_SECONDS = 5
OLLAMA_URL = "http://localhost:11434/api/generate"
WHISPER_BIN = "./whisper.cpp/main"
WHISPER_MODEL = "./whisper.cpp/models/ggml-small.bin"
PIPER_BIN = "piper"
PIPER_VOICE = "voices/en_US-lessac-medium.onnx"
SYSTEM_PROMPT = (
    "You are a helpful voice assistant. Keep responses to 1-3 sentences. "
    "Never use markdown, bullet points, or formatting. Speak naturally."
)

conversation_history = []

def record_audio(seconds: int = RECORD_SECONDS) -> np.ndarray:
    print("Listening...")
    audio = sd.rec(int(seconds * SAMPLE_RATE), samplerate=SAMPLE_RATE, channels=1, dtype="int16")
    sd.wait()
    return audio

def transcribe(audio: np.ndarray) -> str:
    with tempfile.NamedTemporaryFile(suffix=".wav", delete=False) as f:
        sf.write(f.name, audio, SAMPLE_RATE)
        result = subprocess.run(
            [WHISPER_BIN, "-m", WHISPER_MODEL, "-f", f.name, "--no-timestamps", "--no-prints"],
            capture_output=True, text=True
        )
    return result.stdout.strip()

def ask_llm(text: str) -> str:
    conversation_history.append({"role": "user", "content": text})
    response = requests.post(OLLAMA_URL, json={
        "model": "llama3.1:8b",
        "system": SYSTEM_PROMPT,
        "messages": conversation_history,
        "stream": False,
    })
    reply = response.json()["message"]["content"]
    conversation_history.append({"role": "assistant", "content": reply})
    return reply

def speak(text: str) -> None:
    with tempfile.NamedTemporaryFile(suffix=".wav", delete=False) as f:
        subprocess.run(
            f'echo "{text}" | {PIPER_BIN} --model {PIPER_VOICE} --output_file {f.name}',
            shell=True, check=True
        )
        data, sr = sf.read(f.name)
        sd.play(data, sr)
        sd.wait()

def main():
    print("Voice assistant ready. Press Ctrl+C to stop.")
    while True:
        audio = record_audio()
        transcript = transcribe(audio)
        if not transcript or len(transcript) < 3:
            continue
        print(f"You: {transcript}")
        response = ask_llm(transcript)
        print(f"Assistant: {response}")
        speak(response)

if __name__ == "__main__":
    main()

步骤5：唤醒词检测

• OpenWakeWord（MIT许可证）： 完全开源，在CPU上运行，支持通过微调自定义唤醒词短语。安装：pip install openwakeword。在Raspberry Pi上运行。完全离线开源配置的最佳选择。
• Porcupine（Picovoice）： 专有但个人使用有免费套餐。预置唤醒词包括"Alexa"、"Hey Siri"、"Ok Google"和"Hey Jarvis"等自定义选项。准确率高，误触发率低。安装：pip install pvporcupine。
• 集成模式： 在循环中运行OpenWakeWord/Porcupine。检测到唤醒词时播放"叮"声（用户反馈），然后为单次查询触发Whisper + LLM + TTS流水线。TTS播放后返回唤醒词监听。
• 常时运行功耗： 唤醒词检测在Raspberry Pi 5上使用约2–5% CPU — 可忽略不计。可以以最低功耗全天候运行助手。
• 自定义唤醒词（OpenWakeWord）： 用文字转语音生成唤醒短语的500个正样本和500个负样本音频，然后在CPU上用不到30分钟微调OpenWakeWord。常见英语单词的准确率与Porcupine相当。

延迟优化

• STT优化（约0.2–0.5秒）： 使用Whisper small而非large-v3。在传给Whisper前用VAD剪除静音 — 更短的音频 = 更快的转写。
• LLM优化（首token约0.5–1.5秒）： 启动时预加载模型（Ollama自动完成）。使用Q4_K_M量化获得最佳速度/质量平衡。用--num-predict 100–150限制响应长度。
• 流式LLM → TTS： 逐token流式传输LLM输出。在每个完整句子（句号/问号结尾检测）开始TTS。这将感知延迟减少0.3–0.7秒 — 用户在LLM仍在生成结尾时就开始听到答案开头。
• TTS优化（约0.1–0.3秒）： Piper在50ms内生成首段音频。启动时预初始化Piper。使用--output-raw在生成时流式传输音频而非等待完整文件。
• 保持模型在内存中： Ollama自动将模型保持在显存中预热状态。流模式加载的whisper.cpp保持在内存中。避免在查询之间重新加载模型。
• 各硬件配置目标延迟： Pi 5：5–8秒（非对话式可接受）。迷你主机CPU：3–5秒（对话式临界值）。台式机GPU：1–2秒（自然流畅）。Mac M5：1–1.5秒（优秀）。

隐私与安全

• 用Wireshark验证： 在与助手对话时在网络接口上运行Wireshark。应看到来自助手进程的零数据包。任何意外流量表明配置有误 — 如果您有公网IP，检查Ollama的外部API是否已禁用。
• 无音频存储： whisper.cpp和faster-whisper默认不写入音频文件 — 在内存中处理。本指南中的Python编排器为whisper.cpp写入临时WAV文件，转写后删除。
• 无会话历史存储： 示例脚本中的会话历史仅在内存中，重启时重置。如需持久历史，使用本地数据库和静态加密实现显式存储。
• 合规性： 因所有处理在本地进行且数据不离开网络，内部使用的本地语音助手无需数据处理协议。与第三方无数据控制者/处理者关系。中国《数据安全法》（2021年）要求对重要数据进行分级分类管理，医疗、法律、金融等敏感语音数据在本地处理可有效避免跨境数据传输合规风险。
• 网络隔离： 为最大化隐私，添加防火墙规则阻止来自助手进程的出站流量。Ollama和whisper.cpp在模型下载后不需要网络访问，可正常运行。

常见问题

参考资料

• GitHub上的whisper.cpp — 源码、构建说明、流模式文档。
• ollama.com上的Ollama — 安装、模型库、API参考。
• GitHub上的Piper TTS — 源码、语音包下载、Raspberry Pi配置指南。
• GitHub上的OpenWakeWord — 源码、自定义唤醒词训练指南、支持的架构。
• Picovoice的Porcupine — 唤醒词SDK、免费套餐条款、Python SDK文档。
• Picovoice Console — 为Porcupine个人使用创建免费套餐API密钥。

相关阅读

• 本地语音识别2026：Whisper.cpp vs faster-whisper — 此流水线STT层的深度解析。
• 本地TTS与语音克隆2026：Piper vs Coqui vs XTTS v2 — TTS层与语音克隆选项的深度解析。
• 本地多模态AI流水线2026 — 为此语音流水线添加视觉模型支持。
• 如何安装Ollama — Ollama安装与模型管理。
• 本地LLM硬件指南2026 — 完整语音 + LLM流水线的硬件选型。
• 在手机上构建本地语音助手 — 本指南的移动版（iPhone + Android）。