完全オフライン音声アシスタントを2026年に構築：Whisper + LLM + Piper（ステップバイステップ）

概要

• STTレイヤー： whisper.cpp（Apple Siliconと組み込みに最適）またはfaster-whisper（NVIDIA GPU Pythonパイプラインに最適）。
• LLMレイヤー： OllamaとLlama 3.1 8B（推奨）、Phi-4（軽量、高品質）、またはMistral 7B（Llama 3.1 8Bと同等の品質）。
• TTSレイヤー： Piper（最速、CPUのみ、Pi上でリアルタイム）、Coqui TTS（高品質、GPU必要）。
• ウェイクワードオプション： OpenWakeWord（MIT、完全オフライン）、Porcupine（無料枠、カスタムウェイクワード1つ）。
• 最小ハードウェア： Raspberry Pi 5（8 GB RAM、約¥14,800）で5〜8秒レイテンシ。
• 推奨ハードウェア： Mac Mini M5 24 GB（約¥88,800）またはRTX 3060 12 GB搭載デスクトップ（約¥130,000）で1〜2秒レイテンシ。
• 言語： Whisperは99言語に対応。Piperは20以上の言語音声パックを提供。LLMの言語性能はモデルによって異なります。

なぜローカル音声アシスタントを構築するのか？

• プライバシー： 音声が自宅外に出ません。クラウドにウェイクワード音声は保存されません。サードパーティのサーバーに会話履歴はありません。医療従事者、弁護士、ジャーナリスト、機密業務を持つすべての人に重要です。
• コスト： サブスクリプション不要。Alexa+（旧Alexa Premium）は月額$4.99、Google Oneは月額$1.99〜$9.99かかります。ローカルアシスタントは一回きりのハードウェアコストです。
• カスタマイズ： ウェイクワード、個性、システムプロンプト、機能を選択できます。カスタムコマンドを追加し、ローカルホームオートメーションシステムに接続し、ローカルAPIと統合できます。
• オフライン動作： インターネットなしで動作します。停電（UPSあり）＋インターネット障害でもローカルアシスタントは動き続けます。山小屋、遠隔地、緊急時対策に有用です。
• 失うもの： ウェブ検索、独自クラウドを使うスマートホーム統合、クラウドサービスとのカレンダー同期、AlexaやSiriのエッジケースを滑らかにしているRLHFチューニングの積み重ね。

三層アーキテクチャ

• レイヤー1 — STT（音声認識）： whisper.cppまたはfaster-whisper。マイク音声をテキストに変換します。オフラインで動作し、ネットワーク不要です。
• レイヤー2 — LLM（推論）： Llama 3.1 8B、Phi-4、またはMistral 7Bを提供するOllama。転写されたテキスト＋会話履歴＋システムプロンプトを受け取り、応答を生成します。オフラインで動作し、ネットワーク不要です。
• レイヤー3 — TTS（テキスト読み上げ）： PiperまたはCoqui TTS。LLMの応答テキストを音声に変換し、スピーカーから再生します。オフラインで動作し、ネットワーク不要です。
• オーケストレーター： 3つを接続するPythonスクリプト：マイクから音声をキャプチャ → STTに渡す → LLMに転写結果を渡す → TTSに応答を渡す → 音声を再生。
• オプションのウェイクワード： 選択したフレーズが検出された場合のみフルパイプラインをトリガーする軽量の常時動作検出器（OpenWakeWord、Porcupine）。これがないと、オーケストレーターはwhisper.cppを継続的に実行し、CPUやGPUを消費し、バックグラウンドノイズによる誤検知が増えます。

ハードウェア要件

ステップ1：音声認識のセットアップ

• whisper.cppのインストール： git clone https://github.com/ggerganov/whisper.cpp && cd whisper.cpp && make -j4
• モデルのダウンロード： bash ./models/download-ggml-model.sh small（small = WER 3.4%、速度と精度のバランスが良い）
• 転写のテスト： ./main -m models/ggml-small.bin -f test.wav — 正確なテキスト出力が得られるはずです。
• MacでMetalを有効化： make -j4 WHISPER_COREML=1 後に bash models/generate-coreml-model.sh small
• Whisperモデルの選択： Raspberry PiにはWhisper base（1 GB RAM、低レイテンシ）、バランス重視にはsmall（2 GB RAM、WER 3.4%）、最高精度にはlarge-v3（VRAM/RAM 10 GB必要）。
• 無音抑制の設定： 無音をハルシネーションとして転写しないよう--no-speech-threshold 0.6 --suppress-blankフラグを追加します。
• 10秒録音でのテスト： テストフレーズを録音し、Whisperが正確に転写することを確認します。ノイズ条件と静かな音声の両方を確認してください。

ステップ2：ローカルLLMのセットアップ

• Ollamaのインストール： ollama.comからダウンロードします。macOS、Linux、Windows対応。2分以内にインストール完了。
• モデルの取得： ollama pull llama3.1:8b（推奨）またはollama pull phi4（軽量、16 GB RAMシステムに最適）。
• テスト： ollama run llama3.1:8b "What is the capital of France?" — 応答が正確で高速であることを確認します。
• 音声用システムプロンプト： 短くて指示的なシステムプロンプトを使用します：「あなたは役立つ音声アシスタントです。応答は簡潔に — 最大1〜3文。箇条書き、マークダウン、書式は使用しないでください。会話のように自然に話してください。」
• 温度： より予測可能で事実に基づく応答のために温度を0.3〜0.5に設定します。低い温度は音声応答のハルシネーションを減らします。
• 最大トークン数： --num-predict 150で応答長を制限します。長い応答はTTS時間を増やし、音声インタラクションでは不自然に感じます。

ステップ3：テキスト読み上げのセットアップ

• Piperのインストール： pip install piper-tts
• 音声のダウンロード： piper --download-dir voices --update-voices --voice en_US-lessac-medium（またはHugging FaceのPiper voicesページから任意の音声）。
• テスト： echo "Hello, how can I help you today?" | piper --model voices/en_US-lessac-medium.onnx --output-raw | aplay -r 22050 -f S16_LE -c 1
• 音声出力： PiperはPCMまたはWAVを出力します。aplay（Linux）、afplay（Mac）にパイプするか、クロスプラットフォーム再生にはsounddevicePythonライブラリを使用します。
• 代替（高品質）： Coqui VITSバックエンド — pip install TTSをインストールし、tts --model_name tts_models/en/vctk/vitsを使用します。約2 GB VRAMが必要で、Piperより2〜3倍遅いですが、明らかに自然な音声です。
• 音声選択： 音声アシスタントには、高品質よりも中品質の音声を選んでください。中品質の音声は高速で、スピーカーからの品質差は無視できます。

ステップ4：パイプラインの接続

#!/usr/bin/env python3
"""Minimal offline voice assistant: Whisper STT + Ollama LLM + Piper TTS."""

import subprocess
import tempfile
import sounddevice as sd
import soundfile as sf
import numpy as np
import requests
import json

SAMPLE_RATE = 16000
RECORD_SECONDS = 5
OLLAMA_URL = "http://localhost:11434/api/generate"
WHISPER_BIN = "./whisper.cpp/main"
WHISPER_MODEL = "./whisper.cpp/models/ggml-small.bin"
PIPER_BIN = "piper"
PIPER_VOICE = "voices/en_US-lessac-medium.onnx"
SYSTEM_PROMPT = (
    "You are a helpful voice assistant. Keep responses to 1-3 sentences. "
    "Never use markdown, bullet points, or formatting. Speak naturally."
)

conversation_history = []

def record_audio(seconds: int = RECORD_SECONDS) -> np.ndarray:
    print("Listening...")
    audio = sd.rec(int(seconds * SAMPLE_RATE), samplerate=SAMPLE_RATE, channels=1, dtype="int16")
    sd.wait()
    return audio

def transcribe(audio: np.ndarray) -> str:
    with tempfile.NamedTemporaryFile(suffix=".wav", delete=False) as f:
        sf.write(f.name, audio, SAMPLE_RATE)
        result = subprocess.run(
            [WHISPER_BIN, "-m", WHISPER_MODEL, "-f", f.name, "--no-timestamps", "--no-prints"],
            capture_output=True, text=True
        )
    return result.stdout.strip()

def ask_llm(text: str) -> str:
    conversation_history.append({"role": "user", "content": text})
    response = requests.post(OLLAMA_URL, json={
        "model": "llama3.1:8b",
        "system": SYSTEM_PROMPT,
        "messages": conversation_history,
        "stream": False,
    })
    reply = response.json()["message"]["content"]
    conversation_history.append({"role": "assistant", "content": reply})
    return reply

def speak(text: str) -> None:
    with tempfile.NamedTemporaryFile(suffix=".wav", delete=False) as f:
        subprocess.run(
            f'echo "{text}" | {PIPER_BIN} --model {PIPER_VOICE} --output_file {f.name}',
            shell=True, check=True
        )
        data, sr = sf.read(f.name)
        sd.play(data, sr)
        sd.wait()

def main():
    print("Voice assistant ready. Press Ctrl+C to stop.")
    while True:
        audio = record_audio()
        transcript = transcribe(audio)
        if not transcript or len(transcript) < 3:
            continue
        print(f"You: {transcript}")
        response = ask_llm(transcript)
        print(f"Assistant: {response}")
        speak(response)

if __name__ == "__main__":
    main()

ステップ5：ウェイクワード検出

• OpenWakeWord（MITライセンス）： 完全なオープンソース、CPU上で動作、カスタムフレーズのファインチューニングによるカスタムウェイクワードに対応。インストール：pip install openwakeword。Raspberry Piでも動作。完全オフラインでオープンソースのセットアップに最適です。
• Porcupine（Picovoice）： 独自仕様ですが個人使用の無料枠あり。定義済みウェイクワードには「Alexa」「Hey Siri」「Ok Google」、「Hey Jarvis」などのカスタムオプションが含まれます。精度が高く誤検知率が低い。インストール：pip install pvporcupine。
• 統合パターン： OpenWakeWord/Porcupineをループで実行します。ウェイクワードが検出されたら「ディン」音（ユーザーフィードバック）を鳴らし、Whisper + LLM + TTSパイプラインを1つのクエリ用にトリガーします。TTS再生後、ウェイクワード待機に戻ります。
• 常時稼働電力： ウェイクワード検出はRaspberry Pi 5でCPUの約2〜5%を使用し、無視できる程度です。最小限の消費電力でアシスタントを24時間365日稼働させることができます。
• カスタムウェイクワード（OpenWakeWord）： テキスト読み上げを使ってウェイクフレーズの500のポジティブと500のネガティブ音声サンプルを生成し、CPU上で30分未満でOpenWakeWordをファインチューニングします。一般的な英語単語ではPorcupineと同等の精度が得られます。

レイテンシ最適化

• STT最適化（約0.2〜0.5秒）： large-v3の代わりにWhisper smallを使用します。無音をトリムしてからWhisperに渡すためにVADを使用します。短い音声 = 高速な転写。
• LLM最適化（初回トークン約0.5〜1.5秒）： 起動時にモデルをプリロードします（Ollamaは自動的に行います）。速度と品質のベストバランスにはQ4_K_M量子化を使用します。応答長を制限するには--num-predict 100〜150を設定します。
• ストリーミングLLM → TTS： LLMの出力をトークンごとにストリーミングします。完成した各文（ピリオドや疑問符の終わりで検出）でTTSを開始します。これにより知覚されるレイテンシが0.3〜0.7秒削減されます。LLMが残りを生成している間にユーザーは答えの最初を聞き始めます。
• TTS最適化（約0.1〜0.3秒）： Piperは50ms以内に最初の音声を生成します。起動時にPiperを事前初期化します。完全なファイルを待つのではなく、生成しながら音声をストリーミングするために--output-rawを使用します。
• モデルをメモリに保持： OllamaはVRAM内のモデルを自動的にウォーム状態に保ちます。ストリームモードで読み込まれたwhisper.cppはメモリに残ります。クエリ間でのモデルリロードを避けます。
• ハードウェア構成別の目標レイテンシ： Pi 5：5〜8秒（会話型以外では許容範囲）。ミニPC CPU：3〜5秒（会話型の境界線）。デスクトップGPU：1〜2秒（自然な感じ）。Mac M5：1〜1.5秒（優秀）。

プライバシーとセキュリティ

• Wiresharkで確認： アシスタントとの会話中にネットワークインターフェイスでWiresharkを実行します。アシスタントプロセスからのパケットがゼロであることを確認してください。予期しないトラフィックは設定ミスを示します。パブリックIPを持つ場合は、OllamaのextternalAPIが無効化されていることを確認してください。
• 音声の保存なし： whisper.cppもfaster-whisperも、デフォルトでは音声ファイルを書き込みません。メモリで処理します。このガイドのPythonオーケストレーターは、whisper.cpp用に一時的なWAVファイルを書き込みますが、転写後に削除されます。
• 会話履歴の保存なし： サンプルスクリプトの会話履歴はメモリのみで、再起動するとリセットされます。永続的な履歴には、ローカルデータベースと保存時の暗号化を使った明示的なストレージを実装してください。
• プライバシーコンプライアンス： すべての処理がローカルで行われ、データがネットワーク外に出ないため、内部使用のローカル音声アシスタントにはデータ処理契約が不要です。サードパーティとのデータ管理者/処理者関係はありません。経済産業省（METI）のAIガバナンスガイドラインは、医療・法律・金融などの機密データに対してローカル処理を推奨しています。
• ネットワーク分離： 最大のプライバシーのために、アシスタントプロセスからのアウトバウンドトラフィックをブロックするファイアウォールルールを追加します。OllamaとWhisper.cppはモデルダウンロード後はネットワークアクセスが不要なため、正常に機能します。

よくある質問

参考文献

• GitHubのwhisper.cpp — ソースコード、ビルド手順、ストリームモードドキュメント。
• ollama.comのOllama — インストール、モデルライブラリ、APIリファレンス。
• GitHubのPiper TTS — ソースコード、音声パックダウンロード、Raspberry Piセットアップガイド。
• GitHubのOpenWakeWord — ソースコード、カスタムウェイクワードトレーニングガイド、サポートアーキテクチャ。
• PicovoiceのPorcupine — ウェイクワードSDK、無料枠の条件、Python SDKドキュメント。
• Picovoice Console — Porcupine個人使用の無料枠APIキーを作成。

関連記事

• ローカル音声認識2026：Whisper.cpp vs faster-whisper — このパイプラインのSTTレイヤーの詳細解説。
• ローカルTTSと音声クローニング2026：Piper vs Coqui vs XTTS v2 — TTSレイヤーと音声クローニングオプションの詳細解説。
• ローカルマルチモーダルAIパイプライン2026 — この音声パイプラインをビジョンモデルサポートで拡張。
• Ollamaのインストール方法 — Ollamaのインストールとモデル管理。
• ローカルLLMハードウェアガイド2026 — 音声 + LLMパイプライン全体のハードウェア選択。
• スマートフォンでローカル音声アシスタントを構築 — このガイドのモバイル版（iPhone + Android）。