2026년 완전 오프라인 음성 어시스턴트 만들기: Whisper + LLM + Piper (단계별 가이드)

빠른 사실

• STT 레이어: whisper.cpp(Apple Silicon 및 임베디드 하드웨어에 최적), faster-whisper(NVIDIA GPU가 있는 Python 파이프라인에 최적).
• LLM 레이어: Ollama + Llama 3.3 8B(권장), Phi-4(더 가볍고 좋은 품질) 또는 Mistral Small(Llama 3.3 8B와 비슷한 품질).
• TTS 레이어: Piper(더 빠름, CPU만, Pi에서 실시간), Coqui TTS(더 좋은 품질, GPU 필요).
• 웨이크 워드 옵션: OpenWakeWord(MIT, 완전 오프라인), Porcupine(무료 티어, 사용자 정의 웨이크 워드 1개).
• 최소 하드웨어: 8 GB RAM의 Raspberry Pi 5(~$100), 5–8초 지연시간.
• 권장 하드웨어: Mac Mini M5 24 GB(~$600) 또는 RTX 3060 12 GB가 있는 데스크톱(~$800), 1–2초 지연시간.
• 언어: Whisper는 99개 언어를 지원합니다. Piper는 20개 이상의 음성 팩을 지원합니다. LLM 성능은 언어에 따라 다릅니다.

로컬 음성 어시스턴트를 만드는 이유

• 프라이버시: 오디오가 집을 떠나지 않습니다. 클라우드에 웨이크 워드 오디오 저장 없음. 제3자 서버에 대화 기록 없음. 의료 전문가, 변호사, 저널리스트, 민감한 업무를 하는 모든 사람에게 필수적입니다.
• 비용: 구독 없음. Alexa+는 월 $4.99입니다. Google One은 월 $1.99–$9.99입니다. 로컬 어시스턴트는 하드웨어 일회성 비용입니다.
• 사용자 정의: 웨이크 워드, 개성, 시스템 프롬프트, 기능을 선택하십시오. 사용자 정의 명령 추가, 로컬 스마트 홈 시스템 연결, 로컬 API 통합이 가능합니다.
• 오프라인 작동: 인터넷 없이 작동합니다. 정전(UPS 포함) + 인터넷 중단: 로컬 어시스턴트는 계속 작동합니다. 오두막, 원격 지역, 비상 대비에 유용합니다.
• 잃는 것: 웹 검색, 독점 클라우드 스마트 홈 통합, 클라우드 서비스와의 캘린더 동기화, 그리고 Alexa/Siri가 엣지 케이스에서 유연하게 만드는 수년간의 RLHF 조정.
• 스마트 홈 통합: 로컬 음성 어시스턴트를 Home Assistant에 직접 연결하여 완전히 오프라인으로 음성으로 조명, 온도 조절기, 센서를 제어하십시오. 전체 Piper + Whisper + Home Assistant 설정 가이드는 스마트 홈용 로컬 음성 어시스턴트 →를 참조하십시오.

3레이어 아키텍처

• 레이어 1 — STT(음성 인식): whisper.cpp 또는 faster-whisper. 마이크 오디오를 텍스트로 변환합니다. 오프라인, 네트워크 없이 작동.
• 레이어 2 — LLM(추론): Ollama가 Llama 3.3 8B, Phi-4 또는 Mistral Small을 서빙합니다. 전사된 텍스트 + 대화 기록 + 시스템 프롬프트를 받아 응답을 생성합니다. 오프라인, 네트워크 없이 작동.
• 레이어 3 — TTS(음성 합성): Piper 또는 Coqui TTS. LLM의 응답 텍스트를 오디오로 변환하고 스피커로 재생합니다. 오프라인, 네트워크 없이 작동.
• 오케스트레이터: 세 가지를 연결하는 Python 스크립트: 마이크 오디오 캡처 → STT 전달 → 전사본을 LLM에 전달 → 응답을 TTS에 전달 → 오디오 재생.
• 선택적 웨이크 워드: 항상 활성화된 경량 감지기(OpenWakeWord, Porcupine)로 활성화 구문이 감지될 때만 전체 파이프라인을 트리거합니다. 이 없이는 오케스트레이터가 whisper.cpp를 지속적으로 실행하여 더 많은 CPU를 소비하고 더 많은 오탐이 발생합니다.

하드웨어 요구사항

1단계: 음성 인식 설정

• whisper.cpp 설치: git clone https://github.com/ggerganov/whisper.cpp && cd whisper.cpp && make -j4
• 모델 다운로드: bash ./models/download-ggml-model.sh small (small = 3.4% WER, 속도와 정확도의 좋은 균형)
• 전사 테스트: ./main -m models/ggml-small.bin -f test.wav — 정확한 텍스트 출력이 생성되어야 합니다.
• Mac에서 Metal 활성화: make -j4 WHISPER_COREML=1 후 bash models/generate-coreml-model.sh small
• Whisper 모델 선택: Raspberry Pi에는 base(1 GB RAM, 낮은 지연시간), 최적 균형에는 small(2 GB RAM, 3.4% WER), 최대 정확도에는 large-v3(10 GB VRAM/RAM).
• 침묵 억제 설정: 침묵을 환각 텍스트로 전사하지 않도록 --no-speech-threshold 0.6 --suppress-blank 플래그를 추가합니다.
• 10초 녹음으로 테스트: 테스트 구문을 녹음하고 Whisper가 올바르게 전사하는지 확인합니다. 소음 환경과 조용한 음성 모두에서 확인하십시오.

2단계: 로컬 LLM 설정

• Ollama 설치: ollama.com에서 다운로드합니다. macOS, Linux, Windows에서 사용 가능합니다. 2분 미만에 설치됩니다.
• 모델 다운로드: ollama pull llama3.1:8b(권장) 또는 ollama pull phi4(16 GB RAM 시스템에 적합한 더 가벼운 모델).
• 테스트: ollama run llama3.1:8b "What is the capital of France?" — 응답이 정확하고 빠른지 확인합니다.
• 음성용 시스템 프롬프트: 짧고 지시적인 시스템 프롬프트를 사용합니다: "당신은 유용한 음성 어시스턴트입니다. 응답을 간결하게 유지하세요 — 최대 1–3문장. 목록, 마크다운, 서식을 사용하지 마세요. 대화처럼 자연스럽게 말하세요."
• 온도: 더 예측 가능하고 사실적인 응답을 위해 온도를 0.3–0.5로 설정합니다. 낮은 온도는 음성 응답에서 환각을 줄입니다.
• 최대 토큰: --num-predict 150으로 응답 길이를 제한합니다 — 긴 응답은 TTS 시간이 더 오래 걸리고 음성 상호작용에서 부자연스럽습니다.

3단계: 음성 합성 설정

• Piper 설치: pip install piper-tts
• 음성 다운로드: piper --download-dir voices --update-voices --voice en_US-lessac-medium (또는 Hugging Face의 Piper 음성 페이지에서 원하는 음성).
• 테스트: echo "Hello, how can I help you today?" | piper --model voices/en_US-lessac-medium.onnx --output-raw | aplay -r 22050 -f S16_LE -c 1
• 오디오 출력: Piper는 원시 PCM 또는 WAV를 생성합니다. aplay(Linux), afplay(Mac)로 리디렉션하거나 크로스 플랫폼 재생을 위해 Python sounddevice 라이브러리를 사용합니다.
• 대안(더 좋은 품질): Coqui VITS 백엔드 — pip install TTS 설치, tts --model_name tts_models/en/vctk/vits 사용. ~2 GB VRAM 필요; Piper보다 2–3× 느리지만 눈에 띄게 더 자연스럽습니다.
• 음성 선택: 음성 어시스턴트의 경우 고품질보다 중간 품질 음성을 선택하십시오 — 중간 음성이 더 빠르고 스피커를 통한 차이는 무시할 수 있습니다.

4단계: 파이프라인 연결

#!/usr/bin/env python3
"""Minimal offline voice assistant: Whisper STT + Ollama LLM + Piper TTS."""

import subprocess
import tempfile
import sounddevice as sd
import soundfile as sf
import numpy as np
import requests
import json

SAMPLE_RATE = 16000
RECORD_SECONDS = 5
OLLAMA_URL = "http://localhost:11434/api/generate"
WHISPER_BIN = "./whisper.cpp/main"
WHISPER_MODEL = "./whisper.cpp/models/ggml-small.bin"
PIPER_BIN = "piper"
PIPER_VOICE = "voices/en_US-lessac-medium.onnx"
SYSTEM_PROMPT = (
    "You are a helpful voice assistant. Keep responses to 1-3 sentences. "
    "Never use markdown, bullet points, or formatting. Speak naturally."
)

conversation_history = []

def record_audio(seconds: int = RECORD_SECONDS) -> np.ndarray:
    print("Listening...")
    audio = sd.rec(int(seconds * SAMPLE_RATE), samplerate=SAMPLE_RATE, channels=1, dtype="int16")
    sd.wait()
    return audio

def transcribe(audio: np.ndarray) -> str:
    with tempfile.NamedTemporaryFile(suffix=".wav", delete=False) as f:
        sf.write(f.name, audio, SAMPLE_RATE)
        result = subprocess.run(
            [WHISPER_BIN, "-m", WHISPER_MODEL, "-f", f.name, "--no-timestamps", "--no-prints"],
            capture_output=True, text=True
        )
    return result.stdout.strip()

def ask_llm(text: str) -> str:
    conversation_history.append({"role": "user", "content": text})
    response = requests.post(OLLAMA_URL, json={
        "model": "llama3.1:8b",
        "system": SYSTEM_PROMPT,
        "messages": conversation_history,
        "stream": False,
    })
    reply = response.json()["message"]["content"]
    conversation_history.append({"role": "assistant", "content": reply})
    return reply

def speak(text: str) -> None:
    with tempfile.NamedTemporaryFile(suffix=".wav", delete=False) as f:
        subprocess.run(
            f'echo "{text}" | {PIPER_BIN} --model {PIPER_VOICE} --output_file {f.name}',
            shell=True, check=True
        )
        data, sr = sf.read(f.name)
        sd.play(data, sr)
        sd.wait()

def main():
    print("Voice assistant ready. Press Ctrl+C to stop.")
    while True:
        audio = record_audio()
        transcript = transcribe(audio)
        if not transcript or len(transcript) < 3:
            continue
        print(f"You: {transcript}")
        response = ask_llm(transcript)
        print(f"Assistant: {response}")
        speak(response)

if __name__ == "__main__":
    main()

5단계: 웨이크 워드 감지

• OpenWakeWord(MIT 라이선스): 완전 오픈소스, CPU에서 작동, 자체 구문으로 파인튜닝을 통한 사용자 정의 웨이크 워드를 지원합니다. 설치: pip install openwakeword. Raspberry Pi에서 작동합니다. 완전 오프라인 오픈소스 설정의 최선 선택.
• Porcupine(Picovoice): 독점이지만 개인 사용에 무료 티어 제공. 미리 정의된 웨이크 워드에는 "Alexa", "Hey Siri", "Ok Google" 및 "Hey Jarvis" 같은 사용자 정의 옵션이 포함됩니다. 낮은 오탐율로 매우 정확합니다. 설치: pip install pvporcupine.
• 통합 패턴: OpenWakeWord/Porcupine을 루프에서 실행합니다. 웨이크 워드가 감지되면 "딩" 소리를 재생하고(사용자 피드백), 하나의 쿼리에 대해 Whisper + LLM + TTS 파이프라인을 활성화하고, TTS 재생 후 웨이크 워드 듣기로 돌아갑니다.
• 지속 작동 전력 소비: 웨이크 워드 감지는 Raspberry Pi 5에서 CPU의 ~2–5%를 사용합니다 — 무시할 수 있는 수준. 최소 전력으로 어시스턴트를 24/7 실행할 수 있습니다.
• 사용자 정의 웨이크 워드(OpenWakeWord): 텍스트 음성 합성을 사용하여 활성화 구문의 양성 오디오 예제 500개와 음성 오디오 예제 500개를 생성한 다음 CPU에서 30분 미만에 OpenWakeWord를 파인튜닝합니다. 정확도는 일반 영어 단어에서 Porcupine과 비슷합니다.

지연시간 최적화

• STT 최적화(~0.2–0.5초): large-v3 대신 Whisper small을 사용합니다. VAD를 사용하여 Whisper에 전달하기 전에 침묵을 잘라냅니다 — 오디오가 짧을수록 전사가 빠릅니다.
• LLM 최적화(~0.5–1.5초 첫 토큰): 시작 시 모델을 미리 로드합니다(Ollama가 자동으로 합니다). 속도와 품질 사이의 최적 균형을 위해 Q4_K_M 양자화를 사용합니다. 응답 길이를 제한하기 위해 --num-predict 100–150을 설정합니다.
• LLM → TTS 스트리밍: LLM 출력을 토큰 단위로 스트리밍합니다. 각 완전한 문장에서(마침표 또는 물음표로 감지) TTS를 시작합니다. 이것은 인지된 지연시간을 0.3–0.7초 줄입니다 — LLM이 끝부분을 계속 생성하는 동안 사용자가 응답의 시작을 듣습니다.
• TTS 최적화(~0.1–0.3초): Piper는 50ms에 첫 오디오를 생성합니다. 시작 시 Piper를 초기화합니다. 전체 파일을 기다리지 않고 오디오가 생성될 때 스트리밍하려면 --output-raw를 사용합니다.
• 모델을 메모리에 유지: Ollama는 자동으로 모델을 VRAM에서 따뜻하게 유지합니다. 스트림 모드에서 로드된 whisper.cpp는 메모리에 유지됩니다. 쿼리 간에 모델 재로드를 피합니다.
• 하드웨어 수준별 목표 지연시간: Pi 5: 5–8초(비대화적 사용에 허용). 미니 PC CPU: 3–5초(대화 한계). 데스크톱 GPU: 1–2초(자연스러움). Mac M5: 1–1.5초(우수).

프라이버시 및 보안

• Wireshark로 확인: 어시스턴트와 대화하는 동안 네트워크 인터페이스에서 Wireshark를 실행합니다. 어시스턴트 프로세스에서 패킷이 나오지 않아야 합니다. 예상치 못한 트래픽은 잘못된 구성을 나타냅니다 — 공인 IP가 있다면 Ollama 외부 API가 비활성화되어 있는지 확인하십시오.
• 오디오 저장 없음: whisper.cpp와 faster-whisper 모두 기본적으로 오디오 파일을 쓰지 않습니다 — 메모리에서 처리합니다. 이 가이드의 Python 오케스트레이터는 whisper.cpp를 위해 임시 WAV 파일을 씁니다. 전사 후 삭제됩니다.
• 대화 기록 저장 없음: 예제 스크립트의 대화 기록은 메모리에만 있으며 프로그램 재시작 시 초기화됩니다. 영구 기록을 위해서는 로컬 데이터베이스와 저장 암호화를 사용하는 명시적인 저장소를 구현하십시오.
• GDPR 준수: 모든 처리가 로컬이고 데이터가 네트워크를 떠나지 않으므로 내부 사용을 위한 로컬 음성 어시스턴트는 데이터 처리 계약이 필요 없습니다. 제3자와의 컨트롤러/프로세서 관계가 없습니다.
• 네트워크 격리: 최대 프라이버시를 위해 어시스턴트 프로세스의 아웃바운드 트래픽을 차단하는 방화벽 규칙을 추가합니다. Ollama와 whisper.cpp는 모델이 다운로드된 후 네트워크 접근이 필요 없으므로 정상적으로 작동합니다.

자주 묻는 질문

출처

• GitHub의 whisper.cpp — 소스 코드, 빌드 지침, 스트림 모드 문서.
• ollama.com의 Ollama — 설치, 모델 라이브러리, API 참조.
• GitHub의 Piper TTS — 소스 코드, 음성 팩 다운로드, Raspberry Pi 설정 가이드.
• GitHub의 OpenWakeWord — 소스 코드, 사용자 정의 웨이크 워드 훈련 가이드, 지원되는 아키텍처.
• Picovoice의 Porcupine — 웨이크 워드 SDK, 무료 티어 조건, Python SDK 문서.
• Picovoice Console — 개인 사용을 위한 Porcupine 무료 API 키 생성.

관련 읽기

• 2026년 로컬 음성 인식: Whisper.cpp vs faster-whisper — 이 파이프라인의 STT 레이어 심층 분석.
• 2026년 로컬 TTS 및 음성 복제: Piper vs Coqui vs XTTS v2 — TTS 레이어와 음성 복제 옵션 심층 분석.
• 2026년 로컬 멀티모달 AI 파이프라인 — 이 음성 파이프라인을 비전 모델 지원으로 확장.
• Ollama 설치 방법 — Ollama 설치 및 모델 관리.
• 2026년 로컬 LLM 하드웨어 가이드 — 음성 + LLM 전체 파이프라인을 위한 하드웨어 선택.
• 스마트폰에서 로컬 음성 어시스턴트 만들기 — 이 가이드의 모바일 버전(iPhone + Android).