Whisper.cpp vs faster-whisper 2026: 로컬 STT 벤치마크, 설정 및 GPU 가속

빠른 사실 정리

• 두 도구 모두: OpenAI의 오픈소스 Whisper 모델(MIT 라이선스) 기반. 동일한 정확도 — 런타임만 다름.
• whisper.cpp: Georgi Gerganov가 C/C++로 작성. CPU(AVX2/NEON), CUDA, Metal(Apple), Vulkan 지원. Python 불필요.
• faster-whisper: CTranslate2를 사용하는 Python 라이브러리. CPU(int8)와 CUDA 지원. Apple Metal 미지원.
• Whisper 모델 크기: tiny(39M), base(74M), small(244M), medium(769M), large-v3(1.55B). 모두 ggml / CTranslate2 형식.
• 대부분의 경우 최선의 모델: Whisper small — 3.4% WER, 2GB RAM에서 동작, 현대적 CPU 또는 GPU에서 6배 실시간 속도.
• RTX 4070 벤치마크(large-v3): faster-whisper ~12배 실시간; whisper.cpp CUDA ~8배 실시간. NVIDIA에서는 faster-whisper 승.
• M5 Pro 벤치마크(large-v3): whisper.cpp Metal ~10배 실시간; faster-whisper CPU 전용 ~3배 실시간. Apple에서는 whisper.cpp 승.

로컬 음성 인식이 필요한 이유

• 개인 정보 보호: 오디오가 기기를 떠나지 않습니다. 컴플라이언스를 위한 데이터 처리 계약이 필요 없습니다 — 처리가 로컬에서 이루어집니다.
• 비용: 분당 요금 없음. 주당 8시간 회의를 전사하는 개발자는 클라우드 STT 가격 대비 월 $120–480를 절약할 수 있습니다.
• 오프라인: 비행기, 보안 시설, 안정적인 인터넷이 없는 지역에서 동작합니다. API 키 관리 불필요.
• 지연 시간: 업로드/다운로드 왕복 없음. 실시간 음성 인터페이스의 경우, 로컬 처리는 STT 지연 시간을 클라우드의 300–800ms에서 50–300ms로 단축합니다.
• 커스터마이즈: 도메인별 어휘로 모델을 미세 조정합니다. 하드웨어에 맞는 모델 크기를 실행합니다.
• Home Assistant 통합: 로컬 Whisper는 웨이크 워드와 음성 명령이 홈 네트워크를 떠나지 않음을 의미합니다. 클라우드 STT를 완전히 대체하는 애드온 설정은 Home Assistant에서의 로컬 Whisper →를 참조하십시오.

Whisper 모델 크기 — 두 도구의 공통 기반

Distil-Whisper: 더 빠른 대안

• 파라미터: ~756M — large-v3의 1.55B의 약 절반, ~10GB 대신 ~4GB VRAM에 수용됩니다.
• 속도: RTX 4070에서 ~6배 실시간(large-v3의 기준인 1× 대비) — 속도는 medium 모델과 유사하면서 정확도는 large-v3에 근접합니다.
• WER: 영어에서 ~2.6% — large-v3의 2.5%보다 단 ~0.1% 높습니다. 실제로는 일반적인 음성에서 차이를 거의 느낄 수 없습니다.
• 호환성: faster-whisper에서 네이티브로 동작합니다(WhisperModel("distil-large-v3", device="cuda", compute_type="int8")). whisper.cpp의 경우, distil-whisper의 GGML 변환 스크립트를 사용하여 GGML 형식으로 변환하십시오.
• 최적 사용 사례: 배치 전사 작업, VRAM이 제한된 서버 배포, large-v3 품질을 medium 모델 속도로 원하는 모든 사용 사례.
• 비권장 사용 사례: 다국어 전사 — distil-large-v3는 영어 전용입니다. 다른 언어의 경우 large-v3 또는 medium을 사용하십시오.

whisper.cpp — C/C++ 포트

• 플랫폼 지원: CPU(AVX2, AVX512, ARM NEON), Apple Metal(Core ML), CUDA(NVIDIA), Vulkan(AMD/Intel GPU), OpenCL.
• Apple Silicon 강점: whisper.cpp는 모델을 Core ML 형식으로 내보내 Apple Neural Engine에서 추론을 가능하게 합니다. Metal을 통해 M5 Pro에서 large-v3가 ~10배 실시간 속도로 동작합니다 — 클라우드 왕복보다 빠릅니다.
• 설치: 저장소를 클론하고 make(또는 cmake)를 실행합니다. 일반 플랫폼용 사전 빌드된 바이너리가 제공됩니다. Python 의존성 없음.
• 모델 다운로드: bash ./models/download-ggml-model.sh base.en — GGML 형식의 모델 파일을 다운로드합니다(base의 경우 ~142MB).
• CLI 예시: ./main -m models/ggml-base.bin -f audio.wav — WAV 파일을 표준 출력으로 전사합니다. 한국어는 -l ko를 추가하십시오.
• 실시간 스트림 모드: ./stream -m models/ggml-base.bin --step 3000 --length 10000 — 마이크에서 3초 청크 단위로 전사합니다.
• Python 래퍼: pywhispercpp은 whisper.cpp를 위한 Python 바인딩을 제공하여, Metal 가속을 희생하지 않고 Python 파이프라인에서 사용할 수 있게 합니다.
• 한계: 네이티브 VAD(음성 활동 감지) 없음. 스트림 모드는 사용 사례에 따라 --step 및 --length 파라미터를 조정해야 합니다.

# Build from source (macOS / Linux)
git clone https://github.com/ggerganov/whisper.cpp
cd whisper.cpp
make -j4

# Download a model
bash ./models/download-ggml-model.sh large-v3

# Transcribe a file
./main -m models/ggml-large-v3.bin -f recording.wav

# Enable Metal on Apple Silicon (Core ML)
make -j4 WHISPER_COREML=1
./main -m models/ggml-large-v3-encoder.mlmodelc -f recording.wav

faster-whisper — CTranslate2 포트

• 플랫폼 지원: CPU(int8 양자화)와 NVIDIA GPU CUDA. Apple Metal 미지원 — Mac에서는 CPU 전용으로만 동작합니다.
• int8 강점: CTranslate2의 int8 양자화는 VRAM을 ~40% 줄이고 float16 대비 추론 속도를 ~2배 향상시키며, WER 영향은 무시할 수준(절대값 < 0.1%)입니다.
• 설치: pip install faster-whisper — 컴파일 불필요. CUDA 지원은 CUDA 11.8+와 cuDNN 8.x가 필요합니다.
• 내장 VAD: faster-whisper에는 Silero VAD 통합이 포함되어 있어 음성이 없는 오디오 세그먼트를 자동으로 건너뜁니다 — 실시간 전사 파이프라인에 필수적입니다.
• 네이티브 Python: 직접적인 Python API는 LLM, 오디오 처리 라이브러리, 웹 프레임워크와의 통합을 용이하게 합니다.
• 속도: RTX 4070에서 large-v3 int8이 ~2.5GB VRAM을 사용하며 ~12배 실시간 속도로 동작합니다. CPU int8은 tiny 모델에서 ~20배 실시간 속도를 달성합니다.
• 배치 처리: faster-whisper는 대량의 오디오 파일을 효율적으로 처리하기 위한 배치 추론을 지원합니다.
• 한계: Mac에서 Metal 미지원 — Apple Silicon에서 CPU 전용으로만 동작하며, Metal을 사용하는 whisper.cpp의 ~10배 대비 large-v3로 ~3배 실시간 속도를 달성합니다.

from faster_whisper import WhisperModel

# Load model (downloads automatically on first run)
model = WhisperModel("large-v3", device="cuda", compute_type="int8")

# Transcribe
segments, info = model.transcribe("audio.wav", beam_size=5)

print(f"Detected language: {info.language} (probability: {info.language_probability:.2f})")
for segment in segments:
    print(f"[{segment.start:.2f}s → {segment.end:.2f}s] {segment.text}")

직접 비교: 벤치마크 표

실시간 전사 설정

• whisper.cpp 스트림 모드: ./stream -m models/ggml-small.bin --step 3000 --length 10000 -t 4를 실행합니다. 3초 청크를 처리하며, small 모델로 ~0.5–1.5초의 지연 시간. Python 불필요.
• faster-whisper VAD 파이프라인: model.transcribe()에서 vad_filter=True를 사용합니다. Silero VAD가 침묵 경계에서 자동으로 오디오를 세그먼트화합니다 — 고정 길이 창보다 더 자연스러운 청크.
• 실제 지연 시간: small 또는 medium 모델로 라이브 음성보다 0.5–2초 지연. 더 낮은 지연 시간(< 0.5초, 단 WER 더 높음)을 위해서는 tiny를 사용하십시오.
• 실시간용 모델 선택: small 또는 base가 실질적인 최적 지점입니다 — 음성을 따라가기에 충분히 빠르고, 깨끗한 오디오에 대해 충분히 정확합니다. 전용 GPU가 없는 한 실시간에서 large-v3는 피하십시오.
• 마이크 입력: whisper.cpp는 SDL2 또는 portaudio를 통해 원시 오디오를 읽습니다. faster-whisper는 모든 Python 오디오 라이브러리(sounddevice, pyaudio, soundfile)에서 오디오 배열을 읽습니다.
• 안정성: whisper.cpp의 스트림 모드는 침묵 중에 반복 채움 토큰("환각")을 생성할 수 있습니다. --suppress-blank와 --no-speech-threshold로 억제하십시오.

Apple Silicon: whisper.cpp 승

• Core ML 내보내기: ./models/generate-coreml-model.sh large-v3를 실행하여 인코더를 Core ML 형식으로 내보냅니다. 이를 통해 인코더 추론이 Apple Neural Engine으로 오프로드됩니다.
• M5 Pro 벤치마크(large-v3, Metal): ~10배 실시간. 60분 오디오를 ~6분에 전사. 참고: M5 Pro는 2026년 3월 출시 — 이것은 커뮤니티의 초기 벤치마크입니다. whisper.cpp가 M5 Neural Engine을 최적화하는 업데이트에 따라 성능이 향상될 수 있습니다.
• M3 MacBook Air 벤치마크(large-v3, Metal): ~7배 실시간. 60분을 ~8.5분에.
• 메모리: 통합 메모리는 별도의 VRAM이 없음을 의미합니다 — 16GB M5 Pro는 large-v3(~3GB)를 다른 프로세스와 함께 편안하게 실행할 수 있습니다.
• Mac에서의 faster-whisper: CPU 전용, int8. Large-v3로 ~3배 실시간 속도. 야간 배치 전사에는 사용 가능하지만, 실시간이나 시간에 민감한 워크플로에는 적합하지 않습니다.
• 권장 사항: Mac에서의 모든 STT 작업에 whisper.cpp를 사용하십시오. Metal 가속을 유지하면서 Python 통합이 필요한 경우 pywhispercpp을 추가하십시오.

NVIDIA GPU: faster-whisper 승

• RTX 4070(12GB) 벤치마크(large-v3 int8): ~12배 실시간, ~2.5GB VRAM.
• RTX 3060(12GB) 벤치마크(large-v3 int8): ~8배 실시간, ~2.5GB VRAM.
• RTX 4060(8GB) 벤치마크(large-v3 int8): ~7배 실시간, ~2.5GB VRAM — 여유 있게 수용됩니다.
• int8 vs float16: int8은 ~2배 빠르고 VRAM을 ~40% 적게 사용하며 정확도 손실은 무시할 수준입니다. NVIDIA에서는 항상 compute_type="int8"을 사용하십시오.
• 배치 처리: faster-whisper의 batched=True 파라미터는 여러 오디오 파일의 병렬 처리를 가능하게 하여, 대규모 전사 작업에서 GPU 활용을 극대화합니다.
• Python 파이프라인 통합: faster-whisper는 LangChain, Haystack 및 커스텀 Python 파이프라인에 직접 통합됩니다. whisper.cpp 래핑과 비교하여 서브프로세스 오버헤드 없음.

어느 것을 사용해야 하는가

whisper.cpp와 faster-whisper를 넘어서

• WhisperX:** faster-whisper 기반으로 구축된 WhisperX는 단어 수준 타임스탬프와 화자 분리를 추가합니다 — 어떤 화자가 어떤 단어를 말했는지 식별합니다. 최적 사용 사례: 화자 레이블이 있는 회의 전사, 팟캐스트 편집, 인터뷰 전사. pip install whisperx로 설치하고 분리 모델에 대한 Hugging Face 토큰을 제공하십시오.
• insanely-fast-whisper:** Flash Attention 2 지원을 추가하는 Hugging Face Transformers 파이프라인 래퍼로, NVIDIA 하드웨어에서 표준 faster-whisper보다 훨씬 빠른 GPU 추론을 제공합니다. 최적 사용 사례: NVIDIA GPU에서 대용량 오디오 파일 배치 처리. Flash Attention 2 호환 GPU 필요(Ampere 이상: RTX 3000+, A100, H100).

일반적인 문제 및 해결책

• CUDA 버전 불일치: faster-whisper는 CUDA 11.8 이상이 필요합니다. nvcc --version으로 확인하십시오. CUDA가 이전 버전인 경우 드라이버를 업데이트하거나 cudatoolkit=11.8을 사용하여 conda 환경에 faster-whisper를 설치하십시오.
• Metal 모델 내보내기 실패: Xcode Command Line Tools가 설치되어 있는지 확인하십시오 — xcode-select --install을 실행합니다. Core ML 내보내기 스크립트는 coremltools Python 패키지가 필요합니다: pip install coremltools.
• 침묵 중 환각: 두 도구 모두 음성이 없는 오디오 세그먼트에서 반복 채움 토큰을 생성할 수 있습니다. whisper.cpp 스트림 모드에서는 --no-speech-threshold 0.6을, faster-whisper의 model.transcribe()에서는 vad_filter=True를 사용하여 자동으로 음성이 없는 세그먼트를 건너뛰십시오.
• large-v3 메모리 부족: faster-whisper에서 int8 양자화로 전환하십시오(compute_type="int8") — VRAM을 ~5GB(float16)에서 ~2.5GB로 줄입니다. whisper.cpp에서는 양자화된 GGML 변형을 사용하십시오(예: ggml-large-v3-q5_0.bin) — 메모리를 ~3–4GB로 줄입니다.
• 영어가 아닌 오디오에서 알아볼 수 없는 출력: 영어가 아닌 음성에 .en 모델 변형(tiny.en, base.en)을 사용하지 마십시오 — 이것들은 영어 전용입니다. 다국어 모델(base, small, medium, large-v3)을 사용하고 언어를 명시적으로 지정하십시오: whisper.cpp에서 -l ko 또는 faster-whisper에서 language="ko".
• 느린 CPU 추론: CPU가 AVX2 명령어를 지원하는지 확인하십시오(최적화된 CPU 추론에 필요). Linux에서 grep avx2 /proc/cpuinfo 또는 Mac에서 sysctl machdep.cpu.features로 확인하십시오. AVX2 없는 CPU는 일반 SIMD로 폴백되어 2–3배 느립니다.

자주 묻는 질문

참고 자료

• GitHub의 whisper.cpp — 소스 코드, 빌드 지침, 모델 다운로드 스크립트, Metal/Core ML 설정 가이드.
• GitHub의 faster-whisper — 소스 코드, Python API 문서, 벤치마크 결과.
• Hugging Face의 distil-whisper/distil-large-v3 — 모델 카드, 벤치마크 결과, 증류된 Whisper 변형 사용 지침.
• GitHub의 WhisperX — faster-whisper 기반 단어 수준 타임스탬프 및 화자 분리.
• GitHub의 insanely-fast-whisper — NVIDIA GPU 최대 처리량을 위한 Whisper Flash Attention 2 파이프라인.
• GitHub의 OpenAI Whisper — 원본 Whisper 모델, 논문, 모든 크기의 모델 카드.
• OpenAI Whisper 논문 (Radford et al., 2022) — "Robust Speech Recognition via Large-Scale Weak Supervision". WER 값의 출처.
• CTranslate2 문서 — 양자화 세부 사항, 하드웨어 지원, int8 최적화 기초.

관련 읽을거리

• 2026년 로컬 TTS 및 음성 복제: Piper vs Coqui vs XTTS v2 — TTS 보완 가이드: 전사된 텍스트를 오프라인으로 다시 음성으로 변환합니다.
• 2026년 완전 오프라인 음성 어시스턴트 구축 — Whisper STT를 로컬 LLM과 Piper TTS에 연결하여 완전한 음성 파이프라인을 만듭니다.
• 2026년 로컬 멀티모달 AI 파이프라인 — STT 및 TTS와 함께 비전 모델을 추가하여 완전한 로컬 멀티모달 스택을 구성합니다.
• 2026년 로컬 LLM 하드웨어 가이드 — 완전한 음성 + LLM 파이프라인을 위한 GPU 및 RAM 요구 사항.
• 스마트폰에서 로컬 음성 어시스턴트 구축 — 모바일 버전: iPhone의 WhisperKit, Android의 Layla.