ローカル音声認識2026：Whisper.cpp vs faster-whisper — ベンチマーク・セットアップ・GPU高速化

クイックファクト

• 両ツール： OpenAIのオープンソースWhisperモデル（MITライセンス）をベースにしています。同じ精度 — 異なるランタイム。
• whisper.cpp： ggerganovによってC/C++で書かれています。CPU（AVX2/NEON）、CUDA、Metal（Apple）、Vulkanをサポート。Python不要。
• faster-whisper： CTranslate2を使ったPythonライブラリ。CPU（int8）とCUDAをサポート。Apple Metalのサポートなし。
• Whisperモデルサイズ： tiny（39M）、base（74M）、small（244M）、medium（769M）、large-v3（1.55B）。すべてggml / CTranslate2フォーマット。
• ほとんどのユースケースに最適なモデル： Whisper small — 3.4% WER、2 GB RAMで動作、最新CPUで6倍速のリアルタイム。
• RTX 4070ベンチマーク（large-v3）： faster-whisper約12倍速；whisper.cpp CUDA約8倍速。faster-whisperがNVIDIAで勝つ。
• M5 Proベンチマーク（large-v3）： whisper.cpp Metal約10倍速；faster-whisper CPU専用約3倍速。whisper.cppがAppleで勝つ。

なぜローカル音声認識なのか？

• プライバシー： 音声はデバイスから外に出ません。ローカルで処理されるため、個人データに関する法的保護への対応が容易です。
• コスト： 分単位の費用はゼロ。週8時間の会議を文字起こしする開発者は、クラウドSTT価格と比べて月$120〜480を節約できます。
• オフライン： 飛行機内、セキュア施設内、安定したインターネットがない場所でも動作。APIキー管理不要。
• レイテンシ： アップロード/ダウンロードの往復遅延なし。リアルタイム音声インターフェースでは、ローカル処理によりSTTレイテンシをクラウドの300〜800msから50〜300msに削減。
• カスタマイズ： ドメイン固有の語彙でファインチューニング可能。ハードウェアに合ったモデルサイズを実行。

Whisperモデルサイズ — 両ツールの基盤

Distil-Whisper：高速な代替手段

• パラメータ数： ~756M — large-v3の1.55Bの約半分で、約4 GB VRAMで動作（large-v3は約10 GB）。
• 速度： RTX 4070で約6倍速のリアルタイム（large-v3の1倍速の基準値と比べて）— mediumモデルと同程度の速度でlarge-v3レベルの精度。
• WER： 英語で約2.6% — large-v3の2.5%よりわずかに高いだけ。実際の音声では差は聞き取れません。
• 互換性： faster-whisperとネイティブで動作（WhisperModel("distil-large-v3", device="cuda", compute_type="int8")）。whisper.cppの場合は、distil-whisper GGMLコンバージョンスクリプトを使用してGGML形式に変換。
• 最適な用途： バッチ文字起こしジョブ、VRAM制限のあるサーバーデプロイ、大型モデルレベルの品質をmediumモデルの速度で求めるユースケース。
• 不適な用途： 多言語文字起こし — distil-large-v3は英語のみ。他言語にはlarge-v3またはmediumを使用。

whisper.cpp — C/C++ポート

• プラットフォームサポート： CPU（AVX2、AVX512、ARM NEON）、Apple Metal（Core ML）、CUDA（NVIDIA）、Vulkan（AMD/Intel GPU）、OpenCL。
• Apple Siliconの優位性： whisper.cppはモデルをCore ML形式にエクスポートし、Apple Neural Engineでの推論を可能にします。large-v3はM5 ProでMetalにより約10倍速のリアルタイム動作 — クラウドへの往復より高速。
• インストール： リポジトリをクローンし、make（またはcmake）を実行。一般的なプラットフォーム向けのビルド済みバイナリも利用可能。Python依存なし。
• モデルダウンロード： bash ./models/download-ggml-model.sh base.en — GGMLフォーマットのモデルファイルをダウンロード（baseで約142 MB）。
• CLIの例： ./main -m models/ggml-base.bin -f audio.wav — WAVファイルを標準出力に文字起こし。-l jaで日本語。
• リアルタイムストリームモード： ./stream -m models/ggml-base.bin --step 3000 --length 10000 — マイクから3秒チャンクで文字起こし。
• Pythonラッパー： pywhispercppがwhisper.cpp用のPythonバインディングを提供し、Metal高速化を維持したままPythonパイプラインで使用可能。
• 制限事項： ネイティブVAD（音声アクティビティ検出）なし。ストリームモードはユースケースに応じた--stepと--lengthパラメータのチューニングが必要。

# Build from source (macOS / Linux)
git clone https://github.com/ggerganov/whisper.cpp
cd whisper.cpp
make -j4

# Download a model
bash ./models/download-ggml-model.sh large-v3

# Transcribe a file
./main -m models/ggml-large-v3.bin -f recording.wav

# Enable Metal on Apple Silicon (Core ML)
make -j4 WHISPER_COREML=1
./main -m models/ggml-large-v3-encoder.mlmodelc -f recording.wav

faster-whisper — CTranslate2ポート

• プラットフォームサポート： CPU（int8量子化）とNVIDIA CUDA GPU。Apple Metalサポートなし — MacではCPU専用で動作。
• int8の優位性： CTranslate2 int8量子化でVRAMを約40%削減し、float16比でスループットを約2倍向上、WERへの影響は無視できる程度（絶対値で0.1%未満）。
• インストール： pip install faster-whisper — コンパイル不要。CUDAサポートにはCUDA 11.8以上とcuDNN 8.xが必要。
• 内蔵VAD： faster-whisperにはSilero VAD統合が含まれており、無音セグメントを自動的にスキップします — リアルタイム文字起こしパイプラインに不可欠。
• Python対応： 直接PythonのAPIにより、LLM、音声処理ライブラリ、Webフレームワークとの連携が簡単。
• 速度： RTX 4070でのlarge-v3 int8は約12倍速のリアルタイムでVRAM約2.5 GB使用。CPU int8ではtinyモデルで約20倍速を達成。
• バッチ処理： faster-whisperはバッチ推論をサポートし、大量の音声ファイルを効率的に処理。
• 制限事項： MacでのMetalサポートなし — Apple SiliconではCPU専用で動作し、large-v3で約3倍速（whisper.cppのMetalでの約10倍速と比較）。

from faster_whisper import WhisperModel

# Load model (downloads automatically on first run)
model = WhisperModel("large-v3", device="cuda", compute_type="int8")

# Transcribe
segments, info = model.transcribe("audio.wav", beam_size=5)

print(f"Detected language: {info.language} (probability: {info.language_probability:.2f})")
for segment in segments:
    print(f"[{segment.start:.2f}s → {segment.end:.2f}s] {segment.text}")

直接比較：ベンチマークテーブル

リアルタイム文字起こしのセットアップ

• whisper.cppのstreamモード： ./stream -m models/ggml-small.bin --step 3000 --length 10000 -t 4を実行。3秒の音声チャンクを処理；smallモデルで約0.5〜1.5秒の遅延。Python不要。
• faster-whisperのVADパイプライン： model.transcribe()でvad_filter=Trueを使用。Silero VADが無音境界で自動的に音声をセグメント化 — 固定長ウィンドウよりも自然なチャンク。
• 実用レイテンシ： smallまたはmediumモデルでリアルタイム音声より0.5〜2秒遅延。最低レイテンシにはtinyを使用（0.5秒未満、ただしWERが高い）。
• リアルタイム向けモデル選択： smallまたはbaseが実用的なスイートスポット — 音声に追いつくのに十分な速度で、クリアな音声に対して十分な精度。専用GPUがない限り、リアルタイムでlarge-v3は避けること。
• マイク入力： whisper.cppはSDL2またはportaudio経由で生音声を読み込む。faster-whisperは任意のPython音声ライブラリ（sounddevice、pyaudio、soundfile）からの音声配列を読み込む。
• 安定性： whisper.cppのstreamモードは無音時に繰り返しトークンを生成（短いフィラーを「幻聴」）することがある。--suppress-blankと--no-speech-thresholdで抑制。

Apple Silicon：whisper.cppが勝つ

• Core MLエクスポート： ./models/generate-coreml-model.sh large-v3を実行してエンコーダをCore ML形式にエクスポート。これによりエンコーダの推論がApple Neural Engineにオフロードされます。
• M5 Proベンチマーク（large-v3、Metal）： 約10倍速。60分の音声が約6分で文字起こし完了。注記：M5 Proは2026年3月に発売 — これらはコミュニティの早期ベンチマークです。M5ニューラルエンジン向けのwhisper.cppの最適化が進むにつれてパフォーマンスは向上する可能性があります。
• M3 MacBook Airベンチマーク（large-v3、Metal）： 約7倍速。60分が約8.5分で完了。
• メモリ： ユニファイドメモリにより独立したVRAMは不要 — 16 GB M5 Proは他のプロセスと共存しながらもlarge-v3（~3 GB）を快適に動作させられます。
• Macでのfaster-whisper： CPU専用、int8。large-v3で約3倍速。一晩かけたバッチ文字起こしには使えますが、リアルタイムや時間が重要なワークフローには不向き。
• 推奨： MacのすべてのSTT作業にwhisper.cppを使用。Metal高速化を維持しながらPython統合が必要な場合はpywhispercppを追加。

NVIDIA GPU：faster-whisperが勝つ

• RTX 4070（12 GB）ベンチマーク（large-v3 int8）： 約12倍速、VRAM約2.5 GB。
• RTX 3060（12 GB）ベンチマーク（large-v3 int8）： 約8倍速、VRAM約2.5 GB。
• RTX 4060（8 GB）ベンチマーク（large-v3 int8）： 約7倍速、VRAM約2.5 GB — 余裕で収まる。
• int8対float16： int8は約2倍速でVRAMを約40%削減し、精度への影響は無視できます。NVIDIAでは常にcompute_type="int8"を使用。
• バッチ処理： faster-whisperのbatched=Trueパラメータにより複数の音声ファイルの並列処理が可能となり、大規模な文字起こしジョブでGPU利用率を最大化。
• Pythonパイプライン統合： faster-whisperはLangChain、Haystack、カスタムPythonパイプラインに直接組み込めます。whisper.cppをラップする際のサブプロセスオーバーヘッドなし。

どちらをいつ使うか

whisper.cppとfaster-whisperを超えて

• WhisperX：** faster-whisperをベースに構築し、単語レベルのタイムスタンプと話者識別を追加 — どの話者がどの言葉を話したかを特定。最適用途：話者ラベル付き会議文字起こし、ポッドキャスト編集、インタビュートランスクリプト。pip install whisperxでインストールし、識別モデル用のHugging Faceトークンを提供。
• insanely-fast-whisper：** Flash Attention 2サポートを追加するHugging Face Transformersパイプラインラッパーで、NVIDIA ハードウェアで標準faster-whisperよりもはるかに高速なGPU推論を実現。最適用途：NVIDIA GPUでの大量音声アーカイブのバッチ処理。Flash Attention 2対応GPU（Ampere以降：RTX 3000+、A100、H100）が必要。

よくある問題と解決策

• CUDAバージョンの不一致： faster-whisperにはCUDA 11.8以降が必要。nvcc --versionで確認。CUDAが古い場合は、ドライバーをアップグレードするか、cudatoolkit=11.8でconda環境にfaster-whisperをインストール。
• Metalモデルエクスポートの失敗： Xcode Command Line Toolsのインストールを確認 — xcode-select --installを実行。Core MLエクスポートスクリプトにはcoremltools Pythonパッケージが必要：pip install coremltools。
• 無音時の幻聴： 両ツールとも無音の音声セグメントで繰り返しフィラートークンを生成することがある。whisper.cppのstreamモードでは--no-speech-threshold 0.6を使用するか、faster-whisperのmodel.transcribe()でvad_filter=Trueを使用して無音セグメントを自動的にスキップ。
• large-v3でのメモリ不足： faster-whisperでint8量子化に切り替え（compute_type="int8"）— VRAMを~5 GB（float16）から~2.5 GBに削減。whisper.cppでは量子化されたGGMLバリアントを使用（例：ggml-large-v3-q5_0.bin）でメモリを~3〜4 GBに削減。
• 非英語音声での文字化け： 非英語音声に.enモデルバリアント（tiny.en、base.en）を使用しないこと — これらは英語専用。多言語モデル（base、small、medium、large-v3）を使用し、言語を明示的に指定：whisper.cppでは-l ja、faster-whisperではlanguage="ja"。
• CPUの推論が遅い： CPUがAVX2命令をサポートしているか確認（最適化されたCPU推論に必要）。Linuxではgrep avx2 /proc/cpuinfo、Macではsysctl machdep.cpu.featuresで確認。AVX2なしのCPUは汎用SIMDにフォールバックし、2〜3倍遅くなります。

よくある質問

情報源

• whisper.cpp（GitHub） — ソースコード、ビルド手順、モデルダウンロードスクリプト、Metal/Core MLセットアップガイド。
• faster-whisper（GitHub） — ソースコード、Python APIドキュメント、ベンチマーク結果。
• distil-whisper/distil-large-v3（Hugging Face） — モデルカード、ベンチマーク結果、蒸留Whisperバリアントの使用手順。
• WhisperX（GitHub） — faster-whisperをベースとした単語レベルタイムスタンプと話者識別。
• insanely-fast-whisper（GitHub） — 最大NVIDIA GPUスループットのためのFlash Attention 2 Whisperパイプライン。
• OpenAI Whisper（GitHub） — オリジナルのWhisperモデル、論文、全サイズのモデルカード。
• OpenAI Whisper論文（Radford他、2022年） — 「Robust Speech Recognition via Large-Scale Weak Supervision」。WER値の出典。
• CTranslate2ドキュメント — 量子化の詳細、ハードウェアサポート、int8最適化の根拠。

関連記事

• ローカルTTSと音声クローニング2026：Piper vs Coqui vs XTTS v2 — TTSの補完：文字起こしテキストをオフラインで再び音声に変換。
• 2026年に完全オフライン音声アシスタントを構築する — Whisper STTをローカルLLMとPiper TTSに接続して完全な音声パイプラインを構築。
• ローカルマルチモーダルAIパイプライン2026 — STTとTTSと並行してビジョンモデルを追加して完全なローカルマルチモーダルスタックを構築。
• ローカルLLMハードウェアガイド2026 — 音声 + LLMパイプライン全体のGPUとRAM要件。
• スマートフォンでローカル音声アシスタントを構築する — モバイル版：iPhoneのWhisperKit、AndroidのLayla。