ローカルマルチモーダルAIパイプライン2026：音声・ビジョン・テキストモデルをオフラインで統合

クイックファクト

• フルスタックの総VRAM： ~15 GB（Whisper 3 GB + LLaVA 7B 6 GB + Llama 3.1 8B 6 GB）。PiperはCPU上で動作。
• 簡略化スタック（Llama 3.2 Vision 11B）： ~8 GB VRAM — ビジョンとテキスト推論の両方を1つのモデルで処理。
• 音声レイテンシ（Whisper small、RTX 4070）： STT ~200〜500 ms。LLM最初のトークン500〜1500 ms。Piper TTS 100 ms。
• 画像処理レイテンシ（LLaVA 7B、RTX 4070）： 解像度とプロンプトにより画像1枚あたり~2〜5秒。
• リアルタイムビデオ非対応： VLMは個別フレームを処理し、継続的なビデオストリームは処理しません。ビデオの場合は1 FPSでフレームを抽出して各フレームを処理。
• VLM + LLMに同じOllamaインスタンス： OllamaはLlama 3.2 Visionをビジョンモデルとテキストモデルの両方として提供でき、VRAMを節約。
• 全コンポーネントがMITまたはApache 2.0ライセンス（whisper.cpp MIT、LLaVA MIT、Llama 3.1 8B Llama 3コミュニティライセンス、Piper MIT）。

マルチモーダルAIパイプラインとは？

• クラウドアプローチ（GPT-4o）： 全モダリティで同時に訓練された巨大なモデル。クロスモーダル推論は訓練中に学習 — 画像コンテンツと音声クエリの関係をネイティブに推論できます。
• ローカルアプローチ（このガイド）： オーケストレーターで接続された各モダリティ向けの個別特化モデル。よりモジュラーで運用コストが低いですが、「継ぎ目」が生じます — ビジョンモデルの出力はLLMに渡される前にテキストにシリアライズされます。
• ローカルで構築する理由： プライバシー（医療画像、プロプライエタリ文書、機密スクリーンショット）、コスト（クエリごとの費用ゼロ）、オフライン機能（モデルダウンロード後はインターネット不要）、カスタマイズ性（任意のコンポーネントの交換）。
• モジュラーの利点： 任意の1つのコンポーネントを独立してアップグレードできます。より良いローカルSTTモデルが登場したら、STTレイヤーのみを置き換えます。

コスト：ローカルパイプライン vs クラウドAPI（月次）

アーキテクチャの概要

• 入力タイプ： マイク音声（音声）、カメラまたはファイル画像（ビジョン）、キーボードテキスト（テキスト）。
• ルーターロジック： 境界で入力タイプを検出。音声 → STTモデル。画像 → VLM。テキスト → 直接LLM。音声と画像が同時に来た場合は並列処理して結合。
• モデルレジストリ： 各入力タイプは適切なモデルを呼び出してテキスト説明/転写を返すハンドラー関数にマッピングされます。
• オーケストレーター： 全モデル出力を収集し、テキストLLM用の単一プロンプトに結合し、LLM応答を取得し、音声出力のTTSまたは画面テキストにルーティングします。
• 出力タイプ： 音声応答（Piper TTS）、画面上のテキスト、または他のシステムとの統合用構造化データ（JSON）。
• 並列処理： STTとVLMは同時処理が可能 — 画像に関する音声クエリは両方を並列処理でき、シーケンシャル処理と比較してレイテンシを40〜60%削減します。

コンポーネントスタック

マルチモーダル向けハードウェア階層

ユースケース1：音声制御ドキュメントアナライザー

• 例： 請求書を撮影して「合計金額と支払期限はいつですか？」と尋ねます。
• パイプライン： Whisperが質問を転写 → 画像がLLaVAまたはLlama 3.2 Visionに送信 → VLMが請求書テキストと構造を抽出 → LLMが質問 + VLM出力を結合 → Piperが回答を読み上げます。
• プロンプト： 「こちらが画像です：[VLM説明]。ユーザーが尋ねています：[転写]。画像の内容に基づいて質問に答えてください。」
• 最適なVLM： 請求書/ドキュメントOCR精度にはMiniCPM-V 2.6またはLlama 3.2 Vision 11B。
• プライバシーの価値： 医療記録、法的文書、財務諸表 — データがマシンを離れることなく完全にローカルで処理されます。

ユースケース2：ビジュアルQ&Aアシスタント

• アプリケーション： 倉庫在庫、現場検査、視覚障害者向けアクセシビリティ。
• 実装： カメラフレームを取得（OpenCV）、JPEGとして保存、Whisper転写とともにVLMに渡します。
• 最適なモデル： 一般的なオブジェクト/シーン理解にはLLaVA 1.6 7BまたはLlama 3.2 Vision 11B。
• レイテンシ： RTX 4070で画像取得 + VLM処理 + LLM + TTSに3〜6秒。

ユースケース3：会議転写 + スライド分析

• STT： 会議中にfaster-whisperをストリーミングモードで実行します。
• ビジョン： 新しいスライドが表示されるたびにスクリーンショットを取得し、LLaVAに説明を依頼します。
• 結合： 会議終了時に転写 + スライド説明をLlama 3.1 8Bに渡してサマリーとアクションアイテムを作成します。
• 出力： 音声読み上げサマリー（Piper TTS）+ ローカル保存テキストファイル。
• GDPRの価値： 会議処理全体がローカル。音声、転写、スライドはいかなるクラウドサービスにも送信されません。

ユースケース4：ローカルアクセシビリティツール

• スクリーンリーダー： 2秒ごとにスクリーンショットを取得 → LLaVAが画面の内容を説明 → Piperが読み上げます。
• 音声ナビゲーション： Whisperが音声コマンドを転写 → LLMが意図を解釈 → pyautoguiでキーボード/マウスアクションを実行。
• プライバシーの利点： 障害のあるユーザーはしばしば敏感なコンテキストでアクセシビリティツールを使用します。ローカルツールは画面コンテンツがサードパーティに送信されないことを保証します。
• アクセシビリティ向けモデル選択： 高速な画面説明にはMoondream 2（2 GB VRAM）。より豊かな説明にはLLaVA 7B（6 GB VRAM）。

ユースケース5：ローカルセキュリティカメラ分析

• フレーム取得： OpenCVを使用してIPカメラからRTSP経由で5〜10秒ごとにフレームを取得します。
• 動作検出： 連続するフレーム間の差分を計算します。動作しきい値以下のフレームをスキップします。
• VLM分析： 動きが検出されたら、フレームをVLMに送信します：「何が起きているか説明してください。人はいますか？」
• アラート出力： 人が検出されたら、ローカルデスクトップ通知とPiper TTS告知をトリガーします。
• プライバシーの利点： RingとNestはそれぞれAWSとGoogleサーバーにビデオを送信します。このセットアップはすべての映像をあなたのハードウェアに保持します。
• 速度向けの最適なVLM： Moondream 2（フレームあたり~1秒、~2 GB VRAM）またはLLaVA 7B（~3秒、~6 GB VRAM）。

Pythonオーケストレーターの構築

#!/usr/bin/env python3
"""Local multimodal orchestrator: voice + vision + text, all offline."""

import asyncio
import base64
import subprocess
import tempfile
import sounddevice as sd
import soundfile as sf
import numpy as np
import requests

OLLAMA_URL = "http://localhost:11434/api/generate"
WHISPER_BIN = "./whisper.cpp/main"
WHISPER_MODEL = "./whisper.cpp/models/ggml-small.bin"
VISION_MODEL = "llava:7b"
TEXT_MODEL = "llama3.1:8b"
PIPER_VOICE = "voices/en_US-lessac-medium.onnx"
SAMPLE_RATE = 16000

async def transcribe_audio(audio: np.ndarray) -> str:
    with tempfile.NamedTemporaryFile(suffix=".wav", delete=False) as f:
        sf.write(f.name, audio, SAMPLE_RATE)
        loop = asyncio.get_event_loop()
        result = await loop.run_in_executor(None, lambda: subprocess.run(
            [WHISPER_BIN, "-m", WHISPER_MODEL, "-f", f.name, "--no-timestamps", "--no-prints"],
            capture_output=True, text=True
        ))
    return result.stdout.strip()

async def describe_image(image_path: str) -> str:
    with open(image_path, "rb") as f:
        image_b64 = base64.b64encode(f.read()).decode("utf-8")
    loop = asyncio.get_event_loop()
    response = await loop.run_in_executor(None, lambda: requests.post(
        OLLAMA_URL,
        json={"model": VISION_MODEL, "prompt": "Describe the content of this image in detail.", "images": [image_b64], "stream": False},
    ))
    return response.json()["response"]

async def reason(transcript: str, image_description: str | None = None) -> str:
    if image_description:
        prompt = f"The user asked (via voice): {transcript}\n\nThe image shows: {image_description}\n\nAnswer based on the image. Be concise."
    else:
        prompt = transcript
    loop = asyncio.get_event_loop()
    response = await loop.run_in_executor(None, lambda: requests.post(
        OLLAMA_URL, json={"model": TEXT_MODEL, "prompt": prompt, "stream": False},
    ))
    return response.json()["response"]

async def speak(text: str) -> None:
    with tempfile.NamedTemporaryFile(suffix=".wav", delete=False) as f:
        await asyncio.get_event_loop().run_in_executor(None, lambda: subprocess.run(
            f'echo "{text}" | piper --model {PIPER_VOICE} --output_file {f.name}', shell=True, check=True
        ))
        data, sr = sf.read(f.name)
        sd.play(data, sr)
        sd.wait()

async def process_query(audio: np.ndarray, image_path: str | None = None) -> None:
    if image_path:
        transcript, image_desc = await asyncio.gather(transcribe_audio(audio), describe_image(image_path))
    else:
        transcript = await transcribe_audio(audio)
        image_desc = None
    if not transcript or len(transcript) < 3:
        return
    response = await reason(transcript, image_desc)
    await speak(response)

async def main():
    while True:
        audio = sd.rec(int(5 * SAMPLE_RATE), samplerate=SAMPLE_RATE, channels=1, dtype="int16")
        sd.wait()
        await process_query(audio)

if __name__ == "__main__":
    asyncio.run(main())

パフォーマンス最適化

• 並列STT + VLM： asyncio.gather(transcribe_audio(), describe_image())を使用して両方を同時に実行します。0.3〜2秒を節約します。
• モデルをウォームに保つ： Ollamaはリクエスト間でモデルをVRAMに自動的に保持します。クエリ間で再ロードしないでください。
• LLM → TTSストリーミング： LLM出力の文境界を検出します。LLMが生成を続けている間に各完成した文をPiperに渡します。
• VRAM管理： VRAMが限られている場合、テキストLLMをロードする前に画像処理後にVLMをアンロードします。~2〜3秒追加されますが、8 GB GPUでフルスタックを処理できます。
• Llama 3.2 VisionをVLM + LLMとして使用： モデル切り替えのオーバーヘッドを完全に排除 — 1つのモデルがビジョンとテキスト推論の両方を処理します。
• TTS最初の音声目標： Piperはテキストを受信してから50〜100 ms以内に最初の音声を生成します。1文ずつストリーミングしてサブ秒の知覚レイテンシを実現します。

制限と正直な評価

• モダリティの継ぎ目： ビジョン出力はテキストLLMに渡される前にテキストにシリアライズされます。LLMは画像の特徴について直接推論できません — 画像のテキスト説明について推論します。
• リアルタイムビデオなし： ローカルVLMは単一フレームを処理し、継続的なビデオは処理しません。ビデオの場合は0.5〜2 FPSでフレームを抽出してシーケンシャルに処理します。
• VLM品質のギャップ： ローカルビジョンモデル（LLaVA 7B、Llama 3.2 Vision 11B）は複雑なインフォグラフィック、手書きテキスト、曖昧なシーンでGPT-4o Visionより劣っています。
• VRAMプレッシャー： 1つのGPUで3つのモデルを同時実行するには慎重なVRAM管理が必要です。12 GB GPUではモデルサイズを慎重に選択する必要があります。
• レイテンシ vs クラウド： クラウドマルチモーダル呼び出し（GPT-4o）は1〜3秒かかります。ローカルパイプラインは同等のハードウェアで3〜8秒かかります。
• 一貫性： ローカルモデルはクラウドモデルより変動しやすい出力品質を生成します。ビジョン説明とLLM応答の両方で時折ハルシネーションが発生することを想定してください。

よくある質問

ソース

• Ollama — ローカル LLM オーケストレーション、ビジョンモデルとチャット API をサポート。
• whisper.cpp on GitHub — 高速 CPU ベース音声認識、Metal/CUDA アクセラレーション。
• LLaVA on Hugging Face — ビジョン言語モデル、オープンソース。
• Llama 3.2 Vision — マルチモーダル LLM、11B。
• Piper TTS on GitHub — ローカル テキスト音声変換、高速。

関連記事

• ローカル音声認識2026：Whisper.cpp vs faster-whisper — STTコンポーネントの詳細解説。
• ローカルビジョンモデル2026：LLaVA、Llama 3.2 Vision、Ollama — ビジョンコンポーネントの詳細解説。
• ローカルTTSと音声クローニング2026 — TTSコンポーネントの詳細解説。
• 2026年：完全オフライン音声アシスタントの構築 — 音声のみのバージョン（ビジョンなし、よりシンプル）。
• ローカルLLMハードウェアガイド2026 — マルチモデルパイプライン向けハードウェア選択。