ローカルビジョンモデル2026：LLaVA・Llama 3.2 Vision・Qwen2-VL & Ollamaマルチモーダルセットアップ

基本情報

• VLMの機能： 画像＋テキスト入力 → テキスト出力。画像生成器ではなく、画像を*理解する*モデルです。
• Ollamaサポート： この比較の全モデルが2026年5月時点で公式またはコミュニティのOllama統合を持っています。
• 最小の実用モデル： Moondream 2（1.9Bパラメータ、〜2GB VRAM）。
• 最大の実用ローカルモデル： Llama 3.2 Vision 90B（〜64GBユニファイドメモリ、Apple M-SeriesまたはマルチGPU）。
• 画像入力形式： JPEG、PNG、WebP。最大解像度はモデルによって異なります（通常1024×1024〜4096×4096）。
• OCR精度： Qwen2-VL 7B ≈ MiniCPM-V 2.6 > Llama 3.2 Vision 11B > LLaVA 1.6 13B > LLaVA 1.6 7B > Moondream 2。
• マルチモーダル = 低速： ビジョンモデルはLLMにビジョンエンコーダーを追加するため、同サイズのテキストのみモデルより〜30〜60%遅くなります。

ビジョン言語モデル（VLM）とは？

• 画像生成器との違い： Stable Diffusion、FLUX、DALL-E 3はテキストから画像を生成します。VLMは画像からテキストへのモデルで、画像を説明・分析・回答します。
• OCRツールとの違い： 従来のOCR（Tesseract）はパターン認識でテキストを抽出します。VLMはコンテキストを理解し、テーブルの意味を説明したり、グラフに関する質問に答えたりできます。
• ローカル実行の理由： プライベートドキュメント（医療記録・法的スキャン・財務諸表）、独自スクリーンショット、または画像をクラウドAPIに送信することにコンプライアンス上の懸念があるワークフロー。
• できないこと： 画像生成、スクリーンショット内のコード実行、インターネットアクセス。VLMは画像に見えるものに基づいてテキスト出力のみを生成します。

利用可能なローカルビジョンモデル — 比較表

実用精度テスト：請求書抽出

マルチ画像サポート

• MiniCPM-V 2.6は1プロンプトで最大4枚の画像を受け付け、Qwen2-VLは最大8枚に対応。LLaVAとMoondreamは1リクエストにつき1枚のみです。
• マルチ画像が重要な場面： 複数ページのPDFの全ページを送信して完全なドキュメント抽出、2つの商品写真を並べて比較、1つのプロンプトでビフォー・アフターのスクリーンショットを分析。

Ollamaセットアップ — ステップバイステップ

• ステップ1 — Ollamaをインストール： macOS・Linux・Windows用をollama.comからダウンロード。インストールは2分以内。
• ステップ2 — ビジョンモデルをダウンロード： ollama pull llama3.2-vision（11B、〜8GBダウンロード）またはVRAMが少ない場合はollama pull moondream（1.9B、〜2GB）。
• ステップ3 — CLIで使用： ollama run llama3.2-vision "この画像に何がありますか？" --image /path/to/photo.jpg
• ステップ4 — HTTP APIで使用： http://localhost:11434/api/generateにPOSTし、images配列にBase64エンコードされた画像を含める。
• ステップ5 — Pythonの例： Base64エンコーディングでrequestsライブラリを使用 — 以下のコードブロックを参照。

import base64
import requests

def ask_vision_model(image_path: str, prompt: str, model: str = "llama3.2-vision") -> str:
    with open(image_path, "rb") as f:
        image_b64 = base64.b64encode(f.read()).decode("utf-8")

    response = requests.post(
        "http://localhost:11434/api/generate",
        json={
            "model": model,
            "prompt": prompt,
            "images": [image_b64],
            "stream": False,
        },
    )
    return response.json()["response"]

# 使用例
result = ask_vision_model("invoice.png", "この請求書からすべての行項目と合計金額を抽出してください。")
print(result)

ユースケース1：ドキュメントOCRと抽出

• うまく機能するもの： スキャンした請求書・PDFスクリーンショット・手書きのブロック体メモ・明確な境界線のあるテーブル・名刺。
• うまく機能しないもの： 手書きの草書体・150DPI未満のスキャン・高圧縮JPEG・重なり合うテキスト。
• OCRに最適なモデル： MiniCPM-V 2.6（6GBクラスで最高のOCR精度）、Llama 3.2 Vision 11B（混合ドキュメントタイプに最適）。
• OCR向けプロンプトエンジニアリング： 「このドキュメントのすべてのテキストを改行を保持して正確に抽出してください。」または「この請求書の内容をJSONで返してください（フィールド：ベンダー、日付、行項目[]、合計）。」
• 従来のOCRとの比較： VLMは低速ですが意味的に強力です。クリーンなドキュメントの純粋なテキスト抽出にはTesseractが高速です。構造化データ抽出が必要な場合はVLMを使用。

ユースケース2：画像Q&Aと説明

• シーン説明： 「この写真には何がありますか？」— オブジェクト・人物・活動・設定・雰囲気。
• 商品カタログ化： プロンプトテンプレートで商品写真を処理：「この商品を説明してください：色・形・素材・状態。」クラウドAPIなしでECインベントリに有用。
• アクセシビリティ： 大規模に画像のaltテキストを生成。
• 最適なモデル： LLaVA 1.6 13BまたはLlama 3.2 Vision 11B（一般的な写真Q&A）。LLaVA 1.6 7B（速度が精度より重要な大量処理）。
• 速度の考慮： 6GB GPUでLlama 3.2 Vision 11B Q4は〜8〜12トークン/秒 — 100枚の画像処理に〜2〜5分かかります。

ユースケース3：スクリーンショットとUI分析

• 開発者ワークフロー： エラーメッセージのスクリーンショットをモデルに送る：「このスクリーンショットの何が問題で、どう修正しますか？」
• バグレポート生成： 構造化プロンプトを使ってスクリーンショットから自動的にバグレポートの説明を生成。
• ダッシュボードモニタリング： モニタリングダッシュボードのスクリーンショットを分析して異常を検出。
• アクセシビリティテスト： UI変更前後のスクリーンショットを比較して視覚的アクセシビリティを確認。
• 最適なモデル： InternVL 2.5 8B（最高のUI理解）、MiniCPM-V 2.6（2番目に良く、Ollamaサポートあり）。

ユースケース4：グラフとチャートの読み取り

• 機能するもの： 軸ラベルの読み取り・傾向の特定・相対的なバーの高さの比較・明確なフォントのテーブル値の読み取り。
• 信頼性が低いもの： 連続グラフからの精密な数値抽出・ラベルなしの円グラフのパーセンテージ。
• プロンプト戦略： 「この折れ線グラフに示されている傾向を説明してください」は「2026年3月の正確な値は？」より効果的。
• グラフに最適なモデル： InternVL 2.5（最高のグラフ理解）、Llama 3.2 Vision 11B（明確にラベルされたグラフに良好）。
• 制限の注意： 2026年時点で、視覚的に複雑なグラフから精密な数値を確実に抽出できるローカルVLMはありません。

ユースケース5：動画フレーム分析

• フレーム抽出： ffmpeg -i video.mp4 -vf fps=1 frames/frame_%04d.jpg（1fpsで抽出）
• フレームごとの分析： 一貫したプロンプトで各フレームをビジョンモデルに送信（例：「このフレームで起きていることを1文で説明してください」）。
• クロスフレームのサマリー： すべてのフレーム説明を収集してテキストLLMにサマリープロンプトと共に渡す。
• ユースケース： セキュリティカメラレビュー（異常なアクティビティのフレームにフラグ）、講義録画分析（スライドごとのノート生成）、製造品質検査（欠陥のあるフレームにフラグ）。
• 動画フレームに最適なモデル： Llama 3.2 Vision 11B（品質）、LLaVA 1.6 7B（速度・高フレームスループット）。
• 速度の現実： RTX 4070で1秒/フレームの推論では、10分の動画の完全処理に〜20〜30分かかります。

import base64
import subprocess
import os
import requests

def extract_frames(video_path: str, output_dir: str, fps: int = 1) -> list[str]:
    os.makedirs(output_dir, exist_ok=True)
    subprocess.run([
        "ffmpeg", "-i", video_path,
        "-vf", f"fps={fps}",
        f"{output_dir}/frame_%04d.jpg",
        "-y"
    ], check=True)
    return sorted([
        os.path.join(output_dir, f)
        for f in os.listdir(output_dir)
        if f.endswith(".jpg")
    ])

def analyze_frame(image_path: str, model: str = "llama3.2-vision") -> str:
    with open(image_path, "rb") as f:
        image_b64 = base64.b64encode(f.read()).decode("utf-8")
    response = requests.post(
        "http://localhost:11434/api/generate",
        json={
            "model": model,
            "prompt": "Describe what is happening in this frame in one sentence.",
            "images": [image_b64],
            "stream": False,
        },
    )
    return response.json()["response"]

frames = extract_frames("lecture.mp4", "frames/", fps=1)
descriptions = [analyze_frame(f) for f in frames]
print("\n".join(f"[{i+1}s] {d}" for i, d in enumerate(descriptions)))

VRAMとパフォーマンスの現実

ローカルVLM vs GPT-4o Vision比較

• 構造化ドキュメント（請求書・フォーム）： ローカルモデルはGPT-4o品質の80〜90% — クリーンでフォーマットが整ったドキュメントなら本番使用に十分。
• 複雑なシーン・曖昧な画像： ローカルモデルはGPT-4oの50〜70% — 珍しいコンテキスト・照明・曖昧なコンテンツで明確な品質差。
• 手書き認識： ローカルモデルは特に草書体で著しく弱い。GPT-4o Visionは手書きを大幅に良く処理。
• グラフデータ抽出： 両方で信頼性が低いが、GPT-4oは正確な数値でより精確。
• コスト： GPT-4o Vision：1枚あたり$0.01〜$0.03 vs ローカルは$0。月10,000枚 = $100〜$300の節約。
• プライバシー： ローカルモデルはデバイス上で画像を処理 — データが外部に送信されない。GPT-4oは画像をOpenAIサーバーに送信。
• 速度： ローカルモデル10〜20トークン/秒 vs GPT-4o 30〜80トークン/秒、ただしローカルはバッチ処理でネットワーク遅延なし。

LLaVA詳細解説

• アーキテクチャ： CLIP ViT-L/14ビジョンエンコーダー + Llama-2またはMistralテキストデコーダー、シンプルな線形投影層で接続。
• LLaVA 1.5 vs 1.6： バージョン1.6（2024年初頭）は動的パッチングによる高解像度入力サポートを追加し、OCRとグラフ読み取り精度を大幅に向上。
• トレーニング： LLaVA-Instruct-150Kでインストラクションチューニング — 画像キャプションと物体検出アノテーションから生成された視覚的会話データセット。
• 強み： 幅広い一般知識・充実したドキュメント・大きなコミュニティ・豊富なOllama統合。
• 弱み： MiniCPM-V 2.6よりOCRが弱く、InternVL 2.5よりUI分析が劣り、Llama 3.2 Vision 11Bに品質ベンチマークで全体的に上回られている。
• それでも推奨される理由： すべてのローカルVLMの中で最大のコミュニティ・最多のチュートリアル・最多のプロンプト例を持つ。問題が発生した時にサポートが見つけやすい。

Qwen2-VL — 最高の多言語OCR性能

• アーキテクチャ： 4096×4096までの動的解像度サポート — LLaVA 1.6（672×672）やLlama 3.2 Vision（1120×1120）より大幅に高い。高DPIスキャンをダウンサンプリングなしで読み取り可能。
• 多言語OCR： 中国語・日本語・韓国語・英語のOCRでクラス最高。大規模な多言語ドキュメントコーパスを含むトレーニングデータが、非英語ドキュメントでLLaVAやLlama 3.2 Visionに対して大きな優位性をもたらす。
• 7B vs 72B： 7Bは〜6GB VRAM（Q4）に収まり、ほとんどのドキュメントタスクでLlama 3.2 Vision 11Bと競争力があります。72Bは〜48GBを使用し、ほとんどのオープンソースベンチマークをリードしています。
• Ollamaインストール： ollama pull qwen2-vl:7b — Ollamaモデルライブラリから直接利用可能。
• マルチ画像サポート： 1リクエストで最大8枚 — この比較で最高のマルチ画像容量。
• モデルページ： Hugging FaceのQwen2-VL 7B

ビジョンモデルの選び方

• 4GB未満のVRAM： 2GBではMoondream 2（1.9B）のみ。PaliGemma 2（3B）とSmolVLM（2.2B）も選択肢 — PaliGemma 2はわずかに多いVRAM（〜3GB）でMoondreamより優れたドキュメント理解。SmolVLMは品質を犠牲にして極端な効率を実現。密なテキストOCRには不向き。
• 6GB VRAM： ドキュメントOCRと請求書処理にはMiniCPM-V 2.6。コミュニティサポートが重要な一般写真Q&AにはLLaVA 1.6 7B。多言語OCRまたは最高精度が必要な場合はQwen2-VL 7B。
• 8〜16GB VRAM： Llama 3.2 Vision 11Bが明確な推奨 — このVRAM層での最高品質、幅広いOllamaサポート。
• 16GB以上のVRAM： LLaVA 1.6 13B（7Bバリアントより複雑なシーン理解に対応）。主なユースケースがUIやコードスクリーンショットならInternVL 2.5 8B。
• 64GB以上のユニファイドメモリ（Apple M-Max/Ultra、マルチGPU）： ドキュメントタスクでクラウドレベルに近いLlama 3.2 Vision 90B。最高のオープンソースベンチマークスコアを持つQwen2-VL 72Bも選択肢。
• 数値は必ず検証： モデルに関わらず、グラフやテーブルから抽出した数値は必ずソースデータと照合。ローカルVLMは視覚的グラフから精密な数値を幻覚することがあります。

よくある質問

参考資料

• LLaVAプロジェクトページ — LLaVA 1.5・1.6モデルカード、アーキテクチャの詳細、トレーニングデータセットの説明。
• Hugging FaceのLlama 3.2 Vision — Metaの公式モデルリリース、モデルカード、ベンチマーク値。
• Hugging FaceのMiniCPM-V 2.6 — OpenBMBモデルカード、OCRベンチマーク、ファインチューニング手順。
• GitHubのMoondream — アーキテクチャの説明、推論スクリプト、モデルダウンロード。
• Hugging FaceのInternVL 2.5 — OpenGVLabモデルカード、ドキュメントとUIタスクのベンチマーク。
• Ollamaドキュメント — ビジョンモデルサポート、APIリファレンス、モデルライブラリ。
• Hugging FaceのQwen2-VL — AlibabaのQwen2-VLモデルカード、アーキテクチャの詳細、多言語OCRベンチマーク。
• Hugging FaceのPaliGemma 2 — GoogleのPaliGemma 2 3Bモデルカード。
• Hugging FaceのSmolVLM — HuggingFaceのSmolVLMモデルカードと推論手順。

関連記事

• ローカルマルチモーダルAIパイプライン2026 — ビジョンモデルとSTT・TTSを組み合わせた完全なローカルマルチモーダルスタック。
• ローカル音声認識2026：Whisper.cpp vs faster-whisper — ビジョン出力を補完する音声入力の追加。
• ローカルTTSと音声クローニング2026 — VLMの応答を読み上げる音声出力の追加。
• Ollamaのインストール — 前提条件：OllamaのセットアップとConfiguration。
• ローカルLLMハードウェアガイド2026 — ビジョンモデル推論のVRAMとRAM要件。