LLaVAレビュー(2026):ローカルビジョンAIの原点となった研究モデル

歴史:研究論文からローカルAIの標準へ

LLaVAが実際に行うこと

• CLIPエンコーダーとLLMデコーダー。 LLaVAはCLIP ViT-L/14ビジョンエンコーダーを使って画像を視覚的特徴のシーケンスに変換し、コネクターモジュールを介してこれらの特徴を言語モデルのテキストトークンと同じ埋め込み空間に投影し、結合されたシーケンスをVicuna(Llama 2ベース)、あるいは後のバージョンではMistralなど他のベースLLMに供給して応答を生成します。
• ビジュアル指示チューニング。 生の画像・キャプションペアで訓練する代わりに、LLaVAはLLaVA-Instruct-150Kでファインチューニングされました。これは、GPT-4に画像キャプションと物体検出のアノテーションを与えてプロンプトすることで生成された、複数ターンの視覚的会話データセットです——モデルに単にキャプションを生成するのではなく、オープンエンドな視覚的指示に従うことを教えます。
• Ollama経由の3つのモデルサイズ。 Ollamaライブラリは、LLaVAを7B(4.7GB)、13B(8.0GB)、34B(20GB)のサイズでパッケージしています——一般的に大きなモデルほど詳細で正確な説明を生成しますが、VRAMをより多く消費し、推論も遅くなります。
• LLaVA-1.6(LLaVA-NeXT)の解像度改善。 Ollamaと公式リポジトリを通じてサポートされている現行バージョンは、動的パッチングによってより高い入力解像度に対応しており、2023年のオリジナルリリースと比較してテキスト読み取りと細部のタスクが顕著に改善されています。
• 英語中心のトレーニング。 LLaVA-Instruct-150Kと評価対象となった基礎ベンチマークは主に英語であるため、画像内の非英語テキストに対する初期状態でのパフォーマンスは、多言語文書データで特別に訓練されたモデルよりも弱くなります。

LLaVAのインストールと実行:ステップバイステップ

1. 1
   Ollamaをインストールする。
   Why it matters: macOS、Linux、Windows向けに[Ollama](https://ollama.com)をダウンロードしてインストールします。これは[Ollamaライブラリページ](https://ollama.com/library/llava)によれば、LLaVAを実行する公式に記載された方法であり、2分もかかりません。
2. 2
   LLaVAのモデルサイズをダウンロードする。
   Why it matters: デフォルトの7Bモデル(~4.7GB)には`ollama pull llava`を実行するか、より高い品質を求める場合は`ollama pull llava:13b`(~8.0GB)または`ollama pull llava:34b`(~20GB)を実行してください。ただし、より多くのVRAMとディスク容量が必要になります。
3. 3
   CLIから画像を指定して実行する。
   Why it matters: `ollama run llava "describe this image: ./photo.jpg"`を実行し、プロンプトテキスト内で直接ローカルの画像ファイルパスを参照します——別途フラグは不要です。
4. 4
   (代替案)研究レベルの制御にはオリジナルリポジトリを使用する。
   Why it matters: [haotian-liu/LLaVA](https://github.com/haotian-liu/LLaVA)をクローンし、`requirements.txt`をインストールして、Hugging Faceからチェックポイントをダウンロードすれば、トレーニングスクリプト、評価ハーネス、Gradio Webデモへの完全なアクセスが得られます——研究やファインチューニングには有用ですが、Ollamaよりはるかにセットアップのハードルが高くなります。
5. 5
   (オプション)Ollama API経由でプログラムから呼び出す。
   Why it matters: `images`配列にBase64エンコードされた文字列として画像を含め、`http://localhost:11434/api/generate`にPOSTするか、公式の`ollama` PythonまたはJavaScriptライブラリを使用します——下記のコード例を参照。

実際の使用例

• CLIプロンプト内でファイルパスを参照するだけで十分です — Ollamaは.jpg/.pngパスを検出し、自動的に画像を添付します。個別の--imageフラグは存在しません。
• 大きなモデルサイズはより多くのVRAMと時間を要します。 7Bモデルは最速で最もVRAM消費の少ない選択肢です。説明の正確さが速度よりも重要な場合は13Bまたは34Bを使用してください。

# インストールしてモデルをダウンロード
# (まず https://ollama.com からOllamaをダウンロード)
ollama pull llava

# CLI:プロンプト内でファイルパスを参照して画像を説明する
ollama run llava "describe this image: ./photo.jpg"

# --- HTTP API(Ollama自身のdocs/api.mdで文書化) ---
# Base64エンコードされた画像を使った /api/generate
curl http://localhost:11434/api/generate -d '{
  "model": "llava",
  "prompt": "What is in this picture?",
  "stream": false,
  "images": ["<Base64エンコードされた画像データ>"]
}'

# Base64エンコードされた画像を使った /api/chat(複数ターンの会話)
curl http://localhost:11434/api/chat -d '{
  "model": "llava",
  "messages": [
    { "role": "user", "content": "What is in this image?", "images": ["<Base64エンコードされた画像データ>"] }
  ]
}'

# --- 公式ollamaライブラリを使ったPython例 ---
import ollama

response = ollama.chat(
    model="llava",
    messages=[{
        "role": "user",
        "content": "What is in this image?",
        "images": ["photo.jpg"],
    }],
)
print(response["message"]["content"])

ライセンスと費用

LLaVAが向いていない用途

• テキストのみのタスク。 LLaVAはビジョン言語モデルです。画像を伴わない純粋なテキスト会話には、専用のテキストLLM(Ollama経由でもそれ以外でも)を使用してください——テキストのみのチャットにマルチモーダルモデルを実行することは、ビジョンエンコーダーが占有するVRAMを、何の利益もなく無駄にすることになります。
• 利用可能な最強のローカルOCRや文書理解が必要な場合。 2026年時点で、LLaVA-NeXT以降にリリースされたモデル——MiniCPM-V、Qwen2.5-VL、Llama 3.2 Vision——は、PromptQuorumのローカルビジョンモデル比較によれば、文書OCR、表、構造化された抽出でLLaVAを上回っています。LLaVAのビジョンエンコーダーは、この世代の高解像度で文書に焦点を当てた訓練データが存在する前に設計・訓練されました。
• 画像内の非英語テキストを読む場合。 LLaVA-Instruct-150Kとモデルの中核となる訓練データは主に英語です。中国語、日本語、韓国語、その他の非ラテン文字の文書OCRには、多言語文書コーパスで特別に訓練されたモデル(Qwen2.5-VL)が顕著に優れています。
• グラフや図表からの正確な数値抽出。 2026年時点のほぼすべてのローカルビジョン言語モデルと同様、LLaVAは複雑なグラフから正確な値を読み取ることに関して信頼性がありません——使用するモデルにかかわらず、抽出された数値は元のデータと照合してください。
• 継続的な積極的開発を前提とすること。 公式リポジトリには2024年5月11日以降コミットがないため、オリジナルプロジェクトから新機能、バグ修正、新しいチェックポイントが提供されると期待しないでください——Ollama自身のマルチモーダルエンジンの更新と新しいモデルファミリーが、事実上、積極的に開発されている選択肢としてこれに取って代わりました。
• 単一のシンプルなライセンスの物語。 コード(Apache-2.0)と公式にリリースされたチェックポイント(Apache-2.0に加え、継承されたLlama 2コミュニティライセンス条件、さらにプロジェクトの別のホームページにあるより厳格な研究専用の記述)が、3つの重複しながらも完全には一致しない記述によって規定されているため、LLaVAはBarkのようなプロジェクト(完全にMITで追加条件なし)が提供するような一行で済むライセンスの明快さを提供しません。

LLaVAの代替案

よくある質問

結論

出典

• GitHub上のLLaVA — 公式リポジトリ:README、LICENSE、インストール手順、コミット履歴。
• 「Visual Instruction Tuning」論文(NeurIPS 2023) — 論文へのリンク、ライセンスに関する記述、バージョン履歴を含むプロジェクトのホームページ。
• Ollama上のLLaVA — 公式にリストされているモデルページ:サイズ、説明、ライブラリのメタデータ。
• Ollama APIドキュメント — マルチモーダルモデル向けの/api/generateと/api/chatのリクエスト/レスポンス形式を文書化したもの。
• ローカルビジョンモデル2026:LLaVA、Llama 3.2 Vision、Qwen3-VL & Ollamaマルチモーダルセットアップ — PromptQuorumの現行ローカルビジョンモデル全体を対象とした、より広範な比較。

関連記事

• ローカルビジョンモデル2026:LLaVA、Llama 3.2 Vision、Qwen3-VL & Ollamaマルチモーダルセットアップ — このレビューがLLaVA固有の深さで補完する、複数モデル比較のハブ記事。