Ollamaのビジョンモデル(2026):画像モデルをローカルで実際に動かす方法

歴史:Ollama、llama.cpp、マルチモーダル対応

Ollamaのライブラリに実際にあるビジョンモデル

ビジョンモデルのpullと実行:手順

1. 1
   Ollamaをインストールする。
   Why it matters: macOS、Linux、Windows用に[Ollama](https://ollama.com)をダウンロードする。インストールは標準的なインストーラー/パッケージで、2分もかからない。
2. 2
   ビジョンモデルをpullする。
   Why it matters: `ollama pull llava`(または`ollama pull qwen2.5vl`、`ollama pull minicpm-v`など)を実行する——これによりモデルの重みがダウンロードされる。サイズは2GB未満(Moondream)から数十GB(Llama 4)まで幅がある。
3. 3
   プロンプトに画像を記載して実行する。
   Why it matters: `ollama run llava "describe this image: ./photo.jpg"`を実行する。Ollamaはプロンプトのテキスト中の`.jpg`/`.png`ファイルパスを検出し、自動的に画像を添付する——このパターンは2023年12月のv0.1.15以降ずっと機能している。
4. 4
   または直接HTTP APIを呼び出す。
   Why it matters: `http://localhost:11434/api/generate`または`/api/chat`に対して、base64エンコードした画像を`images`配列に入れてPOSTする——正確なJSON形式はOllama自身の[docs/api.md](https://github.com/ollama/ollama/blob/main/docs/api.md)に記載されており、下の使用例セクションでも示す。
5. 5
   (任意)公式クライアントライブラリを使う。
   Why it matters: 公式の`ollama` PythonおよびJavaScriptライブラリは画像ファイルパスを直接受け付け、base64エンコードを自動で処理してくれるため、スクリプト内で手動エンコードする必要がない。

実際の使用例:CLIとHTTP API

• CLIに専用の画像フラグは存在しない。 Ollamaはプロンプトテキスト自体に含まれる.jpg/.pngなどのファイルパスを検出し、自動的に添付する。
• /api/generateはpromptを使い、/api/chatはmessagesを使う。** どちらもbase64エンコードされた文字列のimages配列を受け付け、/api/chatは個々のメッセージに画像を添付したマルチターン会話に対応する。

# CLI経由でpullして実行——プロンプト内に画像パスを直接記載
ollama pull llava
ollama run llava "describe this image: ./photo.jpg"

# --- HTTP API: /api/generate (Ollamaのdocs/api.mdに記載) ---
curl http://localhost:11434/api/generate -d '{
  "model": "llava",
  "prompt": "What is in this picture?",
  "stream": false,
  "images": ["<base64-encoded image data>"]
}'

# --- HTTP API: /api/chat (マルチターン、こちらもdocs/api.mdに記載) ---
curl http://localhost:11434/api/chat -d '{
  "model": "llava",
  "messages": [
    { "role": "user", "content": "What is in this image?", "images": ["<base64-encoded image data>"] }
  ]
}'

# --- Python: 公式ollamaライブラリ(base64エンコードを自動処理) ---
import ollama

response = ollama.chat(
    model="llava",
    messages=[{
        "role": "user",
        "content": "What is in this image?",
        "images": ["photo.jpg"],
    }],
)
print(response["message"]["content"])

# --- Python: 手動base64エンコードによる生のHTTP API呼び出し ---
import base64
import requests

def ask_vision_model(image_path: str, prompt: str, model: str = "llava") -> str:
    with open(image_path, "rb") as f:
        image_b64 = base64.b64encode(f.read()).decode("utf-8")
    response = requests.post(
        "http://localhost:11434/api/generate",
        json={"model": model, "prompt": prompt, "images": [image_b64], "stream": False},
    )
    return response.json()["response"]

VRAMとハードウェアの目安

Ollamaが向いていない用途

• モデルのファインチューニングや学習。 Ollamaは推論専用であり——学習済みの重みを実行するだけで、学習やファインチューニングのパイプラインは提供しない。自前のデータでビジョン言語モデルをファインチューニングしたい場合は、別のツールチェーン(元のLLaVAリポジトリ自体の学習スクリプトや、Hugging Face Transformersのようなフレームワークなど)が必要になる。
• 最先端のプロプライエタリなマルチモーダル性能。 Ollamaのライブラリはオープンウェイトモデルを中心に構築されている。本レビュー時点では、GPT-4o、Claude、Geminiのクラウドビジョンaiは、複雑なシーン理解、手書き文字認識、曖昧な画像において一般にオープンなローカルモデルをリードしている——Ollamaは1画像あたりの限界費用ゼロでプライベートに自己ホストする用途に向いており、絶対的な最先端に張り合うためのものではない。
• グラフや図表からの正確な数値抽出。 これはOllamaというランナー固有の制約ではなく、基盤となるビジョン言語モデル自体の限界である——どのモデルやランナーを使う場合でも、抽出した数値は元データと必ず照合してほしい。
• 「どのモデルが最良か」への単一の答え。 Ollamaでどのビジョンモデルが適しているかはタスク次第だ:OCR中心の文書処理にはQwen2.5-VL、低VRAMでのOCRにはMiniCPM-V、汎用的な画像Q&AにはLlama 3.2 Vision、最軽量にはMoondream。タスク別の詳しい指針はPromptQuorumのローカルビジョンモデル比較を参照。

Ollamaの代替となるビジョンモデルツール

よくある質問

結論

出典

• Ollama on GitHub — リポジトリの作成日、ライセンス、リリース履歴。
• Ollama v0.1.15リリースノート — 2023年12月12日、マルチモーダル/LLaVA対応の最初の発表。
• Ollamaのマルチモーダルモデル向け新エンジン — 2026年5月のマルチモーダルエンジン刷新。Llama 4、Gemma 3、Qwen2.5-VL、Mistral Small 3.1を対象。
• Ollama APIドキュメント — 画像に関する/api/generateと/api/chatのドキュメント化されたリクエスト/レスポンス形式。
• Ollamaモデルライブラリ — 本記事に掲載した全モデルの確認に使用したライブラリ本体。個別ページとしてllava、llama3.2-vision、qwen2.5vl、minicpm-v、moondream、granite3.2-vision、gemma3、llama4、mistral-small3.1を含む。

関連記事

• LLaVAレビュー(2026) — LLaVA単体を深く掘り下げたレビュー。歴史やライセンスの注意点を含む。
• ローカルビジョンモデル2026:LLaVA、Llama 3.2 Vision、Qwen3-VL & Ollamaマルチモーダルセットアップ — 現在のローカルビジョンモデルをタスク別に幅広く比較。
• Ollama最新バージョン2026:v0.33.1 + 用途別おすすめモデル — ビジョン以外を含むOllamaの幅広いモデルカタログと、人気のテキストモデル。