Ollama视觉模型(2026):如何真正在本地运行图像模型

历史:Ollama、llama.cpp与多模态支持

Ollama模型库中实际有哪些视觉模型

下载并运行视觉模型:分步说明

1. 1
   安装Ollama。
   Why it matters: 为macOS、Linux或Windows下载[Ollama](https://ollama.com)。安装过程是标准的安装程序/软件包形式,耗时不到两分钟。
2. 2
   下载一个视觉模型。
   Why it matters: 运行`ollama pull llava`(或`ollama pull qwen2.5vl`、`ollama pull minicpm-v`等)——这会下载模型权重,大小从不到2GB(Moondream)到数十GB(Llama 4)不等。
3. 3
   在提示词中引用图像并运行。
   Why it matters: 运行`ollama run llava "describe this image: ./photo.jpg"`。Ollama会检测提示词文本中的`.jpg`/`.png`文件路径,并自动附加该图像——这一模式自2023年12月的v0.1.15版本以来一直有效。
4. 4
   或者直接调用HTTP API。
   Why it matters: 向`http://localhost:11434/api/generate`或`/api/chat`发送POST请求,在`images`数组中放入base64编码的图像——确切的JSON格式记录在Ollama自己的[docs/api.md](https://github.com/ollama/ollama/blob/main/docs/api.md)中,下方的使用示例部分也有展示。
5. 5
   (可选)使用官方客户端库。
   Why it matters: 官方的`ollama` Python和JavaScript库可以直接接受图像文件路径,并替你处理base64编码,避免在脚本中手动编码。

真实使用示例:CLI与HTTP API

• CLI中不存在单独的图像参数。 Ollama会检测提示词文本本身中包含的.jpg/.png等文件路径,并自动附加该图像。
• /api/generate使用prompt;/api/chat使用messages。** 两者都接受一个由base64编码字符串组成的images数组;/api/chat支持多轮对话,可为单条消息附加图像。

# 通过CLI下载并运行——在提示词中直接引用图像路径
ollama pull llava
ollama run llava "describe this image: ./photo.jpg"

# --- HTTP API: /api/generate (记录于Ollama的docs/api.md) ---
curl http://localhost:11434/api/generate -d '{
  "model": "llava",
  "prompt": "What is in this picture?",
  "stream": false,
  "images": ["<base64-encoded image data>"]
}'

# --- HTTP API: /api/chat (多轮对话,同样记录于docs/api.md) ---
curl http://localhost:11434/api/chat -d '{
  "model": "llava",
  "messages": [
    { "role": "user", "content": "What is in this image?", "images": ["<base64-encoded image data>"] }
  ]
}'

# --- Python: 官方ollama库(自动处理base64编码) ---
import ollama

response = ollama.chat(
    model="llava",
    messages=[{
        "role": "user",
        "content": "What is in this image?",
        "images": ["photo.jpg"],
    }],
)
print(response["message"]["content"])

# --- Python: 手动base64编码调用原始HTTP API ---
import base64
import requests

def ask_vision_model(image_path: str, prompt: str, model: str = "llava") -> str:
    with open(image_path, "rb") as f:
        image_b64 = base64.b64encode(f.read()).decode("utf-8")
    response = requests.post(
        "http://localhost:11434/api/generate",
        json={"model": model, "prompt": prompt, "images": [image_b64], "stream": False},
    )
    return response.json()["response"]

VRAM与硬件指南

Ollama不适合做什么

• 对模型进行微调或训练。 Ollama仅用于推理——它运行已训练好的模型权重,不提供训练或微调流程。如果你需要在自己的数据上微调一个视觉语言模型,需要使用另一套工具链(例如LLaVA原始仓库自带的训练脚本,或Hugging Face Transformers之类的框架)。
• 最前沿的专有多模态能力。 Ollama的模型库围绕开放权重模型构建。截至本次评测,GPT-4o、Claude和Gemini的云端视觉API在复杂场景理解、手写识别和模糊图像方面通常领先于开放的本地模型——Ollama适合以零边际成本进行私有、自托管的图像处理,而不是用来匹配绝对最前沿的技术水平。
• 从图表和曲线图中精确提取数字。 这是底层视觉语言模型本身的局限性,并非Ollama这一运行工具所特有——无论使用哪种模型或运行工具,都应始终将提取出的数字与原始数据进行核对。
• "哪个模型最好"这类问题没有统一答案。 通过Ollama选择哪个视觉模型取决于具体任务:OCR密集型的文档处理适合Qwen2.5-VL,低VRAM下的OCR适合MiniCPM-V,通用图像问答适合Llama 3.2 Vision,而追求最轻量则适合Moondream。按任务给出的详细建议请参见PromptQuorum的本地视觉模型比较。

Ollama视觉模型的替代方案

常见问题

结论

资料来源

• Ollama的GitHub仓库 —— 仓库创建日期、许可证及发布历史。
• Ollama v0.1.15发布说明 —— 2023年12月12日,多模态/LLaVA支持的最初公告。
• Ollama面向多模态模型的新引擎 —— 2026年5月的多模态引擎重构,涵盖Llama 4、Gemma 3、Qwen2.5-VL和Mistral Small 3.1。
• Ollama API文档 —— 关于图像处理的/api/generate和/api/chat有文档记录的请求/响应格式。
• Ollama模型库 —— 用于核实本文所列每个模型的实时模型库,包含llava、llama3.2-vision、qwen2.5vl、minicpm-v、moondream、granite3.2-vision、gemma3、llama4以及mistral-small3.1的独立页面。

相关阅读

• LLaVA评测(2026) —— 专门深入探讨LLaVA本身,包括其历史与许可细节。
• 本地视觉模型2026:LLaVA、Llama 3.2 Vision、Qwen3-VL与Ollama多模态配置 —— 对当前本地视觉模型更广泛的按任务比较。
• Ollama最新版本2026:v0.33.1及按用例划分的最佳模型 —— Ollama在视觉之外更广泛的模型目录,包括哪些文本模型最受欢迎。