2026年如何在本地运行Qwen2.5-VL和Qwen3-VL：文档OCR与视觉指南

应该运行哪个Qwen视觉模型？

Qwen3-VL与Qwen2.5-VL的Ollama标签、大小与许可证

Qwen视觉模型的硬件要求

• 下载大小只含权重：Qwen3-VL 8B为6.2 GB，Qwen2.5-VL 7B为6.0 GB。上下文缓存和图像编码器需要额外内存，且随上下文长度和图像大小增长，因此请在下载大小之上留出余量。
• 较小的选项：Qwen3-VL 2B（1.9 GB）和4B（3.3 GB），或Qwen2.5-VL 3B（3.2 GB），适合小显存GPU和笔记本；准确率预计低于7B–8B模型。
• 较大的选项：Qwen3-VL 30B-A3B（20 GB）、Qwen3-VL 32B和Qwen2.5-VL 32B（21 GB）以及Qwen2.5-VL 72B（49 GB）需要大显存GPU、多张GPU，或统一内存很大的Apple Silicon。
• 部分卸载：模型装不进显存时，Ollama可以把一部分放到系统内存中；能运行，但速度会明显变慢。
• 软件：如Ollama库页面所述，Qwen3-VL需要Ollama 0.12.7+，Qwen2.5-VL需要0.7.0+。

使用Ollama配置Qwen2.5-VL与Qwen3-VL

1. 1
   安装或更新Ollama
   Why it matters: Qwen2.5-VL需要Ollama 0.7.0或更高版本，Qwen3-VL需要0.12.7或更高版本。用`ollama --version`检查，必要时更新。Ollama支持macOS、Linux和Windows。
2. 2
   使用明确的标签拉取模型
   Why it matters: 使用`qwen3-vl:8b`或`qwen2.5vl:7b`。不要使用`qwen2-vl:7b`——它不在Ollama官方库中，拉取会失败。
3. 3
   运行模型并附加图像
   Why it matters: 在交互模式下，在提示词中输入图像文件路径。Ollama会识别路径并加载图像。
4. 4
   通过API发送图像
   Why it matters: /api/generate端点接受不带data:前缀的base64编码`images`数组。应用程序（包括PromptQuorum）就是这样以编程方式发送图像的。
5. 5
   验证多语言OCR
   Why it matters: 发送一份中文或日文文档的扫描件，把提取出的文本与原件核对后，再基于它继续构建。

# Step 1 — Install or update Ollama (Qwen3-VL needs 0.12.7+, Qwen2.5-VL needs 0.7.0+)
# macOS
brew install ollama

# Linux
curl -fsSL https://ollama.com/install.sh | sh

# Windows — download from https://ollama.com/download
ollama --version

# Step 2 — Pull a Qwen vision model (explicit tag)
ollama pull qwen3-vl:8b          # 6.2 GB
# or: ollama pull qwen2.5vl:7b   # 6.0 GB

# Step 3 — Run and attach an image (interactive)
ollama run qwen3-vl:8b
>>> Extract every line of text from ./invoice-jp.png

# Step 4 — Send an image through the API
# Encode the image first:  base64 -i scan.png   (macOS)
curl http://localhost:11434/api/generate -d '{
  "model": "qwen3-vl:8b",
  "prompt": "Extract every line of text from this document. Preserve line breaks.",
  "images": ["<base64-encoded-image>"],
  "stream": false
}'

# Step 5 — Verify multilingual OCR
ollama run qwen3-vl:8b
>>> Extract all text from this image: ./contract-zh.png

使用LM Studio配置Qwen视觉模型

1. 1
   下载并安装LM Studio
   Why it matters: 用于本地模型推理的跨平台图形界面，无需终端。
2. 2
   搜索Qwen视觉模型
   Why it matters: 在模型浏览器中搜索“Qwen3-VL”或“Qwen2.5-VL”，选择模型卡标明支持视觉的版本，并根据内存选择量化。
3. 3
   加载模型并附加图像
   Why it matters: 使用聊天输入框中的图像按钮上传照片或扫描件，LM Studio会把它传给视觉编码器。
4. 4
   启动本地服务器
   Why it matters: “Start Server”选项会在localhost:1234提供OpenAI兼容API，视觉请求使用标准的image_url内容格式。

// LM Studio — OpenAI-compatible vision request (localhost:1234)
{
  "model": "<model-id-shown-in-LM-Studio>",
  "messages": [
    {
      "role": "user",
      "content": [
        { "type": "text", "text": "Extract all text from this document." },
        {
          "type": "image_url",
          "image_url": { "url": "data:image/png;base64,<base64-encoded-image>" }
        }
      ]
    }
  ]
}

中文、日文及多语言混合文档的OCR

• 纯文本提取：“提取这张图像中的每一行文字，保留换行和阅读顺序。”
• 结构化字段：“这是一张日本发票。以 key: value 形式返回供应商、日期、小计、税额和总计。”
• 表格提取：“把这个表格提取为CSV，将第一行视为表头。”
• 一次完成提取与翻译：“提取这张图像中的中文文字，然后翻译成英文，两者都显示。”

# Japanese invoice -> structured fields
ollama run qwen3-vl:8b
>>> This is a Japanese invoice. Extract vendor name, invoice date,
    subtotal, consumption tax, and total. Return as key: value pairs.
    ./invoice-jp.png

# Illustrative output format (not a measured result):
# vendor: <vendor name>
# date: <invoice date>
# subtotal: <amount> JPY
# tax: <amount> JPY
# total: <amount> JPY

图像问答、截图分析与图表读取

• 图像问答：对照片提出开放式问题，例如“这张图里有什么？”，并对照图像核实答案。
• 截图与界面分析：先从读取界面截图、错误对话框和应用状态开始。两个模型的模型卡还描述了GUI智能体能力，本指南不涉及。
• 图表读取：描述图表结构和趋势的效果好于提取精确数值；精确数字请对照原始数据确认。
• 多图对比：在一次请求中发送多张图像，用于比较不同版本或批量描述一组图像；能放入多少张取决于你的内存和上下文大小。

Qwen2-VL、Qwen2.5-VL与Qwen3-VL对比

将本地Qwen视觉模型连接到PromptQuorum

Qwen视觉模型故障排查

• “pull model manifest: file does not exist”或未知模型：该标签不在官方库中。`qwen2-vl:7b`不可用——请使用`ollama pull qwen3-vl:8b`或`ollama pull qwen2.5vl:7b`。
• 拉取成功但模型无法加载：请更新Ollama。Qwen2.5-VL需要0.7.0+，Qwen3-VL需要0.12.7+。
• 图像被忽略，模型像没收到图像一样回答：确认文件路径正确且可读。在Ollama API中，`images`数组必须包含不带`data:`前缀的原始base64——`data:`前缀仅适用于LM Studio和OpenAI格式。
• CJK字符乱码或缺失：扫描分辨率可能过低。请以150–300 DPI重新扫描并对比结果。
• 内存不足：改用更小的标签（例如`qwen3-vl:4b`或`qwen2.5vl:3b`），降低上下文大小或图像分辨率，或使用在CPU与GPU之间共享统一内存的Apple Silicon。
• 从发票或图表中提取出错误数字：在有噪点的输入上，本地视觉模型可能读错数字。请提高扫描质量，并始终对照原件核对数值输出。
• PDF无法加载：Ollama的API接受图像，不接受PDF文件。先把页面转换为PNG或JPEG（使用pdf2image或pypdfium2），再把每一页作为单独的图像发送。
• LM Studio显示“failed to load model”：要么内存不足，要么下载了不支持视觉的版本。请确认模型卡标明支持视觉，并尝试更小的量化。

相关阅读

• 如何在本地运行Qwen 3 — 文本模型配套指南：Qwen语言模型的Ollama与LM Studio配置。
• 本地视觉模型对比：LLaVA、Llama 3.2 Vision、MiniCPM-V — 其他本地视觉模型的完整概览。
• 多模态本地大模型：视觉、音频与文本 — 在本地运行多模态模型的更广泛概述。
• Qwen vs Llama vs Mistral — Qwen文本模型与其他方案的对比。
• 本地大模型硬件指南 — 本地推理所需的显存和GPU。
• 浏览全部本地大模型指南

常见问题