本地运行 Qwen2-VL 2026：文档 OCR 与图像识别指南

为什么 Qwen2-VL 在本地视觉模型中领先于多语言 OCR

选择 Qwen2-VL 的模型尺寸

Qwen2-VL 的硬件要求

• 最低（Qwen2-VL 7B Q4）：配备 8 GB VRAM 的 GPU——NVIDIA RTX 4060、RTX 3060 12 GB 或 RTX 2080。
• 低 VRAM 选项（Qwen2-VL 2B Q4）：4 GB VRAM——可在大多数笔记本 GPU 和集成的 Apple Silicon 上运行。
• 最高质量（Qwen2-VL 72B Q4）：约 48 GB——配备 64 GB 以上统一内存的 Apple Silicon，或两块 24 GB 的 GPU。
• Apple Silicon：配备 16 GB 以上统一内存的 M 系列芯片可轻松运行 7B 模型；72B 模型需要 64 GB 以上。
• 系统内存：在 GPU 推理之外至少需要 16 GB；若同时打开完整的开发环境，建议 32 GB。
• 存储空间：Qwen2-VL 7B Q4（GGUF）需要约 6 GB 可用磁盘空间，72B 需要约 30 GB。

使用 Ollama 设置 Qwen2-VL

1. 1
   安装 Ollama
   Why it matters: Ollama 负责模型下载、GGUF 格式和本地 API。支持 macOS、Linux 和 Windows。
2. 2
   使用明确的尺寸标签拉取 Qwen2-VL
   Why it matters: 使用 qwen2-vl:7b。单独的 qwen2-vl 标签可能解析为其他尺寸——请始终指定 2b、7b 或 72b，以获取本指南所针对的模型。
3. 3
   运行模型并附加图像
   Why it matters: 在交互模式下，在提示中输入图像文件路径。Ollama 会检测该路径并将图像加载到视觉编码器中。
4. 4
   通过 API 发送图像
   Why it matters: /api/generate 端点接受 base64 编码的 images 数组。应用程序——以及 PromptQuorum——通过这种方式以编程方式发送图像。
5. 5
   验证多语言 OCR
   Why it matters: 发送一份中文或日文文档扫描件，确认提取的文本是否匹配。这能在你进一步构建之前，证明视觉编码器和分词器能正确处理 CJK 文字。

# Step 1 — Install Ollama
# macOS
brew install ollama

# Linux
curl -fsSL https://ollama.com/install.sh | sh

# Windows — download from https://ollama.com/download

# Step 2 — Pull Qwen2-VL 7B (explicit size tag)
ollama pull qwen2-vl:7b
# Downloads Qwen2-VL 7B Q4_K_M (~6 GB)

# Step 3 — Run and attach an image (interactive)
ollama run qwen2-vl:7b
>>> Extract every line of text from ./invoice-jp.png

# Step 4 — Send an image through the API
# Encode the image first:  base64 -i scan.png   (macOS)
curl http://localhost:11434/api/generate -d '{
  "model": "qwen2-vl:7b",
  "prompt": "Extract every line of text from this document. Preserve line breaks.",
  "images": ["<base64-encoded-image>"],
  "stream": false
}'

# Step 5 — Verify multilingual OCR
ollama run qwen2-vl:7b
>>> Extract all text from this image: ./contract-zh.png

使用 LM Studio 设置 Qwen2-VL

1. 1
   下载并安装 LM Studio
   Why it matters: 一款免费、跨平台的本地模型推理图形界面。无需终端。
2. 2
   在模型浏览器中搜索 Qwen2-VL
   Why it matters: 搜索“Qwen2-VL 7B”并选择 Q4_K_M GGUF 版本。LM Studio 会用图像图标标记支持视觉的模型。
3. 3
   加载模型并附加图像
   Why it matters: 点击输入框中的图像图标以上传照片或扫描件。LM Studio 会将其传递给视觉编码器。
4. 4
   启动本地服务器
   Why it matters: “Start Server”按钮会在 localhost:1234 上提供 OpenAI 兼容 API。视觉请求使用标准的 image_url 内容格式。

// LM Studio — OpenAI-compatible vision request (localhost:1234)
{
  "model": "qwen2-vl-7b",
  "messages": [
    {
      "role": "user",
      "content": [
        { "type": "text", "text": "Extract all text from this document." },
        {
          "type": "image_url",
          "image_url": { "url": "data:image/png;base64,<base64-encoded-image>" }
        }
      ]
    }
  ]
}

中文、日文和多语言混合文件的文档 OCR

• 纯文本提取：“从这张图像中提取每一行文本。保留换行和阅读顺序。”
• 结构化字段：“这是一张日文发票。请以 key: value 对的形式返回供应商、日期、小计、税额和总额。”
• 表格提取：“将此表格提取为 CSV。将第一行视为表头。”
• 一次完成提取与翻译：“从这张图像中提取中文文本，然后翻译成英文。两者都显示。”

# Japanese invoice -> structured fields
ollama run qwen2-vl:7b
>>> This is a Japanese invoice. Extract vendor name, invoice date,
    subtotal, consumption tax, and total. Return as key: value pairs.
    ./invoice-jp.png

# Example output:
# vendor: Sample Trading Co., Ltd.
# date: 2026-04-30
# subtotal: 84,000 JPY
# tax: 8,400 JPY
# total: 92,400 JPY

图像问答、屏幕截图分析与图表读取

• 图像问答：就一张照片提出开放性问题——“这张图里有什么？”“有多少人穿着红色？”。Qwen2-VL 7B 在清晰照片上很准确，在杂乱或含糊的场景上较弱。
• 屏幕截图与 UI 分析：Qwen2-VL 能读取 UI 截图、错误对话框和应用状态。对于密集的代码截图，InternVL 2.5 在这类数据上训练得更充分——如果 UI 和代码是你的主要用途，请使用它。
• 图表与图形读取：Qwen2-VL 能很好地描述图表结构和趋势，但从图表中读出的精确数值在所有本地视觉模型上都不可靠。请将精确数字与底层数据核对。
• 视频帧：Qwen2-VL 接受将多帧作为序列——以约每秒一帧采样，最多发送 8 帧来总结一段短视频。
• 多图对比：在一次请求中发送最多 8 张图像，以对比版本、找出差异或批量描述一组图像。

Qwen2-VL 对比 LLaVA 与 Llama 3.2 Vision

将本地 Qwen2-VL 连接到 PromptQuorum

# PromptQuorum dispatch config — local Qwen2-VL via Ollama
# Set in your .env or the PromptQuorum settings panel

OLLAMA_BASE_URL=http://localhost:11434/v1
LOCAL_VISION_MODEL=qwen2-vl:7b

# Example routing rules:
# - task_type: ocr / image  -> qwen2-vl:7b        (local Ollama, no cloud upload)
# - task_type: text         -> claude-sonnet-4-6  (Anthropic API, separate config)

Qwen2-VL 故障排除

• 出现“unknown model”或拉取失败：请使用明确的尺寸标签——`ollama pull qwen2-vl:7b`，而不是 `qwen2-vl`。运行 `ollama list` 确认已安装的名称。
• 图像被忽略，模型回应得好像没有发送图像：确认文件路径正确且可读。在 Ollama API 中，`images` 数组必须包含*不带* `data:` 前缀的原始 base64——`data:` 前缀仅用于 LM Studio 和 OpenAI 格式。
• CJK 字符乱码或缺失：扫描件分辨率过低。请以 150–300 DPI 重新扫描。Qwen2-VL 可读取最高 4096×4096，因此更高的输入分辨率会直接提升中文和日文的精度。
• CUDA 显存不足（out of memory）：模型无法装入你的 VRAM。请切换到 Qwen2-VL 2B（约 3 GB），或在 CPU 与 GPU 共享统一内存的 Apple Silicon 上运行。
• 首次响应慢，之后变快：这是正常的。视觉编码器在第一个 token 时处理整张图像，之后文本以接近正常的速度生成。
• 从发票或图表中提取出错误数字：本地视觉模型在嘈杂输入上会读错数字。请提高扫描质量，并始终将数字输出与源数据核对。
• PDF 无法加载：没有任何本地视觉模型直接接受 PDF。请先将页面转换为 PNG 或 JPEG（使用 pdf2image 或 pypdfium2），再将每页作为单独的图像发送。
• LM Studio 显示“failed to load model”：要么 VRAM 不足，要么你下载了不支持视觉的 GGUF。请确认模型卡标明支持视觉，并选择 Q4_K_M 版本。

延伸阅读

• 如何在本地运行 Qwen 3 — 文本模型的对应文章：使用 Ollama 和 LM Studio 设置 Qwen 3。
• 本地视觉模型对比：LLaVA、Llama 3.2 Vision、MiniCPM-V — 每个本地视觉模型的完整综述，附基准测试。
• 多模态本地 LLM：视觉、音频与文本 — 在本地运行多模态模型的更广泛概览。
• Qwen 对比 Llama 对比 Mistral — Qwen 文本模型与替代方案的对比。
• 本地 LLM 硬件指南 2026 — 本地推理的 VRAM 和 GPU 要求。
• 浏览所有本地 LLM 指南

常见问题