2026年最佳本地视觉模型：Gemma 4、Qwen3-VL、LLaVA与Ollama多模态配置

快速概览

• VLM的功能： 图像+文本输入 → 文本输出。不是图像生成器——这些是图像*理解*模型。
• Ollama支持： Gemma 4、Qwen3.8、Qwen3.5、Qwen3-VL、Llama 3.2 Vision、MiniCPM-V、LLaVA和Moondream均在Ollama官方模型库中；InternVL、PaliGemma 2和SmolVLM需使用社区构建版本。
• 最小可用模型： Moondream 2（1.8B，下载1.7 GB）、Qwen3-VL 2B（1.9 GB）和Qwen3.5 0.8B（1.2–1.3 GB）。
• 最大实用本地模型： Qwen3.5 122B（81 GB）需128 GB的Mac，Llama 3.2 Vision 90B（55 GB）需96 GB以上的Mac（Apple M系列）或多GPU；Qwen3-VL 235B需要143 GB。
• 图像输入格式： JPEG、PNG、WebP。最大分辨率因模型而异（通常1024×1024至4096×4096）。
• 音频与视频： Gemma 4 E2B、E4B和12B还支持音频输入；所有Gemma 4规格和Qwen3.8均可将视频按帧处理。
• OCR强度： Qwen3.8 27B ≈ Qwen3-VL 8B ≈ Qwen3.5 9B > Gemma 4 > MiniCPM-V > LLaVA 1.6 13B > LLaVA 1.6 7B > Moondream 2。
• 多模态≠高速： 视觉模型在LLM基础上增加视觉编码器——token生成速度比同参数量纯文本模型慢约30–60%。

什么是视觉语言模型（VLM）？

• 与图像生成器的区别： Stable Diffusion、FLUX和DALL-E 3是文本生成图像的生成器。VLM是图像到文本的模型——它们描述、分析并回答关于图像的问题。
• 与纯OCR工具的区别： 传统OCR（Tesseract）通过模式识别提取文本。VLM理解上下文——可解释表格含义、回答图表问题或识别照片中的对象。
• 为何在本地运行： 私密文档（医疗记录、法律扫描件、财务报表）、专有截图，或因合规要求不能将图像发送到云端API的工作流。
• 不能做的事： 生成图像、执行截图中的代码或访问互联网。VLM仅根据图像中可见内容生成文本输出。

可用本地视觉模型——对比表

示例对比：发票提取

多图像支持

• MiniCPM-V每次提示最多接受4张图像；Qwen3-VL最多支持8张。LLaVA和Moondream每次请求只接受单张图像。
• 多图像的重要场景： 发送多页PDF的所有页面进行完整文档提取；并排比较两张产品照片；在单个提示中分析前后截图对比。

Ollama配置——逐步说明

• 步骤1——安装Ollama： 从ollama.com下载macOS、Linux或Windows版本。安装时间不超过2分钟。
• 步骤2——拉取视觉模型： 8 GB显卡用 ollama pull gemma4:e4b（下载6.6–9.5 GB），OCR用 ollama pull qwen3-vl:8b（6.2 GB），低VRAM时用 ollama pull moondream（1.8B，1.7 GB）。
• 步骤3——通过CLI使用： ollama run gemma4:e4b "What is in this image? /path/to/photo.jpg"——图像路径写在提示内；ollama run 没有 --image 参数。
• 步骤4——使用HTTP API： POST到http://localhost:11434/api/generate，在images数组中包含Base64编码的图像。在format字段中加入JSON schema可获得结构化输出。
• 步骤5——Python示例： 使用requests库进行Base64编码——见下方代码块。

import base64
import requests

def ask_vision_model(image_path: str, prompt: str, model: str = "gemma4:e4b") -> str:
    with open(image_path, "rb") as f:
        image_b64 = base64.b64encode(f.read()).decode("utf-8")

    response = requests.post(
        "http://localhost:11434/api/generate",
        json={
            "model": model,
            "prompt": prompt,
            "images": [image_b64],
            "stream": False,
        },
    )
    return response.json()["response"]

# 示例用法
result = ask_vision_model("invoice.png", "从这张发票中提取所有行项目和总金额。")
print(result)

用例1：文档OCR与提取

• 效果好的场景： 扫描发票、PDF截图、印刷体手写（非草书）、边框清晰的表格、名片。
• 效果较差的场景： 草书手写、低于150 DPI的扫描件、高压缩JPEG、重叠文本。
• OCR最佳模型： Qwen3-VL 8B和Qwen3.5 9B（6–8 GB级别），Qwen3.8 27B（18 GB，据其模型卡在OmniDocBench 1.5上得分91.1），混合文档类型选Gemma 4。
• OCR提示工程： "请完整提取此文档中的所有文本，保留换行符。"或"请以JSON格式返回此发票内容，字段包括：供应商、日期、行项目[]、总金额。"
• 与传统OCR对比： VLM速度较慢但语义理解更强。干净文档的纯文本提取用Tesseract更快。需要结构化数据提取时使用VLM。

用例2：图像问答与描述

• 场景描述： "这张照片里有什么？"——物体、人物、活动、环境、氛围。
• 产品目录化： 用提示模板处理产品照片："描述此产品：颜色、形状、材质、状态。"适用于无需云端API的电商库存管理。
• 无障碍访问： 大规模为图像生成alt文本。对标准产品照片，准确度足以满足无障碍合规要求。
• 最佳模型： Gemma 4 12B或26B A4B（通用照片问答）；Qwen3.5 4B或LLaVA 1.6 7B（速度比精度更重要的大批量处理）。
• 速度参考： 速度取决于模型、GPU和描述长度——在处理数千张之前，请先在自己的硬件上用20张图像样本做基准测试。

用例3：截图与UI分析

• 开发者工作流： 将错误消息截图发给模型："这个截图中哪里有问题，如何修复？"
• Bug报告生成： 用结构化提示从截图自动生成Bug描述。
• 仪表板监控： 分析监控仪表板截图以检测异常——"这个Grafana截图中是否有警告级别的指标？"
• 无障碍测试： 对比UI改动前后的截图以验证视觉无障碍属性。
• 最佳模型： InternVL 2.5 8B（社区构建版，UI能力强），Gemma 4和Qwen3-VL（官方Ollama支持，具备面向智能体工作流的工具调用）。

用例4：图表与图形读取

• 效果好的场景： 读取坐标轴标签、识别趋势、比较相对柱高、读取字体清晰的表格值。
• 不可靠的场景： 从连续图表精确提取数值（如"Q3柱子是43.7单位"）、无显式标签的饼图百分比。
• 提示策略： "描述折线图中显示的趋势"比"2026年3月的精确值是多少"效果更好。
• 图表最佳模型： InternVL 2.5（图表理解强），Gemma 4和Qwen3-VL（标注清晰的图表表现良好）。
• 限制说明： 2026年任何本地VLM都无法可靠地从视觉复杂的图表中提取精确数字。

用例5：视频帧分析

• 帧提取： 使用ffmpeg以1fps提取：ffmpeg -i video.mp4 -vf fps=1 frames/frame_%04d.jpg
• 逐帧分析： 用统一提示将每帧发给视觉模型（例如："用一句话描述这帧中发生的事情"）。
• 跨帧汇总： 收集所有帧描述，配合汇总提示发给文本LLM。
• 应用场景： 安防摄像头审查（标记异常活动帧）、讲座录制分析（生成逐幻灯片笔记）、制造业质量检验（标记出现缺陷的帧）。
• 视频帧最佳模型： Gemma 4或Qwen3.8（质量，两者均原生支持按帧输入视频），Qwen3.5 4B或LLaVA 1.6 7B（速度，帧处理吞吐量更高）。
• 速度现实： 以每秒1帧提取、每帧约1–3秒推理计算，10分钟视频（600帧）完整处理大约需要10–30分钟，取决于模型和GPU。

import base64
import subprocess
import os
import requests

def extract_frames(video_path: str, output_dir: str, fps: int = 1) -> list[str]:
    os.makedirs(output_dir, exist_ok=True)
    subprocess.run([
        "ffmpeg", "-i", video_path,
        "-vf", f"fps={fps}",
        f"{output_dir}/frame_%04d.jpg",
        "-y"
    ], check=True)
    return sorted([
        os.path.join(output_dir, f)
        for f in os.listdir(output_dir)
        if f.endswith(".jpg")
    ])

def analyze_frame(image_path: str, model: str = "gemma4:e4b") -> str:
    with open(image_path, "rb") as f:
        image_b64 = base64.b64encode(f.read()).decode("utf-8")
    response = requests.post(
        "http://localhost:11434/api/generate",
        json={
            "model": model,
            "prompt": "Describe what is happening in this frame in one sentence.",
            "images": [image_b64],
            "stream": False,
        },
    )
    return response.json()["response"]

frames = extract_frames("lecture.mp4", "frames/", fps=1)
descriptions = [analyze_frame(f) for f in frames]
print("\n".join(f"[{i+1}s] {d}" for i, d in enumerate(descriptions)))

VRAM与性能现实检验

本地VLM与GPT-5.5 Vision对比

• 结构化文档（发票、表单）： 这是编辑部的判断，并非基准测试结果：优秀的本地模型在干净、格式规范的文档上接近GPT-5.5 Vision——验证输出后即可用于生产。
• 复杂场景、模糊图像： 在上下文异常、光线复杂或内容模糊的图像上，本地模型明显落后于GPT-5.5 Vision（编辑部判断，未经基准测试）。
• 手写识别： 本地模型明显较弱，尤其是草书体。GPT-5.5 Vision在手写处理上大幅领先。
• 图表数据提取： 本地模型和GPT-5.5均不可靠，但GPT-5.5在精确数值方面更准确。
• 成本： GPT-5.5 Vision每张图像$0.01–$0.03，本地为$0。每月10,000张图像节省$100–$300。
• 隐私： 本地模型默认在设备上处理图像——除非启用云功能或联网工具，图像不会发送到云端API。GPT-5.5将图像发送至OpenAI服务器。
• 速度： 本地模型在RTX 4070上根据规模约为8–35 token/秒（参考估计，见上表）；云端速度因服务商和负载而异，但本地批处理没有网络延迟。

LLaVA深度解析

• 架构： CLIP ViT-L/14视觉编码器 + Llama-2或Mistral文本解码器，通过简单线性投影层连接。
• LLaVA 1.5 vs 1.6： 1.6版本（2024年初发布）通过动态分块增加了高分辨率输入支持，显著提升了OCR和图表读取精度。
• 训练： 在LLaVA-Instruct-150K上进行指令微调——从图像描述和目标检测标注生成的视觉对话数据集。
• 优势： 广泛的通用知识、文档完善、社区庞大、Ollama集成丰富。
• 劣势： OCR弱于Qwen3-VL和MiniCPM-V，UI分析弱于InternVL 2.5，整体被Gemma 4和Qwen3系列超越。
• 仍被推荐的原因： 在所有本地VLM中拥有最大社区、最多教程和最多提示示例。遇到问题时更容易找到帮助。
• 完整评测： LLaVA评测(2026) — PromptQuorum的专门评测,包括Apache-2.0与基础模型许可证的细微差别及真实的Ollama命令。

Qwen3-VL、Qwen3.5与Qwen3.8——最强多语言OCR

• 架构： 支持高达4096×4096的动态分辨率——远高于LLaVA 1.6（672×672）或Llama 3.2 Vision（1120×1120）。可读取高DPI扫描件而无需下采样。
• 多语言OCR： 中文、日文、韩文和英文OCR达到同类最佳。训练数据包含大规模多语言文档语料库——在非英文文档处理上相对LLaVA和Llama 3.2 Vision具有显著优势。
• 如何选择规格： Qwen3-VL 8B下载6.2 GB，适合8 GB显卡；Qwen3.5 9B为6.6–7.6 GB；Qwen3.8 27B为18 GB，需要24 GB显卡；Qwen3-VL 32B为21 GB。Ollama上的Qwen3-VL没有72B版本。
• Qwen3-VL 4B： 下载3.3 GB（256K上下文），介于2B（1.9 GB）和8B（6.2 GB）之间，适合约4–6 GB VRAM的显卡。
• Ollama安装： ollama pull qwen3-vl:8b、ollama pull qwen3.5:9b或ollama pull qwen3.8——均在Ollama模型库中。
• 多图像支持： 每次请求最多接受8张图像——本比较中多图像容量最高。
• 模型页面： Ollama上的Qwen3-VL、Hugging Face上的Qwen3.8-27B

如何选择视觉模型

• 4 GB以下VRAM： Qwen3.5 2B（2.7–3.1 GB）、Qwen3-VL 2B（1.9 GB）或Moondream 2（1.7 GB）是实用选项。PaliGemma 2（3B）和SmolVLM（2.2B）是社区构建版本的备选方案。均不适合密集文本OCR。
• 6–8 GB VRAM： 通用照片问答选Gemma 4 E4B，文档OCR和多语言文本选Qwen3-VL 8B或Qwen3.5 9B，注重社区支持时选LLaVA 1.6 7B。
• 12–16 GB VRAM： Gemma 4 12B（下载7.7–8.0 GB）是明确推荐——同尺寸下视觉得分出色，支持音频输入和256K上下文窗口。LLaVA 1.6 13B和InternVL 2.5 8B（UI和代码截图）也能放下。
• 24 GB VRAM： Gemma 4 26B A4B（16–19 GB）、Gemma 4 31B（19–20 GB）、Qwen3.8 27B（18 GB）或Qwen3-VL 32B（21 GB）——最接近云端视觉质量的本地选择。
• 96 GB以上统一内存（Apple M-Max/Ultra、多GPU）： Qwen3.5 122B（81 GB，需128 GB的Mac）或Llama 3.2 Vision 90B（55 GB）是最大的本地模型；两者都需要大内存硬件，且每token速度比24 GB级模型更慢。
• 始终验证数字： 无论使用何种模型，从图表或表格提取的任何数值都应与源数据交叉核对。本地VLM会对视觉图表中的精确数字产生幻觉。

常见问题

参考来源

• Hugging Face上的Gemma 4模型卡 — 谷歌的Apache 2.0许可、各规格支持的模态以及MMMU Pro结果。
• Ollama上的Gemma 4 — 标签、下载大小和上下文窗口。
• Hugging Face上的Qwen3.8-27B — Apache 2.0许可、262K上下文、OmniDocBench 1.5结果。
• Ollama上的Qwen3.5和Ollama上的Qwen3-VL — 规格和下载大小。
• Ollama上的Llama 3.2 Vision和Ollama issue #16547 — 模型页面及所报告的mllama加载错误。
• LLaVA项目页面 — LLaVA 1.5和1.6模型卡、架构详情及训练数据集描述。
• Ollama上的MiniCPM-V和Hugging Face上的OpenBMB — 模型卡和OCR基准。
• Ollama上的Moondream和GitHub上的Moondream — 模型下载和推理脚本。
• Hugging Face上的InternVL 2.5 — OpenGVLab模型卡及文档和UI任务基准得分。
• Ollama文档 — 视觉模型支持、结构化输出、API参考和模型库。
• Hugging Face上的PaliGemma 2 — Google PaliGemma 2 3B模型卡。
• Hugging Face上的SmolVLM — HuggingFace SmolVLM模型卡及推理说明。
• llama.cpp多模态文档 — 支持的视觉模型及llama-server用法。
• vLLM支持的模型 — vLLM可部署的多模态架构。
• Ollama上的Gemma 4标签 — q4_K_M、q8_0、bf16、QAT和MLX构建的大小。

延伸阅读

• 哪些Ollama模型支持视觉？ — 快速解答Ollama模型库中哪些模型接受图像输入，并附VRAM规格。
• Ollama视觉模型(2026) —— 通过Ollama运行视觉模型的实用指南:真实的CLI/API语法,以及模型库中实际列出的模型。
• 摄像头与无人机中的 VLM 2026 -- 桌面端 VLM 基础见本文；嵌入式摄像头与无人机部署请参阅这份边缘专属指南。
• 本地多模态AI流水线2026 — 将视觉模型与STT和TTS结合构建完整本地多模态栈。
• 本地语音识别2026：Whisper.cpp vs faster-whisper — 为视觉输出添加语音输入。
• 本地TTS与声音克隆2026 — 添加语音输出以朗读VLM回答。
• 安装Ollama — 前置条件：Ollama配置与设置。
• 本地LLM硬件指南 — 视觉模型推理的VRAM和RAM要求。