LLaVA评测(2026):开启本地视觉AI的研究模型

历史:从一篇研究论文到本地AI的标准

LLaVA的实际功能

• CLIP编码器加LLM解码器。 LLaVA使用CLIP ViT-L/14视觉编码器将图像转换为一系列视觉特征,通过连接器模块将这些特征投影到与语言模型文本词元相同的嵌入空间,并将组合序列输入Vicuna(基于Llama 2)或在后续版本中输入Mistral或其他基础LLM以生成回应。
• 视觉指令微调。 LLaVA没有在原始的图像-标题对上进行训练,而是在LLaVA-Instruct-150K上进行了微调,这是一个通过向GPT-4提供图像标题和目标检测标注生成的多轮视觉对话数据集——教会模型遵循开放式视觉指令,而不仅仅是生成标题。
• 通过Ollama提供三种模型尺寸。 Ollama库将LLaVA打包为7B(4.7 GB)、13B(8.0 GB)和34B(20 GB)三种尺寸——通常更大的模型能产生更详细、更准确的描述,但代价是更多的VRAM消耗和更慢的推理速度。
• LLaVA-1.6(LLaVA-NeXT)的分辨率改进。 通过Ollama和官方仓库支持的当前版本通过动态分块处理更高的输入分辨率,与2023年的原始版本相比,在文本阅读和细节任务方面有明显改善。
• 以英语为中心的训练。 LLaVA-Instruct-150K以及用于评估该模型的基础基准测试主要为英语,因此对图像中非英语文本的开箱即用表现,弱于专门在多语言文档数据上训练的模型。

安装和运行LLaVA:分步指南

1. 1
   安装Ollama。
   Why it matters: 为macOS、Linux或Windows下载并安装[Ollama](https://ollama.com)。根据其[Ollama库页面](https://ollama.com/library/llava),这是官方列出的运行LLaVA的方式,耗时不到两分钟。
2. 2
   下载LLaVA的模型尺寸。
   Why it matters: 运行`ollama pull llava`以获取默认的7B模型(约4.7 GB),或运行`ollama pull llava:13b`(约8.0 GB)或`ollama pull llava:34b`(约20 GB)以获得更高质量,但代价是更多的VRAM和磁盘空间。
3. 3
   从CLI结合图像运行。
   Why it matters: 运行`ollama run llava "describe this image: ./photo.jpg"`,直接在提示文本中引用本地图像文件路径——无需单独的标志。
4. 4
   (替代方案)使用原始仓库获得研究级控制。
   Why it matters: 克隆[haotian-liu/LLaVA](https://github.com/haotian-liu/LLaVA),安装其`requirements.txt`,并从Hugging Face下载检查点,以完全访问训练脚本、评估工具和Gradio网页演示——适用于研究或微调,但安装门槛明显高于Ollama。
5. 5
   (可选)通过Ollama API以编程方式调用。
   Why it matters: 向`http://localhost:11434/api/generate`发送POST请求,将图像作为Base64编码的字符串放入`images`数组中,或使用官方的`ollama` Python或JavaScript库——参见下方的代码示例。

真实使用示例

• 在CLI提示中引用文件路径即可 —— Ollama会检测.jpg/.png路径并自动附加图像;没有单独的--image标志。
• 更大的模型尺寸会消耗更多的VRAM和时间。 7B模型是速度最快、VRAM消耗最低的选项;当描述准确性比速度更重要时,请使用13B或34B。

# 安装并下载模型
# (先从 https://ollama.com 下载Ollama)
ollama pull llava

# CLI:通过在提示中引用文件路径来描述图像
ollama run llava "describe this image: ./photo.jpg"

# --- HTTP API(记录于Ollama自身的docs/api.md中) ---
# 使用Base64编码图像的 /api/generate
curl http://localhost:11434/api/generate -d '{
  "model": "llava",
  "prompt": "What is in this picture?",
  "stream": false,
  "images": ["<Base64编码的图像数据>"]
}'

# 使用Base64编码图像的 /api/chat(多轮对话)
curl http://localhost:11434/api/chat -d '{
  "model": "llava",
  "messages": [
    { "role": "user", "content": "What is in this image?", "images": ["<Base64编码的图像数据>"] }
  ]
}'

# --- 使用官方ollama库的Python示例 ---
import ollama

response = ollama.chat(
    model="llava",
    messages=[{
        "role": "user",
        "content": "What is in this image?",
        "images": ["photo.jpg"],
    }],
)
print(response["message"]["content"])

许可证与费用

LLaVA不适合做什么

• 纯文本任务。 LLaVA是一个视觉语言模型;对于不涉及图像的纯文本对话,请使用专用的文本LLM(通过Ollama或其他方式)——运行多模态模型进行纯文本聊天会浪费其视觉编码器占用的VRAM,却没有任何好处。
• 需要现有最强的本地OCR或文档理解能力。 截至2026年,根据PromptQuorum的本地视觉模型比较,LLaVA-NeXT之后发布的模型——MiniCPM-V、Qwen2.5-VL和Llama 3.2 Vision——在文档OCR、表格和结构化提取方面已超越LLaVA。LLaVA的视觉编码器是在这一代高分辨率、以文档为重点的训练数据出现之前设计和训练的。
• 读取图像中的非英语文本。 LLaVA-Instruct-150K以及该模型的核心训练数据主要为英语。对于中文、日文、韩文或其他非拉丁文字的文档OCR,专门在多语言文档语料库上训练的模型(Qwen2.5-VL)将明显优于它。
• 从图表和图形中精确提取数字。 与2026年几乎所有本地视觉语言模型一样,LLaVA在从复杂图表中读取精确数值方面并不可靠——无论使用哪个模型,都应将提取的任何数字与源数据进行核对。
• 假设持续的积极开发。 由于官方仓库自2024年5月11日起没有任何提交,不要指望原始项目会提供新功能、错误修复或更新的检查点——Ollama自身的多模态引擎更新和更新的模型系列实际上已将其取代为积极开发的选项。
• 单一、简单的许可证说法。 由于代码(Apache-2.0)和官方发布的检查点(Apache-2.0加继承的Llama 2社区许可证条款,再加上项目独立主页上更严格的仅限研究声明)受三项重叠但不完全一致的声明约束,LLaVA无法提供像Bark(完全MIT,无额外条件)那样一行即可说清的许可证清晰度。

LLaVA的替代方案

常见问题

结论

来源

• GitHub上的LLaVA —— 官方仓库:README、LICENSE、安装说明和提交历史。
• 《Visual Instruction Tuning》论文(NeurIPS 2023) —— 项目主页,包含论文链接、许可证声明和版本历史。
• Ollama上的LLaVA —— 官方列出的模型页面:尺寸、描述和库元数据。
• Ollama API文档 —— 记录了多模态模型/api/generate和/api/chat请求/响应格式的文档。
• 本地视觉模型2026:LLaVA、Llama 3.2 Vision、Qwen3-VL与Ollama多模态设置 —— PromptQuorum对当前本地视觉模型更广泛的比较。

相关阅读

• 本地视觉模型2026:LLaVA、Llama 3.2 Vision、Qwen3-VL与Ollama多模态设置 —— 本评测以LLaVA专属深度补充的多模型比较中心。