Modelos de Visão do Ollama (2026): Como Realmente Rodar Modelos de Imagem Localmente

História: Ollama, llama.cpp e Suporte Multimodal

Quais Modelos de Visão Estão Realmente na Biblioteca do Ollama

Baixando e Executando um Modelo de Visão: Passo a Passo

1. 1
   Instale o Ollama.
   Why it matters: Baixe o [Ollama](https://ollama.com) para macOS, Linux ou Windows. A instalação é um instalador/pacote padrão e leva menos de dois minutos.
2. 2
   Baixe um modelo de visão.
   Why it matters: Execute `ollama pull llava` (ou `ollama pull qwen2.5vl`, `ollama pull minicpm-v`, etc.) — isso baixa os pesos do modelo, com tamanhos que vão de menos de 2 GB (Moondream) a dezenas de gigabytes (Llama 4).
3. 3
   Execute-o com uma imagem referenciada no prompt.
   Why it matters: Execute `ollama run llava "describe this image: ./photo.jpg"`. O Ollama detecta o caminho de arquivo `.jpg`/`.png` no texto do prompt e anexa a imagem automaticamente — esse padrão funciona desde a v0.1.15 em dezembro de 2023.
4. 4
   Ou chame a API HTTP diretamente.
   Why it matters: Envie um POST para `http://localhost:11434/api/generate` ou `/api/chat` com a imagem codificada em base64 em um array `images` — o formato JSON exato está documentado no [docs/api.md](https://github.com/ollama/ollama/blob/main/docs/api.md) do próprio Ollama, e mostrado na seção de Exemplos de Uso abaixo.
5. 5
   (Opcional) Use as bibliotecas de cliente oficiais.
   Why it matters: As bibliotecas oficiais `ollama` para Python e JavaScript aceitam um caminho de arquivo de imagem diretamente e cuidam da codificação base64 para você, evitando codificação manual em scripts.

Exemplos Reais de Uso: CLI e API HTTP

• Não existe uma flag de imagem separada na CLI. O Ollama detecta um caminho de arquivo .jpg/.png/similar dentro do próprio texto do prompt e o anexa automaticamente.
• /api/generate usa prompt; /api/chat usa messages.** Ambos aceitam um array images de strings codificadas em base64; /api/chat suporta conversas de múltiplos turnos com imagens anexadas a mensagens individuais.

# Baixar e executar via CLI — referencie o caminho da imagem diretamente no prompt
ollama pull llava
ollama run llava "describe this image: ./photo.jpg"

# --- API HTTP: /api/generate (documentado no docs/api.md do Ollama) ---
curl http://localhost:11434/api/generate -d '{
  "model": "llava",
  "prompt": "What is in this picture?",
  "stream": false,
  "images": ["<base64-encoded image data>"]
}'

# --- API HTTP: /api/chat (múltiplos turnos, também documentado no docs/api.md) ---
curl http://localhost:11434/api/chat -d '{
  "model": "llava",
  "messages": [
    { "role": "user", "content": "What is in this image?", "images": ["<base64-encoded image data>"] }
  ]
}'

# --- Python: biblioteca oficial ollama (trata a codificação base64 para você) ---
import ollama

response = ollama.chat(
    model="llava",
    messages=[{
        "role": "user",
        "content": "What is in this image?",
        "images": ["photo.jpg"],
    }],
)
print(response["message"]["content"])

# --- Python: API HTTP bruta com codificação base64 manual ---
import base64
import requests

def ask_vision_model(image_path: str, prompt: str, model: str = "llava") -> str:
    with open(image_path, "rb") as f:
        image_b64 = base64.b64encode(f.read()).decode("utf-8")
    response = requests.post(
        "http://localhost:11434/api/generate",
        json={"model": model, "prompt": prompt, "images": [image_b64], "stream": False},
    )
    return response.json()["response"]

Orientação de VRAM e Hardware

Para que o Ollama Não Serve

• Fazer fine-tuning ou treinar um modelo. O Ollama é apenas para inferência — ele executa pesos de modelos já treinados, não oferece um pipeline de treinamento ou fine-tuning. Se você precisa fazer fine-tuning de um modelo de visão-linguagem com seus próprios dados, precisa de outro conjunto de ferramentas (como os próprios scripts de treinamento do repositório original do LLaVA, ou um framework como o Hugging Face Transformers).
• Capacidade multimodal proprietária de última geração. A biblioteca do Ollama é construída em torno de modelos de peso aberto. No momento desta análise, as APIs de visão em nuvem do GPT-4o, Claude e Gemini geralmente lideram em relação aos modelos locais abertos em compreensão de cenas complexas, reconhecimento de caligrafia e imagens ambíguas — o Ollama é a ferramenta certa para uso privado e autogerenciado a custo marginal zero por imagem, não para igualar o estado da arte absoluto.
• Extração numérica precisa de gráficos e tabelas. Isso é uma limitação dos próprios modelos de visão-linguagem subjacentes, não específica do Ollama como executor — sempre verifique quaisquer números extraídos em relação aos dados de origem, independentemente do modelo ou executor usado.
• Uma resposta unificada única para "qual modelo é o melhor". O modelo de visão certo via Ollama depende da tarefa: Qwen2.5-VL para trabalho intenso em OCR de documentos, MiniCPM-V para OCR com menos VRAM, Llama 3.2 Vision para Q&A geral de imagens, Moondream para o menor consumo. Veja a comparação de modelos de visão locais do PromptQuorum para orientação tarefa por tarefa.

Alternativas ao Ollama para Modelos de Visão

Perguntas Frequentes

Veredito

Fontes

• Ollama no GitHub — data de criação do repositório, licença e histórico de versões.
• Notas de lançamento do Ollama v0.1.15 — o anúncio original de suporte multimodal/LLaVA, 12 de dezembro de 2023.
• Novo mecanismo do Ollama para modelos multimodais — a reconstrução do mecanismo multimodal de maio de 2026, cobrindo Llama 4, Gemma 3, Qwen2.5-VL e Mistral Small 3.1.
• Documentação da API do Ollama — o formato documentado de requisição/resposta de /api/generate e /api/chat para imagens.
• Biblioteca de modelos do Ollama — a biblioteca ao vivo usada para verificar cada modelo listado neste artigo, incluindo páginas individuais para llava, llama3.2-vision, qwen2.5vl, minicpm-v, moondream, granite3.2-vision, gemma3, llama4 e mistral-small3.1.

Leitura Relacionada

• Análise do LLaVA (2026) — um aprofundamento dedicado ao LLaVA especificamente, incluindo sua história e nuances de licenciamento.
• Modelos de Visão Locais 2026: LLaVA, Llama 3.2 Vision, Qwen3-VL & Configuração Multimodal do Ollama — uma comparação mais ampla, tarefa por tarefa, entre os modelos de visão locais atuais.
• Versão Mais Recente do Ollama 2026: v0.33.1 + Melhores Modelos por Caso de Uso — o catálogo mais amplo de modelos do Ollama além da visão, incluindo quais modelos de texto são mais populares.