LLaVA: análise (2026) — o modelo de pesquisa que iniciou a IA visual local

História: de um artigo de pesquisa a um padrão de IA local

O que o LLaVA realmente faz

• Codificador CLIP mais decodificador LLM. O LLaVA usa um codificador visual CLIP ViT-L/14 para converter uma imagem em uma sequência de características visuais, projeta essas características no mesmo espaço de embeddings dos tokens de texto do modelo de linguagem via um módulo conector, e alimenta a sequência combinada em um modelo Vicuna (baseado no Llama 2) ou, em versões posteriores, Mistral ou outro LLM base para gerar uma resposta.
• Ajuste por instruções visuais. Em vez de treinar com pares brutos de imagem-legenda, o LLaVA foi ajustado no LLaVA-Instruct-150K, um conjunto de dados de conversas visuais multi-turno geradas ao solicitar ao GPT-4 legendas de imagens e anotações de detecção de objetos — ensinando o modelo a seguir instruções visuais abertas em vez de apenas gerar legendas.
• Três tamanhos de modelo via Ollama. A biblioteca do Ollama empacota o LLaVA nos tamanhos 7B (4,7 GB), 13B (8,0 GB) e 34B (20 GB) — modelos maiores geralmente produzem descrições mais detalhadas e precisas, ao custo de mais VRAM e inferência mais lenta.
• Melhorias de resolução do LLaVA-1.6 (LLaVA-NeXT). A versão atual suportada via Ollama e o repositório oficial lida com resoluções de entrada mais altas via patching dinâmico, o que melhora sensivelmente as tarefas de leitura de texto e detalhes finos em comparação com a versão original de 2023.
• Treinamento centrado em inglês. O LLaVA-Instruct-150K e os benchmarks subjacentes usados para avaliá-lo são predominantemente em inglês, então o desempenho em texto não inglês dentro de imagens é mais fraco de fábrica do que em modelos treinados especificamente com dados de documentos multilíngues.

Instalar e executar o LLaVA: passo a passo

1. 1
   Instalar o Ollama.
   Why it matters: Baixe e instale o [Ollama](https://ollama.com) para macOS, Linux ou Windows. Esta é a forma oficialmente listada de executar o LLaVA segundo sua [página na biblioteca do Ollama](https://ollama.com/library/llava), e leva menos de dois minutos.
2. 2
   Baixar um tamanho de modelo LLaVA.
   Why it matters: Execute `ollama pull llava` para o modelo padrão de 7B (~4,7 GB), ou `ollama pull llava:13b` (~8,0 GB) ou `ollama pull llava:34b` (~20 GB) para maior qualidade ao custo de mais VRAM e espaço em disco.
3. 3
   Executá-lo com uma imagem a partir da CLI.
   Why it matters: Execute `ollama run llava "describe this image: ./photo.jpg"`, referenciando diretamente um caminho de arquivo de imagem local no texto do prompt — nenhuma flag separada é necessária.
4. 4
   (Alternativa) Usar o repositório original para controle de nível de pesquisa.
   Why it matters: Clone [haotian-liu/LLaVA](https://github.com/haotian-liu/LLaVA), instale seu `requirements.txt`, e baixe um checkpoint do Hugging Face para acesso completo a scripts de treinamento, ferramentas de avaliação e a demo web Gradio — útil para pesquisa ou ajuste fino, mas uma barreira de instalação sensivelmente maior do que o Ollama.
5. 5
   (Opcional) Chamá-lo programaticamente via API do Ollama.
   Why it matters: Envie uma requisição POST para `http://localhost:11434/api/generate` com a imagem como uma string codificada em base64 em um array `images`, ou use a biblioteca oficial `ollama` em Python ou JavaScript — veja o exemplo de código abaixo.

Exemplos reais de uso

• Referenciar um caminho de arquivo no prompt da CLI já é suficiente — o Ollama detecta o caminho .jpg/.png e anexa a imagem automaticamente; não existe uma flag --image separada.
• Tamanhos de modelo maiores custam mais VRAM e tempo. O modelo 7B é a opção mais rápida e com menor consumo de VRAM; use 13B ou 34B quando a precisão da descrição importar mais do que a velocidade.

# Instalar e baixar o modelo
# (baixe primeiro o Ollama de https://ollama.com)
ollama pull llava

# CLI: descrever uma imagem referenciando seu caminho de arquivo no prompt
ollama run llava "describe this image: ./photo.jpg"

# --- API HTTP (documentada no docs/api.md do próprio Ollama) ---
# /api/generate com uma imagem codificada em base64
curl http://localhost:11434/api/generate -d '{
  "model": "llava",
  "prompt": "What is in this picture?",
  "stream": false,
  "images": ["<dados de imagem codificados em base64>"]
}'

# /api/chat com uma imagem codificada em base64 (conversas multi-turno)
curl http://localhost:11434/api/chat -d '{
  "model": "llava",
  "messages": [
    { "role": "user", "content": "What is in this image?", "images": ["<dados de imagem codificados em base64>"] }
  ]
}'

# --- Exemplo em Python usando a biblioteca oficial ollama ---
import ollama

response = ollama.chat(
    model="llava",
    messages=[{
        "role": "user",
        "content": "What is in this image?",
        "images": ["photo.jpg"],
    }],
)
print(response["message"]["content"])

Licença e custo

Para que o LLaVA não é bom

• Tarefas puramente de texto. O LLaVA é um modelo visão-linguagem; para uma conversa puramente textual sem imagem envolvida, use um LLM de texto dedicado (via Ollama ou de outra forma) — executar um modelo multimodal para chat apenas de texto desperdiça a VRAM que seu codificador visual ocupa sem nenhum benefício.
• Precisar da OCR ou compreensão de documentos local mais forte disponível. Em 2026, modelos lançados após o LLaVA-NeXT — MiniCPM-V, Qwen2.5-VL e Llama 3.2 Vision — o superam em OCR de documentos, tabelas e extração estruturada, segundo a comparação de modelos de visão locais da PromptQuorum. O codificador visual do LLaVA foi projetado e treinado antes de existir esta geração de dados de treinamento de maior resolução e focados em documentos.
• Ler texto não inglês em imagens. O LLaVA-Instruct-150K e os dados de treinamento centrais do modelo são predominantemente em inglês. Para OCR de documentos em chinês, japonês, coreano ou outra escrita não latina, um modelo especificamente treinado em corpora de documentos multilíngues (Qwen2.5-VL) o superará sensivelmente.
• Extração numérica precisa de gráficos e diagramas. Como praticamente todos os modelos visão-linguagem locais em 2026, o LLaVA não é confiável para ler valores exatos em gráficos complexos — verifique quaisquer números extraídos contra os dados de origem, independentemente do modelo usado.
• Assumir desenvolvimento ativo contínuo. Sem commits no repositório oficial desde 11 de maio de 2024, não espere novos recursos, correções de bugs ou checkpoints mais recentes do projeto original — as próprias atualizações do motor multimodal do Ollama e famílias de modelos mais recentes o substituíram efetivamente como a opção ativamente desenvolvida.
• Uma história de licença única e simples. Como o código (Apache-2.0) e os checkpoints oficialmente lançados (Apache-2.0 mais termos herdados da licença comunitária do Llama 2, mais uma declaração mais rígida de uso apenas para pesquisa na página inicial separada do projeto) são regidos por três declarações sobrepostas não totalmente alinhadas, o LLaVA não oferece a clareza de licença de uma linha que um projeto como o Bark (totalmente MIT, sem condições extras) oferece.

Alternativas ao LLaVA

Perguntas frequentes

Veredito

Fontes

• LLaVA no GitHub — o repositório oficial: README, LICENSE, instruções de instalação e histórico de commits.
• Artigo "Visual Instruction Tuning" (NeurIPS 2023) — a página inicial do projeto com links para o artigo, declarações de licença e histórico de versões.
• LLaVA no Ollama — a página do modelo oficialmente listada: tamanhos, descrição e metadados da biblioteca.
• Documentação da API do Ollama — a forma documentada das requisições/respostas /api/generate e /api/chat para modelos multimodais.
• Modelos de visão locais 2026: LLaVA, Llama 3.2 Vision, Qwen3-VL & configuração multimodal do Ollama — a comparação mais ampla da PromptQuorum dos modelos de visão locais atuais.

Leituras relacionadas

• Modelos de visão locais 2026: LLaVA, Llama 3.2 Vision, Qwen3-VL & configuração multimodal do Ollama — o hub de comparação multi-modelo que esta análise complementa com profundidade específica sobre o LLaVA.