Modelos de visión de Ollama (2026): cómo ejecutar realmente modelos de imagen en local

Historia: Ollama, llama.cpp y el soporte multimodal

Qué modelos de visión hay realmente en la biblioteca de Ollama

Descargar y ejecutar un modelo de visión: paso a paso

1. 1
   Instalar Ollama.
   Why it matters: Descarga [Ollama](https://ollama.com) para macOS, Linux o Windows. La instalación es un instalador/paquete estándar y toma menos de dos minutos.
2. 2
   Descargar un modelo de visión.
   Why it matters: Ejecuta `ollama pull llava` (o `ollama pull qwen2.5vl`, `ollama pull minicpm-v`, etc.) — esto descarga los pesos del modelo, cuyo tamaño va desde menos de 2 GB (Moondream) hasta decenas de gigabytes (Llama 4).
3. 3
   Ejecutarlo con una imagen referenciada en el prompt.
   Why it matters: Ejecuta `ollama run llava "describe this image: ./photo.jpg"`. Ollama detecta la ruta de archivo `.jpg`/`.png` en el texto del prompt y adjunta la imagen automáticamente — este patrón funciona desde la v0.1.15 en diciembre de 2023.
4. 4
   O llamar directamente a la API HTTP.
   Why it matters: Envía una solicitud POST a `http://localhost:11434/api/generate` o `/api/chat` con la imagen codificada en base64 en un arreglo `images` — la forma JSON exacta está documentada en el propio [docs/api.md](https://github.com/ollama/ollama/blob/main/docs/api.md) de Ollama, y se muestra en la sección Ejemplos de uso a continuación.
5. 5
   (Opcional) Usar las bibliotecas cliente oficiales.
   Why it matters: Las bibliotecas oficiales de Python y JavaScript de `ollama` aceptan directamente una ruta de archivo de imagen y manejan la codificación base64 por ti, evitando la codificación manual en scripts.

Ejemplos de uso reales: CLI y API HTTP

• No existe una bandera de imagen separada en la CLI. Ollama detecta una ruta de archivo .jpg/.png/similar dentro del propio texto del prompt y la adjunta automáticamente.
• /api/generate usa prompt; /api/chat usa messages.** Ambos aceptan un arreglo images de cadenas codificadas en base64; /api/chat admite conversaciones multi-turno con imágenes adjuntas a mensajes individuales.

# Descargar y ejecutar vía CLI — referenciar la ruta de la imagen directamente en el prompt
ollama pull llava
ollama run llava "describe this image: ./photo.jpg"

# --- API HTTP: /api/generate (documentada en el docs/api.md de Ollama) ---
curl http://localhost:11434/api/generate -d '{
  "model": "llava",
  "prompt": "What is in this picture?",
  "stream": false,
  "images": ["<datos de imagen codificados en base64>"]
}'

# --- API HTTP: /api/chat (multi-turno, también documentada en docs/api.md) ---
curl http://localhost:11434/api/chat -d '{
  "model": "llava",
  "messages": [
    { "role": "user", "content": "What is in this image?", "images": ["<datos de imagen codificados en base64>"] }
  ]
}'

# --- Python: biblioteca oficial ollama (maneja la codificación base64 por ti) ---
import ollama

response = ollama.chat(
    model="llava",
    messages=[{
        "role": "user",
        "content": "What is in this image?",
        "images": ["photo.jpg"],
    }],
)
print(response["message"]["content"])

# --- Python: API HTTP en bruto con codificación base64 manual ---
import base64
import requests

def ask_vision_model(image_path: str, prompt: str, model: str = "llava") -> str:
    with open(image_path, "rb") as f:
        image_b64 = base64.b64encode(f.read()).decode("utf-8")
    response = requests.post(
        "http://localhost:11434/api/generate",
        json={"model": model, "prompt": prompt, "images": [image_b64], "stream": False},
    )
    return response.json()["response"]

Orientación sobre VRAM y hardware

Para qué no es bueno Ollama

• Ajustar o entrenar un modelo. Ollama es solo de inferencia — ejecuta pesos de modelo preentrenados, no proporciona un pipeline de entrenamiento o ajuste fino. Si necesitas ajustar un modelo visión-lenguaje con tus propios datos, necesitas otra cadena de herramientas (como los propios scripts de entrenamiento del repositorio original de LLaVA, o un framework como Hugging Face Transformers).
• La más reciente capacidad multimodal propietaria. La biblioteca de Ollama está construida en torno a modelos de pesos abiertos. Al momento de este análisis, las API de visión en la nube de GPT-4o, Claude y Gemini generalmente superan a los modelos locales abiertos en comprensión de escenas complejas, reconocimiento de escritura manuscrita e imágenes ambiguas — Ollama es la herramienta adecuada para uso privado y autoalojado a costo marginal cero por imagen, no para igualar el estado del arte absoluto.
• Extracción numérica precisa de gráficos y diagramas. Esta es una limitación de los propios modelos visión-lenguaje subyacentes, no específica de Ollama como ejecutor — verifica cualquier número extraído contra los datos de origen, sin importar qué modelo o ejecutor uses.
• Una única respuesta unificada a "qué modelo es el mejor". El modelo de visión adecuado vía Ollama depende de la tarea: Qwen2.5-VL para trabajo documental con mucho OCR, MiniCPM-V para OCR con menor VRAM, Llama 3.2 Vision para Q&A de imagen general, Moondream para la huella más ligera. Consulta la comparación de modelos de visión locales de PromptQuorum para orientación tarea por tarea.

Alternativas a Ollama para modelos de visión

Preguntas frecuentes

Veredicto

Fuentes

• Ollama en GitHub — fecha de creación del repositorio, licencia e historial de versiones.
• Notas de la versión v0.1.15 de Ollama — el anuncio original del soporte multimodal/LLaVA, 12 de diciembre de 2023.
• El nuevo motor de Ollama para modelos multimodales — la reconstrucción del motor multimodal de mayo de 2026, que cubre Llama 4, Gemma 3, Qwen2.5-VL y Mistral Small 3.1.
• Documentación de la API de Ollama — la forma documentada de solicitudes/respuestas de /api/generate y /api/chat para imágenes.
• Biblioteca de modelos de Ollama — la biblioteca en vivo usada para verificar cada modelo listado en este artículo, incluidas páginas individuales para llava, llama3.2-vision, qwen2.5vl, minicpm-v, moondream, granite3.2-vision, gemma3, llama4 y mistral-small3.1.

Lecturas relacionadas

• Análisis de LLaVA (2026) — un análisis dedicado a LLaVA específicamente, incluyendo su historia y el matiz de su licencia.
• Modelos de visión locales 2026: LLaVA, Llama 3.2 Vision, Qwen3-VL y configuración multimodal de Ollama — una comparación más amplia, tarea por tarea, de los modelos de visión locales actuales.
• Última versión de Ollama 2026: v0.33.1 + Mejores modelos por caso de uso — el catálogo de modelos más amplio de Ollama más allá de la visión, incluyendo qué modelos de texto son más populares.