LLaVA: análisis (2026) — el modelo de investigación que inició la IA visual local

Historia: de un artículo de investigación a un estándar de IA local

Qué hace realmente LLaVA

• Codificador CLIP más decodificador LLM. LLaVA usa un codificador visual CLIP ViT-L/14 para convertir una imagen en una secuencia de características visuales, proyecta esas características en el mismo espacio de embeddings que los tokens de texto del modelo de lenguaje mediante un módulo conector, y alimenta la secuencia combinada a un modelo Vicuna (basado en Llama 2) o, en versiones posteriores, Mistral u otro LLM base para generar una respuesta.
• Ajuste por instrucciones visuales. En lugar de entrenar con pares imagen-descripción crudos, LLaVA fue ajustado con LLaVA-Instruct-150K, un conjunto de datos de conversaciones visuales multi-turno generadas al pedirle a GPT-4 descripciones de imágenes y anotaciones de detección de objetos — enseñando al modelo a seguir instrucciones visuales abiertas en lugar de solo generar descripciones.
• Tres tamaños de modelo mediante Ollama. La biblioteca de Ollama empaqueta LLaVA en tamaños 7B (4,7 GB), 13B (8,0 GB) y 34B (20 GB) — los modelos más grandes generalmente producen descripciones más detalladas y precisas, a costa de más VRAM e inferencia más lenta.
• Mejoras de resolución de LLaVA-1.6 (LLaVA-NeXT). La versión actual soportada mediante Ollama y el repositorio oficial maneja resoluciones de entrada más altas mediante parcheo dinámico, lo que mejora notablemente las tareas de lectura de texto y detalle fino en comparación con la versión original de 2023.
• Entrenamiento centrado en inglés. LLaVA-Instruct-150K y los benchmarks subyacentes con los que fue evaluado son predominantemente en inglés, por lo que el rendimiento en texto no inglés dentro de imágenes es más débil de fábrica que en modelos entrenados específicamente con datos documentales multilingües.

Instalar y ejecutar LLaVA: paso a paso

1. 1
   Instalar Ollama.
   Why it matters: Descarga e instala [Ollama](https://ollama.com) para macOS, Linux o Windows. Esta es la forma oficialmente listada de ejecutar LLaVA según su [página en la biblioteca de Ollama](https://ollama.com/library/llava), y toma menos de dos minutos.
2. 2
   Descargar un tamaño de modelo LLaVA.
   Why it matters: Ejecuta `ollama pull llava` para el modelo predeterminado de 7B (~4,7 GB), o `ollama pull llava:13b` (~8,0 GB) o `ollama pull llava:34b` (~20 GB) para mayor calidad a costa de más VRAM y espacio en disco.
3. 3
   Ejecutarlo con una imagen desde la CLI.
   Why it matters: Ejecuta `ollama run llava "describe this image: ./photo.jpg"`, referenciando directamente una ruta de archivo de imagen local en el texto del prompt — no se requiere una bandera separada.
4. 4
   (Alternativa) Usar el repositorio original para control de nivel de investigación.
   Why it matters: Clona [haotian-liu/LLaVA](https://github.com/haotian-liu/LLaVA), instala su `requirements.txt`, y descarga un checkpoint desde Hugging Face para acceso completo a scripts de entrenamiento, arneses de evaluación y la demo web de Gradio — útil para investigación o ajuste fino, pero una barrera de instalación notablemente más alta que Ollama.
5. 5
   (Opcional) Llamarlo programáticamente mediante la API de Ollama.
   Why it matters: Envía una solicitud POST a `http://localhost:11434/api/generate` con la imagen como una cadena codificada en base64 en un arreglo `images`, o usa la biblioteca oficial de Python o JavaScript `ollama` — ver el ejemplo de código a continuación.

Ejemplos de uso reales

• Referenciar una ruta de archivo en el prompt de la CLI es suficiente — Ollama detecta la ruta .jpg/.png y adjunta la imagen automáticamente; no existe una bandera --image separada.
• Los tamaños de modelo más grandes cuestan más VRAM y tiempo. El modelo 7B es la opción más rápida y con menor consumo de VRAM; usa 13B o 34B cuando la precisión de la descripción importe más que la velocidad.

# Instalar y descargar el modelo
# (descarga primero Ollama desde https://ollama.com)
ollama pull llava

# CLI: describir una imagen referenciando su ruta de archivo en el prompt
ollama run llava "describe this image: ./photo.jpg"

# --- API HTTP (documentada en el docs/api.md propio de Ollama) ---
# /api/generate con una imagen codificada en base64
curl http://localhost:11434/api/generate -d '{
  "model": "llava",
  "prompt": "What is in this picture?",
  "stream": false,
  "images": ["<datos de imagen codificados en base64>"]
}'

# /api/chat con una imagen codificada en base64 (conversaciones multi-turno)
curl http://localhost:11434/api/chat -d '{
  "model": "llava",
  "messages": [
    { "role": "user", "content": "What is in this image?", "images": ["<datos de imagen codificados en base64>"] }
  ]
}'

# --- Ejemplo en Python usando la biblioteca oficial ollama ---
import ollama

response = ollama.chat(
    model="llava",
    messages=[{
        "role": "user",
        "content": "What is in this image?",
        "images": ["photo.jpg"],
    }],
)
print(response["message"]["content"])

Licencia y costo

Para qué no es bueno LLaVA

• Tareas puramente de texto. LLaVA es un modelo visión-lenguaje; para una conversación puramente textual sin imagen involucrada, usa un LLM de texto dedicado (mediante Ollama o de otra forma) — ejecutar un modelo multimodal para chat solo de texto desperdicia el VRAM que ocupa su codificador visual sin ningún beneficio.
• Necesitar la OCR o comprensión documental local más potente disponible. A partir de 2026, modelos lanzados después de LLaVA-NeXT — MiniCPM-V, Qwen2.5-VL y Llama 3.2 Vision — lo superan en OCR de documentos, tablas y extracción estructurada, según la comparación de modelos de visión locales de PromptQuorum. El codificador visual de LLaVA fue diseñado y entrenado antes de que existiera esta generación de datos de entrenamiento de mayor resolución y enfocados en documentos.
• Leer texto no inglés en imágenes. LLaVA-Instruct-150K y los datos de entrenamiento centrales del modelo son predominantemente en inglés. Para OCR de documentos en chino, japonés, coreano u otra escritura no latina, un modelo entrenado específicamente en corpus documentales multilingües (Qwen2.5-VL) lo superará notablemente.
• Extracción numérica precisa de gráficos y diagramas. Como prácticamente todos los modelos visión-lenguaje locales en 2026, LLaVA no es confiable para leer valores exactos en gráficos complejos — verifica cualquier número extraído contra los datos de origen, sin importar qué modelo uses.
• Asumir un desarrollo activo continuo. Sin commits en el repositorio oficial desde el 11 de mayo de 2024, no esperes nuevas funciones, correcciones de errores o checkpoints más recientes del proyecto original — las propias actualizaciones del motor multimodal de Ollama y familias de modelos más recientes lo han sustituido efectivamente como la opción activamente desarrollada.
• Una historia de licencia única y simple. Como el código (Apache-2.0) y los checkpoints publicados oficialmente (Apache-2.0 más términos heredados de la licencia comunitaria de Llama 2, más una afirmación más estricta de solo investigación en la página de inicio separada del proyecto) se rigen por tres afirmaciones superpuestas no totalmente alineadas, LLaVA no ofrece la claridad de licencia de una línea que ofrece un proyecto como Bark (completamente MIT, sin condiciones adicionales).

Alternativas a LLaVA

Preguntas frecuentes

Veredicto

Fuentes

• LLaVA en GitHub — el repositorio oficial: README, LICENSE, instrucciones de instalación e historial de commits.
• Artículo "Visual Instruction Tuning" (NeurIPS 2023) — la página de inicio del proyecto con enlaces al artículo, afirmaciones de licencia e historial de versiones.
• LLaVA en Ollama — la página del modelo oficialmente listada: tamaños, descripción y metadatos de la biblioteca.
• Documentación de la API de Ollama — la forma documentada de las solicitudes/respuestas /api/generate y /api/chat para modelos multimodales.
• Modelos de visión locales 2026: LLaVA, Llama 3.2 Vision, Qwen3-VL y configuración multimodal de Ollama — la comparación más amplia de PromptQuorum de los modelos de visión locales actuales.

Lecturas relacionadas

• Modelos de visión locales 2026: LLaVA, Llama 3.2 Vision, Qwen3-VL y configuración multimodal de Ollama — el hub de comparación multi-modelo que este análisis complementa con profundidad específica de LLaVA.