Análisis de Idefics: los modelos de visión-lenguaje abiertos de HuggingFace, evaluados con honestidad

La ficha de modelo del Idefics original indica explícitamente que es "una reproducción de acceso abierto de Flamingo, un modelo de visión-lenguaje propietario desarrollado por DeepMind." Fue publicado por el equipo M4 de HuggingFace en 2023 en dos tamaños, 9B y 80B parámetros, combinando un codificador de visión con una base de modelo de lenguaje LLaMA(1).

El Idefics original conlleva una licencia mixta, no una única licencia permisiva. Su codificador de visión y los parámetros de conexión recién entrenados se publican bajo MIT, pero la base de modelo de lenguaje LLaMA(1) exige cumplir con la licencia original de Meta, solo para investigación y no comercial, para LLaMA. Esto hace que el Idefics original no sea apto para uso comercial en la mayoría de los casos, independientemente de la etiqueta MIT en partes de la pila.

Idefics2 (8B), publicado alrededor de abril de 2024, reemplazó la base LLaMA(1) por Mistral-7B-v0.1 y la combinó con un codificador de visión SigLIP. Como ambos modelos base son Apache-2.0, la propia ficha de modelo de Idefics2 indica que el modelo completo es Apache-2.0 — resolviendo el problema de licencia del Idefics original. La propia HuggingFace atribuye a Idefics2 igualar el rendimiento de Idefics-80B con un tamaño aproximadamente 10 veces menor, con un OCR y una comprensión de documentos notablemente mejores.

Idefics3 (8B), publicado el 22 de agosto de 2024, mantuvo el codificador de visión SigLIP pero cambió la base de lenguaje a Meta-Llama-3.1-8B-Instruct. Su propia ficha de modelo demuestra una mejora sustancial respecto a Idefics2, particularmente en comprensión de documentos, OCR y razonamiento visual. Se añadió a Hugging Face Transformers en la versión 4.46.

Las tres generaciones son modelos distintos con arquitecturas base diferentes — no un único modelo con incrementos de versión menores. Esto es lo que realmente difiere, verificado en la ficha de HuggingFace propia de cada modelo.

El listado de directorio de PromptQuorum para Idefics etiqueta su licencia como "Apache 2.0" — esto es correcto para el repositorio y el código del modelo, pero incompleto para la situación de licencia práctica, de forma similar a cómo la licencia de código Apache-2.0 de LLaVA no se extiende automáticamente a cada checkpoint del modelo base.

Idefics2 es el caso más claro: tanto su base de lenguaje Mistral-7B-v0.1 como su codificador de visión SigLIP son Apache-2.0, por lo que toda la pila del modelo es realmente Apache-2.0, sin condiciones adicionales.

Idefics3 tiene más matices. Su propio repositorio de HuggingFace está etiquetado como Apache-2.0, pero su base de lenguaje, Meta-Llama-3.1-8B-Instruct, se publica bajo la licencia comunitaria Llama 3.1 de Meta — que incluye una política de uso aceptable y una cláusula que exige una licencia separada de Meta si un producto derivado supera los 700 millones de usuarios activos mensuales. Cualquiera que despliegue Idefics3 comercialmente a gran escala debería leer directamente las condiciones de la licencia Llama 3.1 de Meta, no solo la etiqueta Apache-2.0 del repositorio de Idefics3.

El Idefics original es el más restrictivo. Su base LLaMA(1) conlleva la licencia original de Meta, solo para investigación y no comercial, lo que hace que el uso comercial del modelo completo de 9B/80B sea legalmente incierto en el mejor de los casos e inviable en el peor — aunque el codificador de visión y los pesos de conexión tengan licencia MIT por separado.

Idefics3 se usa mediante las clases AutoModelForVision2Seq y AutoProcessor de Hugging Face Transformers, documentadas en la documentación del modelo Idefics3 de Transformers. Se requiere la versión 4.46 o posterior de Transformers.

Idefics2 e Idefics3 son notablemente más pesados que checkpoints de LLaVA o MiniCPM-V de tamaño comparable, en gran parte por cómo procesan la resolución de imagen. Estas cifras provienen directamente de la propia ficha de modelo de Idefics2, que documenta explícitamente su rango de VRAM; se espera que Idefics3 (con el mismo número de 8B parámetros y el mismo codificador de visión) sea similar, aunque PromptQuorum no encontró una tabla de VRAM publicada con el mismo nivel de detalle específicamente para Idefics3.

Idefics3 es un modelo de visión-lenguaje abierto competente, pero es la elección equivocada en las siguientes situaciones:

Idefics es una familia de modelos de visión-lenguaje abiertos genuinamente útil, e Idefics3 en particular funciona bien para tareas intensivas en OCR de documentos y razonamiento multi-imagen donde su huella de aproximadamente 18-20 GB de VRAM es asequible. Sin embargo, no es un reemplazo directo para modelos de visión locales más ligeros: necesita notablemente más memoria de GPU que LLaVA 7B o MiniCPM-V, no tiene empaquetado para Ollama ni llama.cpp al momento de este análisis, y su situación de licencia difiere realmente según la generación — la pila Apache-2.0 limpia de Idefics2 es una propuesta legal distinta de las obligaciones de la licencia comunitaria Llama 3.1 de Idefics3. Elige Idefics3 para comprensión de documentos y calidad de OCR cuando dispongas de la memoria de GPU necesaria; elige específicamente Idefics2 si una pila puramente Apache-2.0 importa; y elige LLaVA, mediante el análisis de LLaVA de PromptQuorum, o uno de los modelos de la guía de modelos de visión de Ollama, para hardware local más ligero o flujos de trabajo basados en Ollama.