Avis sur Idefics (2026) : les modèles vision-langage ouverts de HuggingFace, évalués honnêtement

**La fiche de modèle de l'Idefics original indique explicitement qu'il s'agit d'"une reproduction en accès ouvert de Flamingo, un modèle vision-langage propriétaire développé par DeepMind."** Il a été publié par l'équipe M4 de HuggingFace en 2023 en deux tailles, 9B et 80B paramètres, combinant un encodeur visuel avec un socle de modèle de langage LLaMA(1).

L'Idefics original porte une licence mixte, pas une seule licence permissive. Son encodeur visuel et les paramètres de connexion nouvellement entraînés sont publiés sous MIT, mais le socle de modèle de langage LLaMA(1) exige le respect de la licence originale de Meta, réservée à la recherche et non commerciale, pour LLaMA. Cela rend l'Idefics original inadapté à un usage commercial dans la plupart des cas, indépendamment de l'étiquette MIT sur certaines parties de la pile.

Idefics2 (8B), sorti autour d'avril 2024, a remplacé le socle LLaMA(1) par Mistral-7B-v0.1 associé à un encodeur visuel SigLIP. Les deux modèles parents étant Apache-2.0, la fiche de modèle d'Idefics2 indique que le modèle complet est Apache-2.0 — résolvant le problème de licence de l'Idefics original. HuggingFace crédite lui-même Idefics2 d'égaler la performance d'Idefics-80B pour une taille environ 10 fois plus petite, avec un OCR et une compréhension de documents nettement meilleurs.

Idefics3 (8B), sorti le 22 août 2024, a conservé l'encodeur visuel SigLIP mais a changé le socle de langage pour Meta-Llama-3.1-8B-Instruct. Sa propre fiche de modèle démontre une amélioration substantielle par rapport à Idefics2, en particulier pour la compréhension de documents, l'OCR et le raisonnement visuel. Il a été intégré à Hugging Face Transformers dans la version 4.46.

Les trois générations sont des modèles distincts avec des architectures de base différentes — pas un seul modèle avec des mises à jour de version incrémentales. Voici ce qui diffère réellement, vérifié sur la fiche HuggingFace propre à chaque modèle.

Le répertoire de PromptQuorum étiquette la licence d'Idefics comme "Apache 2.0" — c'est exact pour le dépôt et le code du modèle, mais incomplet pour la situation de licence pratique, un peu comme la licence de code Apache-2.0 de LLaVA ne s'étend pas automatiquement à chaque checkpoint de modèle de base.

Idefics2 est le cas le plus clair : à la fois son socle de langage Mistral-7B-v0.1 et son encodeur visuel SigLIP sont Apache-2.0, donc l'ensemble de la pile du modèle est réellement Apache-2.0, sans conditions supplémentaires.

Idefics3 est plus nuancé. Son propre dépôt HuggingFace est étiqueté Apache-2.0, mais son socle de langage, Meta-Llama-3.1-8B-Instruct, est publié sous la licence communautaire Llama 3.1 de Meta — qui inclut une politique d'usage acceptable et une clause exigeant une licence distincte de Meta si un produit en aval dépasse 700 millions d'utilisateurs actifs mensuels. Quiconque déploie Idefics3 commercialement à grande échelle devrait lire directement les conditions de licence Llama 3.1 de Meta, pas seulement l'étiquette Apache-2.0 du dépôt Idefics3.

L'Idefics original est le plus restrictif. Son socle LLaMA(1) porte la licence originale de Meta, réservée à la recherche et non commerciale, ce qui rend l'usage commercial du modèle complet 9B/80B juridiquement incertain au mieux et impossible au pire — même si l'encodeur visuel et les poids de connexion sont sous licence MIT séparée.

Idefics3 s'utilise via les classes AutoModelForVision2Seq et AutoProcessor de Hugging Face Transformers, documentées dans la documentation du modèle Idefics3 de Transformers. La version 4.46 ou ultérieure de Transformers est requise.

Idefics2 et Idefics3 sont nettement plus lourds que des checkpoints LLaVA ou MiniCPM-V de taille comparable, en grande partie à cause de la façon dont ils traitent la résolution d'image. Ces chiffres proviennent directement de la propre fiche de modèle d'Idefics2, qui documente explicitement sa plage de VRAM ; Idefics3 (même nombre de 8B paramètres et même encodeur visuel) devrait être similaire, bien que PromptQuorum n'ait pas trouvé de tableau VRAM publié aussi détaillé spécifiquement pour Idefics3.

Idefics3 est un modèle vision-langage ouvert compétent, mais c'est le mauvais choix dans les situations suivantes :

Idefics est une famille de modèles vision-langage ouverts réellement utile, et Idefics3 en particulier tient bien la route pour les tâches OCR intensives en documents et de raisonnement multi-images, là où son empreinte d'environ 18-20 Go de VRAM est abordable. Ce n'est cependant pas un remplacement direct pour des modèles de vision locaux plus légers : il nécessite nettement plus de mémoire GPU que LLaVA 7B ou MiniCPM-V, n'a aucun packaging Ollama ou llama.cpp au moment de cet avis, et sa situation de licence diffère réellement selon la génération — la pile Apache-2.0 propre d'Idefics2 est une proposition juridique différente des obligations de la licence communautaire Llama 3.1 d'Idefics3. Choisissez Idefics3 pour la compréhension de documents et la qualité OCR quand vous disposez de la mémoire GPU nécessaire ; choisissez spécifiquement Idefics2 si une pile purement Apache-2.0 compte ; et choisissez LLaVA, via l'avis LLaVA de PromptQuorum, ou l'un des modèles du guide des modèles de vision Ollama, pour du matériel local plus léger ou des workflows basés sur Ollama.