LLaVA : avis (2026) — le modèle de recherche à l'origine de l'IA visuelle locale

Histoire : d'un article de recherche à une référence de l'IA locale

Ce que fait réellement LLaVA

• Encodeur CLIP plus décodeur LLM. LLaVA utilise un encodeur visuel CLIP ViT-L/14 pour convertir une image en une séquence de caractéristiques visuelles, projette ces caractéristiques dans le même espace d'embedding que les tokens texte du modèle de langage via un module connecteur, et alimente la séquence combinée dans un modèle Vicuna (basé sur Llama 2) ou, dans les versions ultérieures, Mistral ou un autre LLM de base pour générer une réponse.
• Instruction tuning visuel. Plutôt que de s'entraîner sur des paires image-légende brutes, LLaVA a été affiné sur LLaVA-Instruct-150K, un ensemble de conversations visuelles multi-tours générées en sollicitant GPT-4 avec des légendes d'images et des annotations de détection d'objets — apprenant au modèle à suivre des instructions visuelles ouvertes plutôt que de simplement générer des légendes.
• Trois tailles de modèle via Ollama. La bibliothèque Ollama propose LLaVA en tailles 7B (4,7 Go), 13B (8,0 Go) et 34B (20 Go) — les modèles plus grands produisent généralement des descriptions plus détaillées et précises, au prix de plus de VRAM et d'une inférence plus lente.
• Améliorations de résolution de LLaVA-1.6 (LLaVA-NeXT). La version actuelle prise en charge via Ollama et le dépôt officiel gère des résolutions d'entrée plus élevées via un découpage dynamique, ce qui améliore sensiblement les tâches de lecture de texte et de détail fin par rapport à la version d'origine de 2023.
• Entraînement centré sur l'anglais. LLaVA-Instruct-150K et les benchmarks sous-jacents sur lesquels il a été évalué sont majoritairement en anglais, donc la performance sur du texte non anglais dans les images est plus faible d'emblée que celle de modèles spécifiquement entraînés sur des données documentaires multilingues.

Installer et exécuter LLaVA : étape par étape

1. 1
   Installer Ollama.
   Why it matters: Téléchargez et installez [Ollama](https://ollama.com) pour macOS, Linux ou Windows. C'est le moyen officiellement listé d'exécuter LLaVA selon sa [page de bibliothèque Ollama](https://ollama.com/library/llava), et cela prend moins de deux minutes.
2. 2
   Télécharger une taille de modèle LLaVA.
   Why it matters: Exécutez `ollama pull llava` pour le modèle 7B par défaut (~4,7 Go), ou `ollama pull llava:13b` (~8,0 Go) ou `ollama pull llava:34b` (~20 Go) pour une meilleure qualité au prix de plus de VRAM et d'espace disque.
3. 3
   L'exécuter avec une image depuis la CLI.
   Why it matters: Exécutez `ollama run llava "describe this image: ./photo.jpg"`, en référençant directement un chemin de fichier image local dans le texte du prompt — aucun indicateur séparé n'est requis.
4. 4
   (Alternative) Utiliser le dépôt d'origine pour un contrôle de niveau recherche.
   Why it matters: Clonez [haotian-liu/LLaVA](https://github.com/haotian-liu/LLaVA), installez son `requirements.txt`, et téléchargez un checkpoint depuis Hugging Face pour un accès complet aux scripts d'entraînement, aux harnais d'évaluation et à la démo web Gradio — utile pour la recherche ou l'affinage, mais une barrière d'installation nettement plus élevée qu'Ollama.
5. 5
   (Optionnel) L'appeler par programmation via l'API Ollama.
   Why it matters: Envoyez une requête POST à `http://localhost:11434/api/generate` avec l'image encodée en base64 dans un tableau `images`, ou utilisez la bibliothèque officielle Python ou JavaScript `ollama` — voir l'exemple de code ci-dessous.

Exemples d'utilisation réels

• Référencer un chemin de fichier dans le prompt CLI suffit — Ollama détecte le chemin .jpg/.png et attache l'image automatiquement ; il n'existe pas d'indicateur --image séparé.
• Les tailles de modèle plus grandes coûtent plus de VRAM et de temps. Le modèle 7B est l'option la plus rapide et la moins gourmande en VRAM ; utilisez 13B ou 34B lorsque la précision de description importe plus que la vitesse.

# Installer et télécharger le modèle
# (téléchargez d'abord Ollama depuis https://ollama.com)
ollama pull llava

# CLI : décrire une image en référençant son chemin de fichier dans le prompt
ollama run llava "describe this image: ./photo.jpg"

# --- API HTTP (documentée dans le docs/api.md propre à Ollama) ---
# /api/generate avec une image encodée en base64
curl http://localhost:11434/api/generate -d '{
  "model": "llava",
  "prompt": "What is in this picture?",
  "stream": false,
  "images": ["<données image encodées en base64>"]
}'

# /api/chat avec une image encodée en base64 (conversations multi-tours)
curl http://localhost:11434/api/chat -d '{
  "model": "llava",
  "messages": [
    { "role": "user", "content": "What is in this image?", "images": ["<données image encodées en base64>"] }
  ]
}'

# --- Exemple Python avec la bibliothèque officielle ollama ---
import ollama

response = ollama.chat(
    model="llava",
    messages=[{
        "role": "user",
        "content": "What is in this image?",
        "images": ["photo.jpg"],
    }],
)
print(response["message"]["content"])

Licence et coût

Pour quoi LLaVA n'est pas adapté

• Les tâches purement textuelles. LLaVA est un modèle vision-langage ; pour une conversation textuelle pure sans image impliquée, utilisez un LLM textuel dédié (via Ollama ou autrement) — exécuter un modèle multimodal pour un chat purement textuel gaspille le VRAM occupé par son encodeur visuel sans aucun bénéfice.
• Avoir besoin de l'OCR ou de la compréhension documentaire locale la plus performante disponible. En 2026, les modèles sortis après LLaVA-NeXT — MiniCPM-V, Qwen2.5-VL et Llama 3.2 Vision — le surpassent sur l'OCR de documents, les tableaux et l'extraction structurée, selon la comparaison des modèles de vision locaux de PromptQuorum. L'encodeur visuel de LLaVA a été conçu et entraîné avant que cette génération de données d'entraînement en plus haute résolution et axées documents n'existe.
• Lire du texte non anglais dans des images. LLaVA-Instruct-150K et les données d'entraînement de base du modèle sont majoritairement en anglais. Pour l'OCR de documents en chinois, japonais, coréen ou autre écriture non latine, un modèle spécifiquement entraîné sur des corpus documentaires multilingues (Qwen2.5-VL) le surpassera sensiblement.
• L'extraction numérique précise de graphiques et de diagrammes. Comme pratiquement tous les modèles vision-langage locaux en 2026, LLaVA n'est pas fiable pour lire des valeurs exactes sur des graphiques complexes — vérifiez tout chiffre extrait par rapport aux données source, quel que soit le modèle utilisé.
• Supposer un développement actif continu. Sans commit sur le dépôt officiel depuis le 11 mai 2024, n'attendez pas de nouvelles fonctionnalités, corrections de bugs ou checkpoints plus récents du projet d'origine — les propres mises à jour du moteur multimodal d'Ollama et les familles de modèles plus récentes l'ont effectivement supplanté comme option activement développée.
• Une histoire de licence unique et simple. Comme le code (Apache-2.0) et les checkpoints officiellement publiés (Apache-2.0 plus conditions héritées de la licence communautaire Llama 2, plus une affirmation plus stricte de recherche uniquement sur la page d'accueil distincte du projet) sont régis par trois affirmations qui se chevauchent sans être pleinement alignées, LLaVA n'offre pas la clarté de licence en une ligne qu'offre un projet comme Bark (entièrement MIT, sans condition supplémentaire).

Alternatives à LLaVA

Questions fréquemment posées

Verdict

Sources

• LLaVA sur GitHub — le dépôt officiel : README, LICENSE, instructions d'installation et historique des commits.
• Article « Visual Instruction Tuning » (NeurIPS 2023) — la page d'accueil du projet avec liens vers l'article, affirmations de licence et historique des versions.
• LLaVA sur Ollama — la page de modèle officiellement listée : tailles, description et métadonnées de bibliothèque.
• Documentation de l'API Ollama — la forme documentée des requêtes/réponses /api/generate et /api/chat pour les modèles multimodaux.
• Modèles de vision locaux 2026 : LLaVA, Llama 3.2 Vision, Qwen3-VL & configuration multimodale Ollama — la comparaison plus large de PromptQuorum des modèles de vision locaux actuels.

Lectures complémentaires

• Modèles de vision locaux 2026 : LLaVA, Llama 3.2 Vision, Qwen3-VL & configuration multimodale Ollama — le hub de comparaison multi-modèles que cet avis complète avec une profondeur spécifique à LLaVA.