Modèles de vision Ollama (2026) : comment exécuter réellement des modèles d'image en local

Histoire : Ollama, llama.cpp et la prise en charge multimodale

Quels modèles de vision figurent réellement dans la bibliothèque d'Ollama

Télécharger et exécuter un modèle de vision : étape par étape

1. 1
   Installer Ollama.
   Why it matters: Téléchargez [Ollama](https://ollama.com) pour macOS, Linux ou Windows. L'installation est un installateur/paquet standard et prend moins de deux minutes.
2. 2
   Télécharger un modèle de vision.
   Why it matters: Exécutez `ollama pull llava` (ou `ollama pull qwen2.5vl`, `ollama pull minicpm-v`, etc.) — cela télécharge les poids du modèle, dont la taille varie de moins de 2 Go (Moondream) à plusieurs dizaines de gigaoctets (Llama 4).
3. 3
   L'exécuter avec une image référencée dans le prompt.
   Why it matters: Exécutez `ollama run llava "describe this image: ./photo.jpg"`. Ollama détecte le chemin de fichier `.jpg`/`.png` dans le texte du prompt et attache l'image automatiquement — ce schéma fonctionne depuis la v0.1.15 en décembre 2023.
4. 4
   Ou appeler directement l'API HTTP.
   Why it matters: Envoyez une requête POST à `http://localhost:11434/api/generate` ou `/api/chat` avec l'image encodée en base64 dans un tableau `images` — la forme JSON exacte est documentée dans le [docs/api.md](https://github.com/ollama/ollama/blob/main/docs/api.md) propre à Ollama, et présentée dans la section Exemples d'utilisation ci-dessous.
5. 5
   (Optionnel) Utiliser les bibliothèques clientes officielles.
   Why it matters: Les bibliothèques officielles Python et JavaScript `ollama` acceptent directement un chemin de fichier image et gèrent l'encodage base64 pour vous, évitant un encodage manuel dans les scripts.

Exemples d'utilisation réels : CLI et API HTTP

• Aucun indicateur image séparé n'existe dans la CLI. Ollama détecte un chemin de fichier .jpg/.png/similaire à l'intérieur du texte du prompt lui-même et l'attache automatiquement.
• /api/generate utilise prompt ; /api/chat utilise messages.** Les deux acceptent un tableau images de chaînes encodées en base64 ; /api/chat prend en charge les conversations multi-tours avec des images attachées à des messages individuels.

# Télécharger et exécuter via la CLI — référencer le chemin de l'image directement dans le prompt
ollama pull llava
ollama run llava "describe this image: ./photo.jpg"

# --- API HTTP : /api/generate (documentée dans le docs/api.md d'Ollama) ---
curl http://localhost:11434/api/generate -d '{
  "model": "llava",
  "prompt": "What is in this picture?",
  "stream": false,
  "images": ["<données image encodées en base64>"]
}'

# --- API HTTP : /api/chat (multi-tours, également documentée dans docs/api.md) ---
curl http://localhost:11434/api/chat -d '{
  "model": "llava",
  "messages": [
    { "role": "user", "content": "What is in this image?", "images": ["<données image encodées en base64>"] }
  ]
}'

# --- Python : bibliothèque officielle ollama (gère l'encodage base64 pour vous) ---
import ollama

response = ollama.chat(
    model="llava",
    messages=[{
        "role": "user",
        "content": "What is in this image?",
        "images": ["photo.jpg"],
    }],
)
print(response["message"]["content"])

# --- Python : API HTTP brute avec encodage base64 manuel ---
import base64
import requests

def ask_vision_model(image_path: str, prompt: str, model: str = "llava") -> str:
    with open(image_path, "rb") as f:
        image_b64 = base64.b64encode(f.read()).decode("utf-8")
    response = requests.post(
        "http://localhost:11434/api/generate",
        json={"model": model, "prompt": prompt, "images": [image_b64], "stream": False},
    )
    return response.json()["response"]

Conseils VRAM et matériel

Pour quoi Ollama n'est pas adapté

• Affiner ou entraîner un modèle. Ollama est réservé à l'inférence — il exécute des poids de modèle pré-entraînés, il ne fournit pas de pipeline d'entraînement ou d'affinage. Si vous devez affiner un modèle vision-langage sur vos propres données, il vous faut une autre chaîne d'outils (comme les propres scripts d'entraînement du dépôt LLaVA original, ou un framework comme Hugging Face Transformers).
• La toute dernière capacité multimodale propriétaire. La bibliothèque d'Ollama est construite autour de modèles à poids ouverts. Au moment de cet avis, les API cloud de vision de GPT-4o, Claude et Gemini devancent généralement les modèles locaux ouverts sur la compréhension de scènes complexes, la reconnaissance d'écriture manuscrite et les images ambiguës — Ollama est le bon outil pour un usage privé et auto-hébergé à coût marginal nul par image, pas pour égaler l'état de l'art absolu.
• L'extraction numérique précise de graphiques et diagrammes. C'est une limite des modèles vision-langage sous-jacents eux-mêmes, pas spécifique à Ollama en tant qu'exécuteur — vérifiez tout chiffre extrait par rapport aux données source, quel que soit le modèle ou l'exécuteur utilisé.
• Une réponse unique et unifiée à « quel est le meilleur modèle ». Le bon modèle de vision via Ollama dépend de la tâche : Qwen2.5-VL pour un travail documentaire à forte composante OCR, MiniCPM-V pour l'OCR à VRAM plus faible, Llama 3.2 Vision pour la Q&R d'image générale, Moondream pour l'empreinte la plus légère. Voir la comparaison des modèles de vision locaux de PromptQuorum pour des conseils tâche par tâche.

Alternatives à Ollama pour les modèles de vision

Questions fréquemment posées

Verdict

Sources

• Ollama sur GitHub — date de création du dépôt, licence et historique des versions.
• Notes de version d'Ollama v0.1.15 — l'annonce originale de la prise en charge multimodale/LLaVA, le 12 décembre 2023.
• Le nouveau moteur d'Ollama pour les modèles multimodaux — la reconstruction du moteur multimodal de mai 2026, couvrant Llama 4, Gemma 3, Qwen2.5-VL et Mistral Small 3.1.
• Documentation de l'API Ollama — la forme documentée des requêtes/réponses /api/generate et /api/chat pour les images.
• Bibliothèque de modèles Ollama — la bibliothèque en direct utilisée pour vérifier chaque modèle listé dans cet article, y compris les pages individuelles pour llava, llama3.2-vision, qwen2.5vl, minicpm-v, moondream, granite3.2-vision, gemma3, llama4 et mistral-small3.1.

Lectures complémentaires

• Avis LLaVA (2026) — un approfondissement dédié à LLaVA spécifiquement, incluant son histoire et la nuance de sa licence.
• Modèles de vision locaux 2026 : LLaVA, Llama 3.2 Vision, Qwen3-VL & configuration multimodale Ollama — une comparaison plus large et tâche par tâche des modèles de vision locaux actuels.
• Dernière version d'Ollama 2026 : v0.33.1 + Meilleurs modèles par cas d'usage — le catalogue de modèles plus large d'Ollama au-delà de la vision, y compris les modèles textuels les plus populaires.