Ollama-Vision-Modelle (2026): So führen Sie Bildmodelle wirklich lokal aus

Geschichte: Ollama, llama.cpp und Multimodal-Unterstützung

Welche Vision-Modelle sich tatsächlich in Ollamas Bibliothek befinden

Ein Vision-Modell herunterladen und ausführen: Schritt für Schritt

1. 1
   Ollama installieren.
   Why it matters: Laden Sie [Ollama](https://ollama.com) für macOS, Linux oder Windows herunter. Die Installation ist ein Standard-Installer/Paket und dauert unter zwei Minuten.
2. 2
   Ein Vision-Modell herunterladen.
   Why it matters: Führen Sie `ollama pull llava` aus (oder `ollama pull qwen2.5vl`, `ollama pull minicpm-v` usw.) — dies lädt die Modellgewichte herunter, deren Größe von unter 2 GB (Moondream) bis zu mehreren zehn Gigabyte (Llama 4) reicht.
3. 3
   Mit einem im Prompt referenzierten Bild ausführen.
   Why it matters: Führen Sie `ollama run llava "describe this image: ./photo.jpg"` aus. Ollama erkennt den `.jpg`/`.png`-Dateipfad im Prompttext und hängt das Bild automatisch an — dieses Muster funktioniert seit v0.1.15 im Dezember 2023.
4. 4
   Oder die HTTP-API direkt aufrufen.
   Why it matters: Senden Sie eine POST-Anfrage an `http://localhost:11434/api/generate` oder `/api/chat` mit dem Base64-kodierten Bild in einem `images`-Array — die genaue JSON-Form ist in Ollamas eigenem [docs/api.md](https://github.com/ollama/ollama/blob/main/docs/api.md) dokumentiert und wird im Abschnitt Nutzungsbeispiele unten gezeigt.
5. 5
   (Optional) Die offiziellen Client-Bibliotheken verwenden.
   Why it matters: Die offiziellen `ollama`-Python- und JavaScript-Bibliotheken akzeptieren direkt einen Bilddateipfad und übernehmen die Base64-Kodierung für Sie, sodass manuelle Kodierung in Skripten entfällt.

Echte Nutzungsbeispiele: CLI und HTTP-API

• Es gibt kein separates Bild-Flag in der CLI. Ollama erkennt einen .jpg/.png/ähnlichen Dateipfad innerhalb des Prompttextes selbst und hängt ihn automatisch an.
• /api/generate verwendet prompt; /api/chat verwendet messages.** Beide akzeptieren ein images-Array aus Base64-kodierten Strings; /api/chat unterstützt mehrstufige Konversationen mit Bildern, die einzelnen Nachrichten zugeordnet sind.

# Herunterladen und über CLI ausführen — Bildpfad direkt im Prompt referenzieren
ollama pull llava
ollama run llava "describe this image: ./photo.jpg"

# --- HTTP-API: /api/generate (dokumentiert in Ollamas docs/api.md) ---
curl http://localhost:11434/api/generate -d '{
  "model": "llava",
  "prompt": "What is in this picture?",
  "stream": false,
  "images": ["<Base64-kodierte Bilddaten>"]
}'

# --- HTTP-API: /api/chat (mehrstufig, ebenfalls in docs/api.md dokumentiert) ---
curl http://localhost:11434/api/chat -d '{
  "model": "llava",
  "messages": [
    { "role": "user", "content": "What is in this image?", "images": ["<Base64-kodierte Bilddaten>"] }
  ]
}'

# --- Python: offizielle ollama-Bibliothek (übernimmt Base64-Kodierung für Sie) ---
import ollama

response = ollama.chat(
    model="llava",
    messages=[{
        "role": "user",
        "content": "What is in this image?",
        "images": ["photo.jpg"],
    }],
)
print(response["message"]["content"])

# --- Python: rohe HTTP-API mit manueller Base64-Kodierung ---
import base64
import requests

def ask_vision_model(image_path: str, prompt: str, model: str = "llava") -> str:
    with open(image_path, "rb") as f:
        image_b64 = base64.b64encode(f.read()).decode("utf-8")
    response = requests.post(
        "http://localhost:11434/api/generate",
        json={"model": model, "prompt": prompt, "images": [image_b64], "stream": False},
    )
    return response.json()["response"]

VRAM- und Hardware-Hinweise

Wofür Ollama nicht geeignet ist

• Feinabstimmung oder Training eines Modells. Ollama dient ausschließlich der Inferenz — es führt vortrainierte Modellgewichte aus, bietet aber keine Trainings- oder Feinabstimmungs-Pipeline. Wenn Sie ein Vision-Language-Modell mit Ihren eigenen Daten feinabstimmen müssen, benötigen Sie eine andere Toolchain (etwa die eigenen Trainingsskripte des originalen LLaVA-Repositorys oder ein Framework wie Hugging Face Transformers).
• Neueste proprietäre Multimodal-Fähigkeit. Ollamas Bibliothek ist um Open-Weight-Modelle herum aufgebaut. Zum Zeitpunkt dieses Tests führen die Cloud-Vision-APIs von GPT-4o, Claude und Gemini im Allgemeinen bei komplexem Szenenverständnis, Handschrifterkennung und mehrdeutigen Bildern gegenüber offenen lokalen Modellen — Ollama ist das richtige Werkzeug für private, selbst gehostete Nutzung ohne Grenzkosten pro Bild, nicht für das Erreichen des absoluten Stands der Technik.
• Präzise numerische Extraktion aus Diagrammen und Grafiken. Dies ist eine Einschränkung der zugrunde liegenden Vision-Language-Modelle selbst, nicht spezifisch für Ollama als Runner — überprüfen Sie extrahierte Zahlen stets gegen die Quelldaten, unabhängig davon, welches Modell oder welchen Runner Sie verwenden.
• Eine einzige einheitliche Antwort auf „welches Modell ist am besten". Das richtige Vision-Modell über Ollama hängt von der Aufgabe ab: Qwen2.5-VL für OCR-lastige Dokumentenarbeit, MiniCPM-V für OCR bei niedrigerem VRAM, Llama 3.2 Vision für allgemeine Bild-Q&A, Moondream für den geringsten Fußabdruck. Siehe PromptQuorums Vergleich lokaler Vision-Modelle für aufgabenspezifische Hinweise.

Alternativen zu Ollama für Vision-Modelle

Häufig gestellte Fragen

Fazit

Quellen

• Ollama auf GitHub — Erstellungsdatum des Repositorys, Lizenz und Release-Historie.
• Ollama v0.1.15 Release-Notes — die ursprüngliche Ankündigung der Multimodal-/LLaVA-Unterstützung, 12. Dezember 2023.
• Ollamas neue Engine für multimodale Modelle — der Umbau der Multimodal-Engine im Mai 2026, mit Llama 4, Gemma 3, Qwen2.5-VL und Mistral Small 3.1.
• Ollama-API-Dokumentation — die dokumentierte Form der /api/generate- und /api/chat-Anfragen/Antworten für Bilder.
• Ollama-Modellbibliothek — die Live-Bibliothek, mit der jedes in diesem Artikel gelistete Modell verifiziert wurde, einschließlich einzelner Seiten für llava, llama3.2-vision, qwen2.5vl, minicpm-v, moondream, granite3.2-vision, gemma3, llama4 und mistral-small3.1.

Weiterführende Artikel

• LLaVA im Test (2026) — ein dedizierter Tiefgang zu LLaVA speziell, einschließlich seiner Geschichte und Lizenznuance.
• Lokale Vision-Modelle 2026: LLaVA, Llama 3.2 Vision, Qwen3-VL & Ollama-Multimodal-Setup — ein breiterer, aufgabenspezifischer Vergleich über aktuelle lokale Vision-Modelle hinweg.
• Ollama Neueste Version 2026: v0.33.1 + Beste Modelle nach Anwendungsfall — Ollamas breiterer Modellkatalog jenseits von Vision, einschließlich welcher Textmodelle am beliebtesten sind.