Lokale Vision-Modelle 2026: LLaVA, Llama 3.2 Vision, Qwen2-VL & Ollama Multimodal-Setup

Schnellübersicht

• Was VLMs leisten: Bild- + Texteingabe → Textausgabe. Keine Bildgeneratoren – diese Modelle *verstehen* Bilder.
• Ollama-Unterstützung: Alle Modelle in diesem Vergleich haben offizielle oder Community-Ollama-Integration (Stand Mai 2026).
• Kleinstes nutzbares Modell: Moondream 2 mit 1,9B Parametern, ~2 GB VRAM.
• Größtes praktisches lokales Modell: Llama 3.2 Vision 90B mit ~64 GB Unified Memory (Apple M-Series oder Multi-GPU).
• Bild-Eingabeformat: JPEG, PNG, WebP. Maximale Auflösung variiert je Modell (typisch 1024×1024 bis 4096×4096).
• OCR-Stärke: Qwen2-VL 7B ≈ MiniCPM-V 2.6 > Llama 3.2 Vision 11B > LLaVA 1.6 13B > LLaVA 1.6 7B > Moondream 2.
• Multimodal ist langsamer: Vision-Modelle fügen einen Vision-Encoder zum LLM hinzu – ~30–60 % langsamere Token-Generierung als ein reines Textmodell gleicher Parameterzahl.

Was sind Vision-Language-Modelle (VLMs)?

• Unterschied zu Bildgeneratoren: Stable Diffusion, FLUX und DALL-E 3 sind Text-zu-Bild-Generatoren. VLMs sind Bild-zu-Text-Modelle – sie beschreiben, analysieren und beantworten Fragen zu Bildern.
• Unterschied zu reinen OCR-Tools: Klassische OCR (Tesseract, PaddleOCR) extrahiert Text per Mustererkennung. VLMs verstehen Kontext – sie können den Inhalt einer Tabelle erklären, Fragen zu einem Diagramm beantworten oder Objekte identifizieren.
• Warum lokal betreiben: Private Dokumente (Krankenakten, juristische Scans, Finanzberichte), proprietäre Screenshots oder Workflows, bei denen das Senden von Bildern an Cloud-APIs Compliance- oder Vertraulichkeitsbedenken aufwirft.
• Was sie nicht können: Bilder generieren, Code aus Screenshots ausführen oder auf das Internet zugreifen. VLMs erzeugen ausschließlich Textausgaben basierend auf dem, was im Bild sichtbar ist.

Verfügbare lokale Vision-Modelle — Vergleichstabelle

Praxistest: Rechnungsextraktion

Multi-Bild-Unterstützung

• MiniCPM-V 2.6 akzeptiert bis zu 4 Bilder pro Prompt; Qwen2-VL verarbeitet bis zu 8. LLaVA und Moondream akzeptieren nur einzelne Bilder pro Anfrage.
• Wann Multi-Bild wichtig ist: Alle Seiten eines mehrseitigen PDFs für vollständige Extraktion senden. Zwei Produktfotos nebeneinander vergleichen. Vorher/Nachher-Screenshots in einem Prompt analysieren.

Setup mit Ollama — Schritt für Schritt

• Schritt 1 — Ollama installieren: Download von ollama.com für macOS, Linux oder Windows. Installation unter 2 Minuten.
• Schritt 2 — Modell herunterladen: ollama pull llama3.2-vision (11B, ~8 GB) oder ollama pull moondream (1,9B, ~2 GB) für VRAM-beschränkte Systeme.
• Schritt 3 — Über CLI nutzen: ollama run llama3.2-vision "Was ist auf diesem Bild?" --image /pfad/zum/foto.jpg
• Schritt 4 — HTTP-API nutzen: POST an http://localhost:11434/api/generate mit dem Bild als Base64-String im images-Array.
• Schritt 5 — Python-Beispiel: requests-Bibliothek mit Base64-Kodierung verwenden – siehe Code-Block unten.

import base64
import requests

def ask_vision_model(image_path: str, prompt: str, model: str = "llama3.2-vision") -> str:
    with open(image_path, "rb") as f:
        image_b64 = base64.b64encode(f.read()).decode("utf-8")

    response = requests.post(
        "http://localhost:11434/api/generate",
        json={
            "model": model,
            "prompt": prompt,
            "images": [image_b64],
            "stream": False,
        },
    )
    return response.json()["response"]

# Beispielaufruf
result = ask_vision_model("rechnung.png", "Extrahiere alle Positionen und Gesamtbeträge aus dieser Rechnung.")
print(result)

Anwendungsfall 1: Dokument-OCR und -Extraktion

• Was gut funktioniert: Gescannte Rechnungen, PDF-Screenshots, handgeschriebene Druckschrift, Tabellen mit klaren Linien, Visitenkarten.
• Was weniger gut funktioniert: Kursivhandschrift, Scans unter 150 DPI, stark komprimierte JPEGs, überlappender Text.
• Beste Modelle für OCR: MiniCPM-V 2.6 (höchste Genauigkeit in der 6-GB-Klasse), Llama 3.2 Vision 11B (beste Leistung bei gemischten Dokumenttypen).
• Prompt-Engineering für OCR: „Extrahiere den gesamten Text aus diesem Dokument genau wie geschrieben." Oder: „Gib den Inhalt dieser Rechnung als JSON zurück mit Feldern: Anbieter, Datum, Positionen[], Gesamt."
• Vs. klassische OCR: VLMs sind langsamer, aber semantisch mächtiger. Tesseract für reine Textextraktion aus sauberen Dokumenten; VLMs für strukturierte Datenextraktion.

Anwendungsfall 2: Bild-Q&A und -Beschreibung

• Szenenbeschreibung: „Was ist auf diesem Foto?" – Objekte, Personen, Aktivitäten, Umgebung, Stimmung.
• Produktkatalogisierung: Produktfotos mit einem Template verarbeiten: „Beschreibe Farbe, Form, Material, Zustand." Nützlich für E-Commerce-Inventar ohne Cloud-APIs.
• Barrierefreiheit: Alt-Texte für Bilder im großen Maßstab generieren.
• Beste Modelle: LLaVA 1.6 13B oder Llama 3.2 Vision 11B für allgemeine Foto-Q&A. LLaVA 1.6 7B für Massenverarbeitung.
• Geschwindigkeitshinweis: Auf einer 6-GB-GPU generiert Llama 3.2 Vision 11B Q4 ~8–12 Token/Sek. – 100 Bilder dauern ~2–5 Minuten.

Anwendungsfall 3: Screenshot- und UI-Analyse

• Entwickler-Workflows: Screenshots von Fehlermeldungen an das Modell weiterleiten: „Was ist falsch und wie würde man es beheben?"
• Bug-Report-Generierung: Automatische Erstellung von Bug-Beschreibungen aus Screenshots.
• Dashboard-Monitoring: Screenshots auf Anomalien analysieren – „Gibt es Metriken auf Warnstufe in diesem Grafana-Screenshot?"
• Accessibility-Testing: Screenshots vor und nach UI-Änderungen vergleichen.
• Beste Modelle: InternVL 2.5 8B (bestes UI-Verständnis), MiniCPM-V 2.6 (zweitbeste mit Ollama-Unterstützung).

Anwendungsfall 4: Diagramm- und Grafikanalyse

• Was gut funktioniert: Achsenbeschriftungen lesen, Trends erkennen, relative Balkenhöhen vergleichen, Tabellenwerte auslesen.
• Was unzuverlässig ist: Präzise numerische Extraktion aus kontinuierlichen Diagrammen, Kreisdiagramm-Prozentsätze ohne Beschriftungen.
• Prompt-Strategie: „Beschreibe den Trend" funktioniert besser als „Was ist der exakte Wert?"
• Beste Modelle: InternVL 2.5 (bestes Diagrammverständnis), Llama 3.2 Vision 11B (gut bei klar beschrifteten Diagrammen).
• Einschränkungshinweis: Kein lokales VLM extrahiert 2026 zuverlässig präzise Zahlen aus komplexen Diagrammen.

Anwendungsfall 5: Video-Frame-Analyse

• Frame-Extraktion: ffmpeg -i video.mp4 -vf fps=1 frames/frame_%04d.jpg
• Frame-für-Frame-Analyse: Jeden Frame mit konsistentem Prompt durch das Vision-Modell schicken.
• Übergreifende Zusammenfassung: Alle Frame-Beschreibungen an ein Text-LLM übergeben.
• Anwendungsfälle: Sicherheitskamera-Review, Vorlesungsaufzeichnungsanalyse, Qualitätskontrolle in der Fertigung.
• Beste Modelle: Llama 3.2 Vision 11B für Qualität, LLaVA 1.6 7B für Geschwindigkeit.
• Geschwindigkeitsrealität: Ein 10-minütiges Video dauert ~20–30 Minuten vollständig zu verarbeiten.

import base64
import subprocess
import os
import requests

def extract_frames(video_path: str, output_dir: str, fps: int = 1) -> list[str]:
    os.makedirs(output_dir, exist_ok=True)
    subprocess.run([
        "ffmpeg", "-i", video_path,
        "-vf", f"fps={fps}",
        f"{output_dir}/frame_%04d.jpg",
        "-y"
    ], check=True)
    return sorted([
        os.path.join(output_dir, f)
        for f in os.listdir(output_dir)
        if f.endswith(".jpg")
    ])

def analyze_frame(image_path: str, model: str = "llama3.2-vision") -> str:
    with open(image_path, "rb") as f:
        image_b64 = base64.b64encode(f.read()).decode("utf-8")
    response = requests.post(
        "http://localhost:11434/api/generate",
        json={
            "model": model,
            "prompt": "Describe what is happening in this frame in one sentence.",
            "images": [image_b64],
            "stream": False,
        },
    )
    return response.json()["response"]

frames = extract_frames("vorlesung.mp4", "frames/", fps=1)
descriptions = [analyze_frame(f) for f in frames]
print("\n".join(f"[{i+1}s] {d}" for i, d in enumerate(descriptions)))

VRAM und Leistungs-Realitätscheck

Lokale Vision-Modelle vs. GPT-4o Vision

• Strukturierte Dokumente (Rechnungen, Formulare): Lokale Modelle bei 80–90 % der GPT-4o-Qualität – ausreichend für den Produktionseinsatz.
• Komplexe Szenen, mehrdeutige Bilder: Lokale Modelle bei 50–70 % von GPT-4o – spürbare Qualitätslücke.
• Handschrifterkennung: Lokale Modelle deutlich schwächer, besonders bei Kursivschrift.
• Diagrammdatenextraktion: Auf beiden unzuverlässig, aber GPT-4o bei präzisen Zahlenwerten genauer.
• Kosten: GPT-4o Vision bei 0,01–0,03 $ pro Bild vs. 0 $ lokal. 10.000 Bilder/Monat = 100–300 $ gespart.
• Datenschutz: Lokale Modelle verarbeiten Bilder auf dem Gerät – keine Daten verlassen die Maschine.
• Geschwindigkeit: Lokale Modelle 10–20 Token/Sek. vs. GPT-4o 30–80 Token/Sek., aber lokal ohne Netzwerklatenz.

LLaVA im Detail

• Architektur: CLIP ViT-L/14 Vision-Encoder + Llama-2 oder Mistral Text-Decoder, verbunden durch eine lineare Projektionsschicht.
• LLaVA 1.5 vs. 1.6: Version 1.6 (Anfang 2024) fügte dynamisches Patching für höhere Auflösungen hinzu und verbesserte OCR und Diagrammauswertung deutlich.
• Training: Instruction-tuning auf LLaVA-Instruct-150K – visuellen Konversationen aus Bildbeschriftungen und Objekterkennungsannotationen.
• Stärken: Breites Allgemeinwissen, gut dokumentiert, große Community, umfangreiche Ollama-Integration.
• Schwächen: Schwächere OCR als MiniCPM-V 2.6, schwächere UI-Analyse als InternVL 2.5.
• Warum weiterhin empfohlen: Größte Community, meiste Tutorials, meiste Beispiel-Prompts aller lokalen VLMs.

Qwen2-VL — Beste multilinguale OCR-Leistung

• Architektur: Dynamische Auflösung bis 4096×4096 – deutlich höher als LLaVA 1.6 (672×672) oder Llama 3.2 Vision (1120×1120).
• Mehrsprachige OCR: Beste Klasse für Chinesisch, Japanisch, Koreanisch und Englisch. Umfangreiche mehrsprachige Dokumentkorpora im Training.
• 7B vs. 72B: 7B in ~6 GB VRAM (Q4), konkurrenzfähig mit Llama 3.2 Vision 11B. 72B mit ~48 GB führt Open-Source-Benchmarks an.
• Ollama-Installation: ollama pull qwen2-vl:7b
• Multi-Bild: Bis zu 8 Bilder pro Anfrage – höchste Kapazität im Vergleich.
• Modellseite: Qwen2-VL 7B auf Hugging Face

Auswahl des richtigen Vision-Modells

• Unter 4 GB VRAM: Moondream 2 (1,9B) bei 2 GB. PaliGemma 2 (3B) und SmolVLM (2,2B) als Alternativen – PaliGemma 2 mit besserem Dokumentenverständnis (~3 GB). Keines für dichten Text-OCR geeignet.
• 6 GB VRAM: MiniCPM-V 2.6 für Dokument-OCR. LLaVA 1.6 7B für allgemeine Foto-Q&A. Qwen2-VL 7B für mehrsprachige OCR.
• 8–16 GB VRAM: Llama 3.2 Vision 11B – beste Gesamtqualität, breite Ollama-Unterstützung.
• 16+ GB VRAM: LLaVA 1.6 13B für komplexes Szenenverständnis. InternVL 2.5 8B für UI/Code-Screenshots.
• 64+ GB Unified Memory: Llama 3.2 Vision 90B für beste lokale Qualität. Qwen2-VL 72B als Alternative mit führenden Benchmark-Werten.
• Zahlen immer prüfen: Aus Diagrammen extrahierte Zahlenwerte immer gegen Quelldaten gegenchecken.

FAQ

Quellen

• LLaVA-Projektseite — LLaVA 1.5 und 1.6 Modell-Cards, Architekturdetails und Trainingsdatensatz.
• Llama 3.2 Vision auf Hugging Face — Metas offizielle Modell-Card und Benchmark-Werte.
• MiniCPM-V 2.6 auf Hugging Face — OpenBMB Modell-Card, OCR-Benchmarks und Fine-Tuning-Anleitung.
• Moondream auf GitHub — Architekturbeschreibung und Inferenzskripte.
• InternVL 2.5 auf Hugging Face — OpenGVLab Modell-Card und Benchmark-Werte.
• Ollama-Dokumentation — Vision-Modell-Unterstützung, API-Referenz und Modellbibliothek.
• Qwen2-VL auf Hugging Face — Alibabas Qwen2-VL Modell-Card und multilinguale OCR-Benchmarks.
• PaliGemma 2 auf Hugging Face — Googles PaliGemma 2 3B Modell-Card.
• SmolVLM auf Hugging Face — HuggingFace SmolVLM Modell-Card und Inferenzanleitung.

Weiterführende Artikel

• Lokale multimodale KI-Pipeline 2026 — Vision-Modelle mit STT und TTS zu einem vollständigen lokalen Stack kombinieren.
• Lokale Sprache-zu-Text 2026: Whisper.cpp vs. faster-whisper — Spracheingabe als Ergänzung zur Vision-Ausgabe.
• Lokale TTS und Stimmklonierung 2026 — Sprachausgabe für VLM-Antworten.
• Ollama installieren — Voraussetzung: Ollama-Setup und -Konfiguration.
• Lokaler LLM Hardware-Leitfaden 2026 — VRAM- und RAM-Anforderungen für Vision-Modell-Inferenz.