LLaVA im Test (2026): Das Forschungsmodell, das lokale Vision-KI begründete

Geschichte: Von einem Forschungspapier zum lokalen KI-Standard

Was LLaVA tatsächlich tut

• CLIP-Encoder plus LLM-Decoder. LLaVA nutzt einen CLIP-ViT-L/14-Vision-Encoder, um ein Bild in eine Sequenz visueller Merkmale umzuwandeln, projiziert diese Merkmale über ein Connector-Modul in denselben Embedding-Raum wie die Text-Tokens des Sprachmodells und speist die kombinierte Sequenz in ein Vicuna-Modell (basierend auf Llama 2) oder, in späteren Versionen, Mistral oder ein anderes Basis-LLM, um eine Antwort zu erzeugen.
• Visual Instruction Tuning. Statt auf rohen Bild-Beschriftung-Paaren zu trainieren, wurde LLaVA auf LLaVA-Instruct-150K feinabgestimmt, einem Datensatz mehrstufiger visueller Konversationen, die durch Prompting von GPT-4 mit Bildbeschriftungen und Objekterkennungsannotationen generiert wurden — was dem Modell beibringt, offenen visuellen Anweisungen zu folgen, statt nur Bildunterschriften zu generieren.
• Drei Modellgrößen über Ollama. Die Ollama-Bibliothek verpackt LLaVA in den Größen 7B (4,7 GB), 13B (8,0 GB) und 34B (20 GB) — größere Modelle erzeugen im Allgemeinen detailliertere und genauere Beschreibungen, auf Kosten von mehr VRAM und langsamerer Inferenz.
• LLaVA-1.6-(LLaVA-NeXT)-Auflösungsverbesserungen. Die aktuelle, über Ollama und das offizielle Repository unterstützte Version verarbeitet höhere Eingabeauflösungen über dynamisches Patching, was Textlese- und Feindetailaufgaben im Vergleich zur ursprünglichen Version von 2023 merklich verbessert.
• Englischzentriertes Training. LLaVA-Instruct-150K und die zugrunde liegenden Benchmarks, gegen die es evaluiert wurde, sind überwiegend englischsprachig, sodass die Leistung bei nicht-englischem Text in Bildern out-of-the-box schwächer ist als bei Modellen, die speziell auf mehrsprachigen Dokumentdaten trainiert wurden.

LLaVA installieren und ausführen: Schritt für Schritt

1. 1
   Ollama installieren.
   Why it matters: Laden Sie [Ollama](https://ollama.com) für macOS, Linux oder Windows herunter und installieren Sie es. Dies ist der offiziell aufgeführte Weg, LLaVA laut seiner [Ollama-Bibliotheksseite](https://ollama.com/library/llava) auszuführen, und dauert unter zwei Minuten.
2. 2
   Eine LLaVA-Modellgröße herunterladen.
   Why it matters: Führen Sie `ollama pull llava` für das Standardmodell 7B (~4,7 GB) aus, oder `ollama pull llava:13b` (~8,0 GB) beziehungsweise `ollama pull llava:34b` (~20 GB) für höhere Qualität auf Kosten von mehr VRAM und Speicherplatz.
3. 3
   Mit einem Bild über die CLI ausführen.
   Why it matters: Führen Sie `ollama run llava "describe this image: ./photo.jpg"` aus und verweisen Sie dabei direkt im Prompttext auf einen lokalen Bilddateipfad — es ist kein separates Flag erforderlich.
4. 4
   (Alternative) Das Originalrepository für forschungsgerechte Kontrolle nutzen.
   Why it matters: Klonen Sie [haotian-liu/LLaVA](https://github.com/haotian-liu/LLaVA), installieren Sie dessen `requirements.txt` und laden Sie einen Checkpoint von Hugging Face herunter, für vollen Zugriff auf Trainingsskripte, Evaluierungs-Frameworks und die Gradio-Web-Demo — nützlich für Forschung oder Feinabstimmung, aber eine deutlich höhere Einstiegshürde als Ollama.
5. 5
   (Optional) Programmatisch über die Ollama-API aufrufen.
   Why it matters: Senden Sie eine POST-Anfrage an `http://localhost:11434/api/generate` mit dem Bild als Base64-kodiertem String in einem `images`-Array, oder nutzen Sie die offizielle `ollama`-Python- oder JavaScript-Bibliothek — siehe Codebeispiel unten.

Echte Nutzungsbeispiele

• Das Referenzieren eines Dateipfads im CLI-Prompt genügt — Ollama erkennt den .jpg/.png-Pfad und hängt das Bild automatisch an; es gibt kein separates --image-Flag.
• Größere Modellgrößen kosten mehr VRAM und Zeit. Das 7B-Modell ist die schnellste Option mit dem geringsten VRAM-Bedarf; nutzen Sie 13B oder 34B, wenn die Beschreibungsgenauigkeit wichtiger ist als die Geschwindigkeit.

# Installieren und das Modell herunterladen
# (zuerst Ollama von https://ollama.com herunterladen)
ollama pull llava

# CLI: ein Bild beschreiben, indem der Dateipfad im Prompt referenziert wird
ollama run llava "describe this image: ./photo.jpg"

# --- HTTP-API (dokumentiert in Ollamas eigener docs/api.md) ---
# /api/generate mit einem Base64-kodierten Bild
curl http://localhost:11434/api/generate -d '{
  "model": "llava",
  "prompt": "What is in this picture?",
  "stream": false,
  "images": ["<base64-kodierte Bilddaten>"]
}'

# /api/chat mit einem Base64-kodierten Bild (mehrstufige Konversationen)
curl http://localhost:11434/api/chat -d '{
  "model": "llava",
  "messages": [
    { "role": "user", "content": "What is in this image?", "images": ["<base64-kodierte Bilddaten>"] }
  ]
}'

# --- Python-Beispiel mit der offiziellen ollama-Bibliothek ---
import ollama

response = ollama.chat(
    model="llava",
    messages=[{
        "role": "user",
        "content": "What is in this image?",
        "images": ["photo.jpg"],
    }],
)
print(response["message"]["content"])

Lizenz und Kosten

Wofür LLaVA nicht geeignet ist

• Reine Textaufgaben. LLaVA ist ein Vision-Language-Modell; für ein reines Textgespräch ohne Bildbeteiligung nutzen Sie ein dediziertes Text-LLM (über Ollama oder anderweitig) — ein multimodales Modell für reinen Textchat auszuführen verschwendet den VRAM, den sein Vision-Encoder ohne jeden Nutzen belegt.
• Bedarf an der stärksten verfügbaren lokalen OCR oder Dokumentenverständnis. Stand 2026 übertreffen Modelle, die nach LLaVA-NeXT veröffentlicht wurden — MiniCPM-V, Qwen2.5-VL und Llama 3.2 Vision — es bei Dokument-OCR, Tabellen und strukturierter Extraktion, laut PromptQuorums Vergleich lokaler Vision-Modelle. LLaVAs Vision-Encoder wurde entwickelt und trainiert, bevor diese Generation höher auflösender, dokumentenfokussierter Trainingsdaten existierte.
• Lesen von nicht-englischem Text in Bildern. LLaVA-Instruct-150K und die Kern-Trainingsdaten des Modells sind überwiegend englisch. Für chinesische, japanische, koreanische oder andere nicht-lateinische Dokument-OCR wird ein speziell auf mehrsprachigen Dokumentkorpora trainiertes Modell (Qwen2.5-VL) es merklich übertreffen.
• Präzise numerische Extraktion aus Diagrammen und Grafiken. Wie im Grunde jedes lokale Vision-Language-Modell 2026 ist LLaVA unzuverlässig beim Ablesen exakter Werte aus komplexen Diagrammen — überprüfen Sie extrahierte Zahlen stets gegen die Quelldaten, unabhängig davon, welches Modell Sie verwenden.
• Annahme laufender aktiver Weiterentwicklung. Ohne Commits im offiziellen Repository seit dem 11. Mai 2024 sollten Sie keine neuen Funktionen, Fehlerbehebungen oder neueren Checkpoints vom Originalprojekt erwarten — Ollamas eigene Multimodal-Engine-Updates und neuere Modellfamilien haben es als aktiv entwickelte Option faktisch abgelöst.
• Eine einzige, einfache Lizenzgeschichte. Da der Code (Apache-2.0) und die offiziell veröffentlichten Checkpoints (Apache-2.0 plus geerbte Llama-2-Community-Lizenzbedingungen, plus eine strengere Nur-Forschung-Aussage auf der separaten Projekt-Homepage) durch drei überlappende, nicht vollständig übereinstimmende Aussagen geregelt sind, bietet LLaVA nicht die einzeilige Lizenzklarheit, die ein Projekt wie Bark (vollständig MIT, keine Zusatzbedingungen) bietet.

Alternativen zu LLaVA

Häufig gestellte Fragen

Fazit

Quellen

• LLaVA auf GitHub — das offizielle Repository: README, LICENSE, Installationsanleitung und Commit-Historie.
• "Visual Instruction Tuning"-Paper (NeurIPS 2023) — die Projekt-Homepage mit Paper-Links, Lizenzaussagen und Versionsgeschichte.
• LLaVA auf Ollama — die offiziell aufgeführte Modellseite: Größen, Beschreibung und Bibliotheksmetadaten.
• Ollama-API-Dokumentation — die dokumentierte Form der /api/generate- und /api/chat-Anfragen/Antworten für multimodale Modelle.
• Lokale Vision-Modelle 2026: LLaVA, Llama 3.2 Vision, Qwen3-VL & Ollama-Multimodal-Setup — PromptQuorums breiterer Vergleich aktueller lokaler Vision-Modelle.

Weiterführende Artikel

• Lokale Vision-Modelle 2026: LLaVA, Llama 3.2 Vision, Qwen3-VL & Ollama-Multimodal-Setup — der Vergleichs-Hub mehrerer Modelle, den dieser Test mit LLaVA-spezifischer Tiefe ergänzt.