Qwen2.5-VL und Qwen3-VL lokal betreiben 2026: Leitfaden für Dokumenten-OCR und Bildverständnis

Welches Qwen-Vision-Modell sollten Sie betreiben?

Ollama-Tags, Größen und Lizenzen von Qwen3-VL und Qwen2.5-VL

Hardware-Anforderungen für Qwen-Vision-Modelle

• Download-Größen sind nur die Gewichte: Qwen3-VL 8B hat 6,2 GB, Qwen2.5-VL 7B hat 6,0 GB. Kontext-Cache und Bild-Encoder benötigen zusätzlichen Speicher, der mit Kontextlänge und Bildgröße wächst – planen Sie also Reserve über der Download-Größe ein.
• Kleinere Optionen: Qwen3-VL 2B (1,9 GB) und 4B (3,3 GB) oder Qwen2.5-VL 3B (3,2 GB) eignen sich für kleine GPUs und Notebooks; rechnen Sie mit geringerer Genauigkeit als bei den 7B–8B-Modellen.
• Größere Optionen: Qwen3-VL 30B-A3B (20 GB), Qwen3-VL 32B und Qwen2.5-VL 32B (21 GB) sowie Qwen2.5-VL 72B (49 GB) benötigen eine große GPU, mehrere GPUs oder Apple Silicon mit viel Unified Memory.
• Teilweises Auslagern: Passt ein Modell nicht ins VRAM, kann Ollama einen Teil in den System-RAM legen; das funktioniert, ist aber deutlich langsamer.
• Software: Ollama 0.12.7+ für Qwen3-VL und 0.7.0+ für Qwen2.5-VL, wie auf den Seiten der Ollama-Bibliothek angegeben.

Qwen2.5-VL und Qwen3-VL mit Ollama einrichten

1. 1
   Ollama installieren oder aktualisieren
   Why it matters: Qwen2.5-VL benötigt Ollama 0.7.0 oder neuer, Qwen3-VL benötigt 0.12.7 oder neuer. Prüfen Sie mit `ollama --version` und aktualisieren Sie bei Bedarf. Ollama ist für macOS, Linux und Windows verfügbar.
2. 2
   Modell mit explizitem Tag laden
   Why it matters: Verwenden Sie `qwen3-vl:8b` oder `qwen2.5vl:7b`. Nutzen Sie nicht `qwen2-vl:7b` – der Tag ist nicht in der offiziellen Ollama-Bibliothek, der Download schlägt fehl.
3. 3
   Modell ausführen und Bild anhängen
   Why it matters: Geben Sie im interaktiven Modus den Pfad der Bilddatei im Prompt an. Ollama erkennt den Pfad und lädt das Bild.
4. 4
   Bilder über die API senden
   Why it matters: Der Endpunkt /api/generate akzeptiert ein Base64-codiertes Array `images` ohne das Präfix data:. So senden Anwendungen – und PromptQuorum – Bilder programmatisch.
5. 5
   Mehrsprachige OCR prüfen
   Why it matters: Senden Sie den Scan eines chinesischen oder japanischen Dokuments und vergleichen Sie den extrahierten Text mit der Vorlage, bevor Sie darauf aufbauen.

# Step 1 — Install or update Ollama (Qwen3-VL needs 0.12.7+, Qwen2.5-VL needs 0.7.0+)
# macOS
brew install ollama

# Linux
curl -fsSL https://ollama.com/install.sh | sh

# Windows — download from https://ollama.com/download
ollama --version

# Step 2 — Pull a Qwen vision model (explicit tag)
ollama pull qwen3-vl:8b          # 6.2 GB
# or: ollama pull qwen2.5vl:7b   # 6.0 GB

# Step 3 — Run and attach an image (interactive)
ollama run qwen3-vl:8b
>>> Extract every line of text from ./invoice-jp.png

# Step 4 — Send an image through the API
# Encode the image first:  base64 -i scan.png   (macOS)
curl http://localhost:11434/api/generate -d '{
  "model": "qwen3-vl:8b",
  "prompt": "Extract every line of text from this document. Preserve line breaks.",
  "images": ["<base64-encoded-image>"],
  "stream": false
}'

# Step 5 — Verify multilingual OCR
ollama run qwen3-vl:8b
>>> Extract all text from this image: ./contract-zh.png

Qwen-Vision-Modelle mit LM Studio einrichten

1. 1
   LM Studio herunterladen und installieren
   Why it matters: Eine plattformübergreifende Oberfläche für lokale Modellinferenz. Kein Terminal erforderlich.
2. 2
   Nach Qwen-Vision-Modellen suchen
   Why it matters: Suchen Sie im Modellbrowser nach „Qwen3-VL“ oder „Qwen2.5-VL“ und wählen Sie einen Build, dessen Modellkarte Vision-Unterstützung nennt. Passen Sie die Quantisierung an Ihren Speicher an.
3. 3
   Modell laden und Bild anhängen
   Why it matters: Nutzen Sie die Bild-Schaltfläche im Chatfeld, um ein Foto oder einen Scan hochzuladen. LM Studio reicht es an den Vision-Encoder weiter.
4. 4
   Lokalen Server starten
   Why it matters: Die Option „Start Server“ stellt eine OpenAI-kompatible API unter localhost:1234 bereit. Vision-Anfragen verwenden das Standardformat image_url.

// LM Studio — OpenAI-compatible vision request (localhost:1234)
{
  "model": "<model-id-shown-in-LM-Studio>",
  "messages": [
    {
      "role": "user",
      "content": [
        { "type": "text", "text": "Extract all text from this document." },
        {
          "type": "image_url",
          "image_url": { "url": "data:image/png;base64,<base64-encoded-image>" }
        }
      ]
    }
  ]
}

Dokumenten-OCR für chinesische, japanische und gemischtsprachige Dateien

• Reine Textextraktion: „Extrahiere jede Textzeile aus diesem Bild. Behalte Zeilenumbrüche und Leserichtung bei.“
• Strukturierte Felder: „Dies ist eine japanische Rechnung. Gib Lieferant, Datum, Zwischensumme, Steuer und Gesamtbetrag als Schlüssel: Wert aus.“
• Tabellenextraktion: „Extrahiere diese Tabelle als CSV. Behandle die erste Zeile als Kopfzeile.“
• Extrahieren und übersetzen in einem Durchgang: „Extrahiere den chinesischen Text aus diesem Bild und übersetze ihn ins Englische. Zeige beides.“

# Japanese invoice -> structured fields
ollama run qwen3-vl:8b
>>> This is a Japanese invoice. Extract vendor name, invoice date,
    subtotal, consumption tax, and total. Return as key: value pairs.
    ./invoice-jp.png

# Illustrative output format (not a measured result):
# vendor: <vendor name>
# date: <invoice date>
# subtotal: <amount> JPY
# tax: <amount> JPY
# total: <amount> JPY

Bildfragen, Screenshot-Analyse und Diagramme lesen

• Bildfragen: Stellen Sie offene Fragen zu einem Foto – „Was ist auf diesem Bild zu sehen?“ – und prüfen Sie die Antworten am Bild.
• Screenshot- und UI-Analyse: Beginnen Sie mit dem Lesen von UI-Screenshots, Fehlerdialogen und App-Zuständen. Die Karten beider Modelle beschreiben auch GUI-Agent-Fähigkeiten, die dieser Leitfaden nicht behandelt.
• Diagramme lesen: Struktur und Trends eines Diagramms zu beschreiben funktioniert besser als exakte Zahlen zu extrahieren; bestätigen Sie genaue Werte anhand der zugrunde liegenden Daten.
• Vergleich mehrerer Bilder: Senden Sie mehrere Bilder in einer Anfrage, um Versionen zu vergleichen oder eine Reihe zu beschreiben; wie viele passen, hängt von Speicher und Kontextgröße ab.

Qwen2-VL, Qwen2.5-VL und Qwen3-VL im Vergleich

Ein lokales Qwen-Vision-Modell mit PromptQuorum verbinden

Fehlerbehebung bei Qwen-Vision-Modellen

• „pull model manifest: file does not exist“ oder unbekanntes Modell: Der Tag ist nicht in der offiziellen Bibliothek. `qwen2-vl:7b` ist nicht verfügbar – nutzen Sie `ollama pull qwen3-vl:8b` oder `ollama pull qwen2.5vl:7b`.
• Der Download klappt, aber das Modell lädt nicht: Aktualisieren Sie Ollama. Qwen2.5-VL benötigt 0.7.0+, Qwen3-VL benötigt 0.12.7+.
• Das Bild wird ignoriert und das Modell antwortet, als gäbe es keins: Prüfen Sie, ob der Dateipfad korrekt und lesbar ist. In der Ollama-API muss das Array `images` rohes Base64 *ohne* das Präfix `data:` enthalten – das Präfix `data:` gilt nur für das Format von LM Studio und OpenAI.
• Unleserliche oder fehlende CJK-Zeichen: Der Scan hat vermutlich zu geringe Auflösung. Scannen Sie erneut mit 150–300 DPI und vergleichen Sie das Ergebnis.
• Nicht genug Speicher: Wählen Sie einen kleineren Tag (zum Beispiel `qwen3-vl:4b` oder `qwen2.5vl:3b`), verringern Sie Kontextgröße oder Bildauflösung oder nutzen Sie Apple Silicon, das Unified Memory zwischen CPU und GPU teilt.
• Falsche Zahlen aus einer Rechnung oder einem Diagramm: Lokale Vision-Modelle können bei verrauschter Eingabe Ziffern falsch lesen. Verbessern Sie die Scanqualität und prüfen Sie numerische Ausgaben immer am Original.
• Ein PDF lässt sich nicht laden: Die Ollama-API nimmt Bilder, keine PDF-Dateien. Wandeln Sie die Seiten zuerst in PNG oder JPEG um (mit pdf2image oder pypdfium2) und senden Sie jede Seite als eigenes Bild.
• LM Studio meldet „failed to load model“: Entweder reicht der Speicher nicht, oder Sie haben einen Build ohne Vision geladen. Prüfen Sie, ob die Modellkarte Vision-Unterstützung nennt, und probieren Sie eine kleinere Quantisierung.

Weiterführende Lektüre

• Qwen 3 lokal ausführen – das Textmodell-Pendant: Ollama- und LM-Studio-Einrichtung für die Qwen-Sprachmodelle.
• Lokale Vision-Modelle im Vergleich: LLaVA, Llama 3.2 Vision, MiniCPM-V – der vollständige Überblick über weitere lokale Vision-Modelle.
• Multimodale lokale LLMs: Bild, Audio und Text – breiterer Überblick über den lokalen Betrieb multimodaler Modelle.
• Qwen vs Llama vs Mistral – wie die Qwen-Textmodelle im Vergleich zu den Alternativen dastehen.
• Hardware-Leitfaden für lokale LLMs – VRAM- und GPU-Anforderungen für lokale Inferenz.
• Alle Leitfäden zu lokalen LLMs

Häufig gestellte Fragen