Schnelle Antworten zu lokalen LLM-Fragen

Q4_K_M ist der optimale Punkt — 7B/8B-Modelle bei Q4_K_M verwenden 4,7–4,9 GB und lassen 1,1 GB für den KV-Cache.

Aktuelle Version auf ollama.com oder der Ollama GitHub-Releases-Seite prüfen.

Stand Mai 2026: Das beste allgemeine Ollama-Modell ist Llama 3 8B.

Ohne GPU bietet Phi-4 Mini bei Q4 die beste Balance aus Qualität und Geschwindigkeit auf der CPU.

Ja — Ollama unterstützt alle Qwen 3-Modellgrößen von 0.6B bis 72B.

Ollama unterstützt mehrere Vision-Modelle: LLaVA, Gemma 3 multimodal und Qwen-VL.

Llama 3.3 8B unterstützt 128K Kontext auf Ollama.

Qwen 3 Coder gewinnt bei Python und TypeScript.

Wenn Sie ein Terminal nutzen und mit APIs entwickeln, wählen Sie Ollama.

Jan ist vollständig Open Source mit einem Erweiterungssystem.

Open WebUI ist das beste Ollama-Frontend für die meisten Nutzer.

Auf Apple Silicon verwenden Sie MLX — es liefert ~65 tok/s im Vergleich zu ~35 tok/s für Ollama auf einem M5 Pro mit einem 8B-Modell.

Sie können Ollama-Modelle nicht direkt in MLX konvertieren.

Nein.

Llama 3 8B passt in 6 GB VRAM und läuft schneller.

Qwen 3 Coder 14B ist das beste 14B-Coding-Modell für den lokalen Einsatz.

Der Minisforum UM790 Pro und der Mac Mini M4 sind die besten Mini-PCs für den lokalen Betrieb von LLMs.

Mixtral 8x22B und DeepSeek V2 sind die führenden MoE-Coding-Modelle für den lokalen Einsatz.

Wählen Sie nach VRAM: Llama 3.3 8B (4,9 GB), Qwen 3 14B (9,3 GB), Mistral Small 3.1 24B (14,4 GB).

Qwen 3 Coder 14B Q4_K_M ist das beste Coding-Modell für 12-GB-VRAM-GPUs wie die RTX 3060.

Mit einer RTX 3070 Ti (8 GB VRAM) sind Llama 3 8B Q4_K_M und Mistral Small Q5_K_M die besten lokalen LLMs.

Ja.

Gebrauchte RTX 3060 12 GB für 200–250 € ist die beste GPU unter 300 € für lokale LLMs — 12 GB VRAM führt alle 7B- und die meisten 14B-Modelle aus.

RTX 4060 Ti 16 GB für ~450 € ist der optimale Punkt — 16 GB VRAM verarbeitet 14B-Modelle bei Q5-Quantisierung mit Spielraum.

Samsung 990 Pro 2 TB mit 7.450 MB/s lädt ein 7B Q4-Modell in unter 2 Sekunden.

Ja — Mac Mini M4 Pro mit 24 GB Unified Memory läuft Llama 3 8B mit ~36 tok/s über MLX.

Vast.ai ist günstiger für Spot-Instanzen (RTX 4090 ~0,14 €/h vs.

RTX 4090: $0,30-0,80/h.

Ja — Ryzen AI Max (Strix Halo, RDNA 3.5) betreibt Ollama über Vulkan unter Linux.

Ja — aber nur für kleine persönliche Dokumentensammlungen.

Für einen 16-GB-RAM-Laptop ohne dedizierte GPU ist Qwen3 8B (Q4_K_M) der beste Allrounder — es benötigt ~6 GB und läuft mit ~8–15 tok/s auf einem modernen CPU.

CO-STAR ist eine sechsteilige Prompt-Struktur: Context (Hintergrund), Objective (Aufgabe), Style (Schreibstil), Tone (emotionaler Register), Audience (Leserschaft), Response (Ausgabeformat).

Für Cloud-Nutzung: Claude Opus 4.8 führt bei Coding und langen Dokumenten, GPT-5.5 Instant bei allgemeinen Aufgaben, Gemini 2.5 Pro bei multimodalen Aufgaben.

Lokal auf eigener Hardware betriebenes Qwen ist DSGVO-konform, da keine Prompt-Daten Ihre Infrastruktur verlassen und kein Drittlandtransfer nach Artikel 44 stattfindet.

Die DeepSeek-API stellt das höchste DSGVO-Risiko unter den großen LLMs dar: Server unterliegen dem chinesischen Datenzugriffsrecht (PIPL), es gibt keine EU-Angemessenheitsentscheidung für China, und die Nutzungsbedingungen behalten ausdrücklich das Recht vor, Daten mit chinesischen Behörden zu teilen.

Ja — ein Open-Weight-Modell lokal zu betreiben beseitigt den Artikel-44-Drittlandtransfer, der Cloud-KI unter der DSGVO rechtlich komplex macht: Prompts und Antworten verlassen Ihren Server nie.

ProtonVPN (Schweiz, kostenloser Tarif) für auditierte Privatsphäre.