Zum Hauptinhalt springen
PromptQuorumFür Menschen gemacht. Strukturiert für KI.
Prompt-Häppchen

Schnelle Antworten zu lokalen LLM-Fragen

127 Kurzantwort-Leitfäden. VRAM-Anforderungen, Ollama-Empfehlungen, Hardware-Vergleiche und Setup-Tipps, beantwortet in 60 Sekunden oder weniger.

In einem Satz
Ein Prompt Bite ist ein Kurzantwort-Leitfaden zu genau einer Frage über lokale LLMs, etwa wie viel VRAM Sie brauchen oder welches Ollama-Modell passt.
In einfachen Worten
Jede Seite nennt zuerst die Antwort, in 60 Sekunden oder weniger. Wählen Sie unten ein Thema und öffnen Sie Ihre Frage.
02

Themen entdecken

10 Themen, 127 Kurzantworten. Ein Klick öffnet ein Thema direkt an Ort und Stelle.

03

Warum Kurzantworten

Jedes Prompt Bite beginnt mit der Antwort. Lesen Sie sie in 60 Sekunden oder weniger und folgen Sie bei Bedarf einem Vertiefungslink.

Quantisierung & VRAM
Wie viel Speicher Sie benötigen, welches Quantisierungsformat Sie wählen und VRAM-Entscheidungsbäume.
Ollama
Neueste Versionen, beste Modelle, Kontextfenster, Vision und CPU-only-Nutzung.
Tool-Vergleiche
Zweiseitige Vergleiche: Ollama vs. LM Studio, Jan vs. LM Studio, Qwen vs. DeepSeek.
Hardware-Spezifisch
Hardware-Empfehlungen und Kaufleitfäden: GPU-Empfehlungen nach Budget, Mini-PCs, SSDs, Cloud-GPUs und eGPUs.

Kurz gesagt: Prompt Bites beantworten zuerst eine Frage zu lokalen LLMs, in 60 Sekunden oder weniger, und verweisen auf einen vertiefenden Leitfaden, wenn Sie mehr brauchen.

07

Häufige Fragen

Wie viel VRAM benötigen Sie für ein lokales LLM?

4 GB VRAM reichen für Llama 3.2 3B und Phi-3.5-mini mit sicherer Pufferzone für Kontexterweiterung. 6 GB betreiben Llama 3.1 8B bei Q4. 12 GB fassen Qwen3 14B Q4 effizient. Für 70B-Modelle bei Q4 werden 16+ GB benötigt.

  • 4 GB: Llama 3.2 3B Q4, Phi-3.5-mini Q4
  • 6 GB: Llama 3.1 8B Q4_K_M
  • 8–12 GB: Llama 3.1 8B Q5_K_M, Qwen3 14B Q4
Was bedeutet Q4_K_M-Quantisierung?

Q4_K_M = 4-Bit-Quantisierung mit K-Quant-Kompression auf mittlerem Qualitätsniveau. Niedrigere Perplexität als Q4_0, kleiner als Q8_0. Verwenden Sie es als Standard.

  • Q = quantisiert, 4 = 4 Bit, K = K-Quant, M = mittel
  • Niedrigere Perplexität als Q4_0 (6,41 vs. 6,70 bei Llama 3 8B) bei einer um 0,24 GiB größeren Datei
  • Q4_K_M als Standard-Quantisierung verwenden
Ollama vs LM Studio: Welches sollten Sie wählen?

Wenn Sie ein Terminal nutzen und mit APIs entwickeln, wählen Sie Ollama. Wenn Sie eine grafische Oberfläche bevorzugen und einfach mit Modellen chatten möchten, nehmen Sie LM Studio. Beide sind kostenlos und führen Modelle lokal aus.

  • Ollama: CLI-first mit Desktop-App, OpenAI-kompatible API, optionale Cloud-Modelle
  • LM Studio: Desktop-GUI mit Modellbrowser, dazu `lms`-CLI und headless `llmster`
  • Beide laufen auf Mac, Windows und Linux
Die besten Ollama-Modelle im Moment?

Für den allgemeinen Gebrauch ist qwen3.5:9b mit 6,6 GB Download die derzeit stärkste Wahl. Für Coding erledigt qwen2.5-coder:7b mit 4,7 GB die Arbeit auf deutlich weniger Hardware, als die meisten Ratgeber behaupten. Für kompakte Setups läuft llama3.2:3b in 2,0 GB. Alle Größen am 28. August 2026 aus der Ollama-Bibliothek gelesen.

  • Bestes allgemeines Modell: qwen3.5:9b — 6,6 GB
  • Bestes Coding-Modell: qwen2.5-coder:7b — 4,7 GB
  • Bestes kompaktes Modell: llama3.2:3b — 2,0 GB
Bester Mini-PC für lokale LLMs?

Der Minisforum UM790 Pro und der Mac Mini M4 sind die besten Mini-PCs für den lokalen Betrieb von LLMs. Der UM790 Pro nutzt eine AMD iGPU mit Unified Memory. Der Mac Mini M4 ist schneller und energieeffizienter. Beide führen 7–13B-Modelle ohne diskrete GPU aus.

  • Mac Mini M4: am schnellsten für LLMs, ~18 tok/s auf Llama 3 8B, energieeffizient
  • Minisforum UM790 Pro: AMD Radeon 780M iGPU, bis zu 64 GB Unified RAM
  • Beide laufen 7B–13B-Modelle bei Q4 ohne dedizierte GPU
Welche Ollama-Modelle unterstützen 128K Kontext?

Llama 3.1 8B unterstützt 128K Kontext auf Ollama. Qwen3-30B-A3B, ein Mixture-of-Experts-Modell, erreicht 256K Kontext. Hinweis: Voller Kontext erhöht den VRAM-Bedarf erheblich — ein 128K-Fenster benötigt 3–4× mehr VRAM als das Standard-4K-Fenster.

  • Llama 3.1 8B: 128K Kontext, ~16 GB VRAM bei vollem Kontext
  • Qwen3-30B-A3B: 256K Kontext, 24+ GB VRAM bei vollem Kontext
  • Setzen Sie num_ctx 4096 für die normale Nutzung, um VRAM zu sparen
MCP