VRAM-Richtlinie: 7B=8GB, 70B=40GB (2026 Guide)

VRAM erforderlich = (Modellparameter in Milliarden × Bits pro Gewicht) ÷ 8 + (KV-Cache + Laufzeit-Overhead)

Beispiel: Llama3 7B Q4 = (7 × 4) ÷ 8 + 1,5 GB = 3,5 + 1,5 = 5 GB

Q4: 32-Bit-Werte werden auf 4 Bits komprimiert (8× Reduktion).

Q8: 32-Bit → 8-Bit (4× Reduktion), nahezu vollständige Präzision.

FP32: Keine Kompression, vollständige Präzision, VRAM-intensiv.

KV-Cache: Proportional zur Sequenzlänge -- 128-Token-Ausgabe +1-2 GB, 2048-Token +5 GB.

Die meisten kennen bereits die VRAM ihrer GPU und wollen die umgekehrte Suche: „Ich habe 12 GB -- was ist das beste Modell?" Nutzen Sie diese Tabelle statt der Formel.

Mixture-of-Experts-Modelle (MoE) teilen ihre Parameter auf viele „Experten"-Subnetze auf und aktivieren pro Token nur einen Bruchteil davon. Aktive Parameter senken den Rechenaufwand und beschleunigen die Inferenz, aber bei den meisten MoE-Modellen muss trotzdem jeder Experte in den VRAM geladen werden -- der Speicherbedarf richtet sich also nach den Gesamtparametern, nicht nach den aktiven.

Regel für dichte Modelle: VRAM = Gesamtparameter × Bytes pro Parameter

Regel für MoE-Modelle (Rechenleistung): Aktive Parameter bestimmen Tokens/Sekunde -- aber der VRAM skaliert weiterhin mit den geladenen Gesamtgewichten.

Beispiel: Llama 4 Scout hat 109B Gesamtparameter, davon nur 17B aktiv pro Token. Es läuft schnell für seine Größe, benötigt bei Q4 aber trotzdem ~55 GB VRAM, um alle Experten zu halten -- außerhalb der Reichweite einer einzelnen 24-GB-GPU, außer bei aggressiver 1,78-Bit-Quantisierung (~20 Tok/s auf einer RTX 4090).

Manche Laufzeitumgebungen können inaktive Experten in den System-RAM auslagern und tauschen so Geschwindigkeit gegen einen kleineren VRAM-Bedarf. Die zentrale Erkenntnis: Gehen Sie nicht davon aus, dass ein MoE-Modell in VRAM entsprechend seiner aktiven Parameter passt -- prüfen Sie die tatsächliche Größe auf der Festplatte bei Ihrer Quantisierungsstufe.

Quantisierung komprimiert Modellgewichte zu niedriger Präzision. Die Umwandlung von FP32 (32-Bit) auf Q4 (4-Bit) reduziert Werte um 87%.

Q4 (4-Bit): Standard für Consumer-GPUs. VRAM: 3,5× Reduktion. Qualität: Unter 1% Verlust. Für fast alle Aufgaben empfohlen.

Q5 (5-Bit): Ähnlich wie Q4, aber 2% bessere Genauigkeit. VRAM: 25% mehr, minimale Qualitätsverbesserung. Nur für fortgeschrittene Anwendungsfälle.

Q8 (8-Bit): Nahezu vollständige Präzision (<0,5% Verlust). VRAM-Reduktion: 4×. RTX 4080+ empfohlen.

FP32 (Vollständige Präzision): Alle Gewichte werden mit 32 Bit gespeichert. Auf Consumer-GPUs nicht praktikabel -- 70B FP32 benötigt 280 GB VRAM.

VRAM bestimmt die Modellgröße, aber das Prompt-Design bestimmt die Ausgabequalität. Techniken wie Chain-of-Thought und Few-Shot-Prompting können die Qualitätslücke zwischen kleineren und größeren Modellen schließen. Entdecken Sie das vollständige Prompt-Engineering-Toolkit, um mehr aus den Modellen herauszuholen, die Ihre Hardware unterstützt. Wenn Sie 12–16 GB VRAM haben und einen konkreten Coding-Workload zum Testen dieses Toolkits suchen, beschreibt GitHub Copilot durch ein lokales LLM ersetzen den Continue.dev + Ollama + Qwen3-Coder-Stack passend zu genau diesen VRAM-Stufen.

Batch-Größe ist die Anzahl der Text-Eingaben, die in einer Ausführung verarbeitet werden.

Single-User-Inferenz (batch=1): Eine Eingabeaufforderung auf einer GPU. VRAM: Nur Modellgröße + KV-Cache.

Beispiel: Llama3 7B Q4 = 3,5 GB (Modell) + 1,5 GB (KV-Cache) = 5 GB.

Batch-Verarbeitung (batch=4, 8, 16): Mehrere Eingaben gleichzeitig verarbeiten. VRAM: Linear steigend.

batch=4: ×4 VRAM (= 20 GB für 7B Q4). Durchsatz: ×3-3,5 (Parallelisierungsgewinn).

Batch-Inferenz ist wichtig für Multi-User-Server (3-5 Personen, gleichzeitige Anfragen). Für Single-User/Entwicklung nicht erforderlich.

KV-Cache (abhängig von Sequenzlänge):

Die Parametergröße des Modells ist nicht das gesamte VRAM-Anforderungs-Bild. Zusätzlicher Speicher ist erforderlich:

KV-Cache (Key-Value Cache): Das Modell muss vorherige Token „merken". Nebenprodukt des Transformer-Aufmerksamkeitsmechanismus.

• Proportional zur Eingabe-Ausgabe-Länge.

• 7B-Modell, 2048-Token-Kontext, batch=1: +2-4 GB.

Aktivierungen: Zwischenrechenergebnisse während der Inferenz.

• Typischerweise 10-15% der Modellgröße.

• 7B: +0,7-1,5 GB.

Laufzeit-Overhead: CUDA-Speicherpool, Framebuffer, OS-Reservierungen.

• Typischerweise 0,5-1,5 GB.

LM Studio führt GGUF-Modelle intern über llama.cpp aus, daher ist die VRAM-Rechnung identisch zu den Tabellen oben -- es kommt nur der eigene ~1-2 GB Laufzeit-/UI-Overhead hinzu.

• Minimum: 8 GB System-RAM für kleine (3B) Modelle im reinen CPU-Betrieb. Eine dedizierte GPU ist optional, aber 10-20× schneller.

• Empfohlen: 8 GB VRAM für komfortable 7-8B-Inferenz; 12 GB+ für 13-14B-Modelle.

• GPU-Unterstützung: NVIDIA (CUDA), AMD (ROCm unter Linux, Vulkan unter Windows), Apple Silicon (Metal, Unified Memory zählt als VRAM).

• Der Modell-Browser von LM Studio zeigt pro Modell einen Kompatibilitätsindikator (grün/gelb/rot) basierend auf Ihrer erkannten VRAM -- er markiert ein Modell schon vor dem Download, falls es nicht passt.

Nutzen Sie die VRAM-Stufentabelle oben, um eine Modellgröße zu wählen, und gleichen Sie diese dann mit dem Indikator von LM Studio für Ihre konkrete GPU ab.

Ollama läuft ebenfalls auf llama.cpp, daher entsprechen die VRAM-Anforderungen 1:1 den Tabellen oben -- es gibt keine separate „Ollama-Steuer" zusätzlich zum Modell selbst.

• Minimum: 8 GB System-RAM für reine CPU-Inferenz von Modellen der 3B-Klasse.

• GPU-Unterstützung: NVIDIA (CUDA 11+), AMD (ROCm -- die offiziell unterstützte Kartenliste ist enger als bei LM Studio), Apple Silicon (Metal via Unified Memory).

• `ollama ps` zeigt die aktuelle VRAM-Nutzung pro geladenem Modell. `ollama run <modell> --verbose` gibt Ladezeit und Token-Durchsatz aus.

• Passt ein Modell nicht vollständig, teilt Ollama automatisch die Schichten zwischen GPU und System-RAM auf, statt komplett zu scheitern -- rechnen Sie mit 30-50% Geschwindigkeitseinbußen beim ausgelagerten Teil (siehe Overhead oben).

Gleiche Regel wie bei LM Studio: die VRAM-Stufe Ihrer GPU bestimmt die Modellgröße, nicht umgekehrt.

Missverständnis 1: „VRAM erforderlich = Modellgröße"

VRAM ist immer größer als die Modellgröße. 3,5 GB-Modell benötigt mindestens 5 GB. RTX 4060 Ti 8 GB ist sicher, aber RTX 3060 6 GB birgt Risiken.

Missverständnis 2: „Apple Silicon (M3) Speicher ist nicht das gleiche wie GPU VRAM"

Apple Silicon verwendet Unified Memory -- CPU und GPU teilen einen Speicherpool. M3 18 GB entspricht 18 GB GPU VRAM. Llama3 13B Q4 (~7 GB) kann auf M3 16 GB ausgeführt werden.

Missverständnis 3: „Quantisierung verlangsamt die Inferenz"

Tatsächlich: Q4 ist schneller als Q5/Q8. Niedrigere Speicherbandbreite, effizienterer Cache. Ollama: Q4 ist einige Prozentpunkte schneller.

EU und Deutschland (DSGVO + BSI)

Die DSGVO verlangt von Unternehmen, dass Modellgewichte und Trainingsdaten auf dem EU-Territorium gespeichert bleiben. Lokale LLM-Inferenz ist eine Compliance-Anforderung, nicht optional. Das BSI (Bundesamt für Sicherheit in der Informationstechnik) empfiehlt lokale Inferenz als Best Practice für Unternehmen mit sensiblen Daten.

Enterprise-Leitlinien für den deutschen Mittelstand:

• 1-50 Nutzer: RTX 4070 Ti (12 GB) mit Llama3 13B Q4 (7-8 GB). Skalierbar mit Ollama im single-GPU-Modus.

• 50-500 Nutzer: RTX A6000 (48 GB) oder Dual RTX 4080 (32 GB) für parallele Anfragen und Batch-Verarbeitung. Erfordert vLLM oder Text Generation WebUI.

• 500+ Nutzer: A100 (80 GB) oder H100 (80 GB). Enterprise-Setup mit Load-Balancing über mehrere Server.

BSI-Sicherheitsempfehlungen:

• ECC-GPUs (A6000, A100) für Speicherfehler-Detektion.

• GPU-Speicher-Dumps verhindern durch physische Sicherheit oder Encrypted Memory (wenn verfügbar).

• DSGVO-Audit für Modell-Abhängigkeiten und Training-Daten-Herkunft obligatorisch.

Wählen Sie Ihre Modellgröße und Quantisierung aus, um die VRAM-Anforderungen zu schätzen.