VRAM-Richtlinie: 7B=4GB, 70B=42GB (2026 Guide)

VRAM erforderlich = Modellparameter in Milliarden × Byte pro Parameter + (KV-Cache + Laufzeit-Overhead)

Byte pro Parameter (Q4 stimmt mit echten GGUF-Dateien überein, die übrigen Werte sind berechnet): ~1,05 (Q8), ~0,7 (Q5), ~0,6 (Q4).

Beispiel: Llama-3 7B Q4 = 7 × 0,6 + 1,5 GB Overhead = 4,2 + 1,5 ≈ 5,7 GB (echtes Llama-2-7B Q4_K_M GGUF = 4,08 GB Gewichte)

Beispiel: Llama-3.3 70B Q4 = 70 × 0,6 = 42 GB Gewichte (echtes Llama-3.3-70B Q4_K_M GGUF = 42,52 GB)

Q4: real ~0,6 Byte/Parameter (nicht die theoretischen 0,5 Byte -- reale Formate wie Q4_K_M haben etwas Overhead).

Q8: real ~1,05 Byte/Parameter.

FP32: Keine Kompression, vollständige Präzision, 4 Byte/Parameter, VRAM-intensiv.

KV-Cache: Proportional zur Sequenzlänge -- 128-Token-Ausgabe +1-2 GB, 2048-Token +5 GB.

Quantisierung komprimiert Modellgewichte zu niedriger Präzision. Die Umwandlung von FP32 (32-Bit) auf Q4 (4-Bit) reduziert Werte um 87%.

Q4 (4-Bit): Standard für Consumer-GPUs. VRAM: 3,5× Reduktion. Qualität: meist geringer Verlust, je nach Modell und Aufgabe. Für die meisten Aufgaben empfohlen.

Q5 (5-Bit): Ähnlich wie Q4, aber meist etwas bessere Genauigkeit. VRAM: 25% mehr, minimale Qualitätsverbesserung. Nur für fortgeschrittene Anwendungsfälle.

Q8 (8-Bit): Nahezu vollständige Präzision (meist kaum messbarer Verlust). VRAM-Reduktion: 4×. RTX 4080+ empfohlen.

FP32 (Vollständige Präzision): Alle Gewichte werden mit 32 Bit gespeichert. Auf Consumer-GPUs nicht praktikabel -- 70B FP32 benötigt 280 GB VRAM.

VRAM bestimmt die Modellgröße, aber das Prompt-Design bestimmt die Ausgabequalität. Techniken wie Chain-of-Thought und Few-Shot-Prompting können die Qualitätslücke zwischen kleineren und größeren Modellen schließen. Entdecken Sie das vollständige Prompt-Engineering-Toolkit, um mehr aus den Modellen herauszuholen, die Ihre Hardware unterstützt. Wenn Sie 12–16 GB VRAM haben und einen konkreten Coding-Workload zum Testen dieses Toolkits suchen, beschreibt GitHub Copilot durch ein lokales LLM ersetzen den Continue.dev + Ollama + Qwen3-Coder-Stack passend zu genau diesen VRAM-Stufen.

Batch-Größe ist die Anzahl der Text-Eingaben, die in einer Ausführung verarbeitet werden.

Single-User-Inferenz (batch=1): Eine Eingabeaufforderung auf einer GPU. VRAM: Nur Modellgröße + KV-Cache.

Beispiel: Llama3 7B Q4 = 3,5 GB (Modell) + 1,5 GB (KV-Cache) = 5 GB.

Batch-Verarbeitung (batch=4, 8, 16): Mehrere Eingaben gleichzeitig verarbeiten. VRAM: Die Gewichte werden geteilt; zusätzlich wächst vor allem der KV-Cache (einer pro Anfrage).

batch=4: Gewichte nur einmal, dazu vier KV-Caches — bei 7B Q4 und moderatem Kontext typischerweise wenige GB zusätzlich, nicht ×4 VRAM. Der Durchsatz steigt oft deutlich (je nach Setup).

Batch-Inferenz ist wichtig für Multi-User-Server (3-5 Personen, gleichzeitige Anfragen). Für Single-User/Entwicklung nicht erforderlich.

KV-Cache (abhängig von Sequenzlänge):

Die Parametergröße des Modells ist nicht das gesamte VRAM-Anforderungs-Bild. Zusätzlicher Speicher ist erforderlich:

KV-Cache (Key-Value Cache): Das Modell muss vorherige Token „merken". Nebenprodukt des Transformer-Aufmerksamkeitsmechanismus.

• Proportional zur Eingabe-Ausgabe-Länge.

• 7B-Modell, 2048-Token-Kontext, batch=1: +2-4 GB.

Aktivierungen: Zwischenrechenergebnisse während der Inferenz.

• Typischerweise 10-15% der Modellgröße.

• 7B: +0,7-1,5 GB.

Laufzeit-Overhead: CUDA-Speicherpool, Framebuffer, OS-Reservierungen.

• Typischerweise 0,5-1,5 GB.

Missverständnis 1: „VRAM erforderlich = Modellgröße"

VRAM ist immer größer als die Modellgröße. Ein 4 GB-Modell (7B Q4) benötigt real eher 5-6 GB mit Puffer. RTX 4060 8 GB ist sicher, aber RTX 3060 6 GB kann eng werden.

Missverständnis 2: „Apple Silicon (M3) Speicher ist nicht das gleiche wie GPU VRAM"

Apple Silicon verwendet Unified Memory -- CPU und GPU teilen einen Speicherpool. Unified Memory ist nur teilweise als GPU-Speicher nutzbar; macOS reserviert einen Teil. Ein 13B-Modell in Q4 (~7 GB) kann auf M3 16 GB ausgeführt werden.

Missverständnis 3: „Quantisierung verlangsamt die Inferenz"

Tatsächlich: Q4 ist schneller als Q5/Q8. Niedrigere Speicherbandbreite, effizienterer Cache. Ollama: Q4 ist einige Prozentpunkte schneller.

EU und Deutschland (DSGVO + BSI)

Lokale LLM-Inferenz kann helfen, Datenabflüsse an Cloud-Anbieter zu vermeiden, und damit die DSGVO-Fragen für diesen Verarbeitungsschritt vereinfachen. Ob ein Einsatz DSGVO-konform ist, hängt jedoch von Ihrer gesamten Verarbeitung ab (Rechtsgrundlage, technische und organisatorische Maßnahmen, Auftragsverarbeitung, ggf. Datenschutz-Folgenabschätzung) und nicht allein vom Ort der Inferenz. Das BSI (Bundesamt für Sicherheit in der Informationstechnik) veröffentlicht IT-Sicherheitsempfehlungen; klären Sie mit Ihrer oder Ihrem Datenschutzbeauftragten, was für Ihren Fall gilt. Dies ist eine allgemeine Information, keine Rechtsberatung.

Orientierungswerte für den deutschen Mittelstand (Richtwerte, keine Vorgaben):

• 1-50 Nutzer: RTX 4070 Ti (12 GB) mit einem 13B-Modell in Q4 (7-8 GB). Skalierbar mit Ollama im single-GPU-Modus.

• 50-500 Nutzer: RTX A6000 (48 GB) oder Dual RTX 4080 (32 GB) für parallele Anfragen und Batch-Verarbeitung. Erfordert vLLM oder Text Generation WebUI.

• 500+ Nutzer: A100 (80 GB) oder H100 (80 GB). Enterprise-Setup mit Load-Balancing über mehrere Server.

Mögliche Sicherheitsmaßnahmen (an BSI-Empfehlungen orientieren):

• ECC-GPUs (A6000, A100) können Speicherfehler erkennen.

• GPU-Speicher-Dumps durch physische Sicherheit oder verschlüsselten Speicher (sofern verfügbar) erschweren.

• Modellabhängigkeiten und die Herkunft der Trainingsdaten im Rahmen Ihrer DSGVO-Dokumentation prüfen.

Wählen Sie Ihre Modellgröße und Quantisierung aus, um die VRAM-Anforderungen zu schätzen.