Das beste RTX-4090-Setup für den Betrieb von 70B-Modellen?
Diese Seite enthält Verweislinks zu Produkten von Drittanbietern. PromptQuorum ist an keinem Partnerprogramm beteiligt — es sind reine Referenzlinks, die keine Provision erzielen. Das Anklicken von Links und Ihre nächsten Schritte liegen in Ihrer eigenen Verantwortung. Diese Links stellen keine Billigung oder Verifizierung durch PromptQuorum dar.
Schnelle Antwort
Eine einzelne RTX 4090 kann ein 70B-Modell nicht vollständig fassen — es benötigt ~40 GB bei Q4 gegenüber den 24 GB der 4090. Zwei RTX 4090 (48 GB kombiniert), eine 4090 bei Q2_K oder CPU-Offload sind die drei realistischen Optionen.
- ▸Ein 70B-Modell benötigt ~40 GB VRAM bei Q4_K_M — deutlich über den 24 GB einer RTX 4090.
- ▸Zwei RTX 4090 (48 GB kombiniert) über vLLM oder llama.cpp tensor-parallel ist der sauberste Weg mit voller Qualität.
- ▸Eine einzelne RTX 4090 kann 70B nur bei Q2_K-Quantisierung betreiben, was die Ausgabequalität gegenüber Q4 sichtbar mindert.
Aktualisiert: 2026-07
Wichtigste Punkte
- ✓Ein 70B-Modell benötigt ~40 GB VRAM bei Q4 — die 24 GB einer einzelnen RTX 4090 reichen nicht
- ✓Bestes Setup mit voller Qualität: zwei RTX 4090 (48 GB kombiniert) über vLLM oder llama.cpp tensor-parallel
- ✓Workaround mit einer 4090: Q2_K-Quantisierung passt in 24 GB, mindert die Ausgabequalität aber sichtbar
- ✓CPU/RAM-Offload (llama.cpp `--n-gpu-layers`) funktioniert auf einer 4090, senkt den Durchsatz aber deutlich
Beste Wahl: Zwei RTX 4090 (48 GB kombiniert)
Das beste RTX-4090-Setup, um ein 70B-Modell in voller Qualität zu betreiben, sind zwei kombinierte RTX 4090 mit 48 GB nutzbarem VRAM, betrieben über vLLM oder den tensor-parallelen Modus von llama.cpp. Ein 70B-Modell benötigt rund 40 GB bei Q4_K_M — 48 GB decken das komfortabel ab, mit Platz für ein angemessenes Kontextfenster.
Das erfordert ein Mainboard und Gehäuse mit zwei PCIe-x16-Slots (idealerweise beide mit mindestens x8-Bandbreite), ein Netzteil mit mindestens 1.200 W und Software, die Multi-GPU-Tensor-Splitting unterstützt — sowohl vLLM als auch aktuelle llama.cpp-Builds unterstützen dies über `--tensor-split` oder vergleichbare Flags.
Ist eine zweite RTX 4090 nicht im Budget, ist Q2_K-Quantisierung der Single-GPU-Ausweg — sie schrumpft ein 70B-Modell auf rund 22-24 GB und passt damit gerade so auf eine 4090, allerdings mit deutlich spürbarem Rückgang der Ausgabekohärenz gegenüber Q4. CPU/RAM-Offload (Aufteilung der Layer zwischen GPU und System-RAM) ist die andere Single-GPU-Option; sie funktioniert, aber der Durchsatz sinkt stark, oft auf einstellige Tokens pro Sekunde.
Dual-RTX-4090 vs. einzelne RTX 4090 + Quantisierung
Dual-RTX-4090 liefert volle Q4-Qualität zu echten Kosten (eine zweite Karte plus stärkeres Netzteil und Gehäuse). Einzelne RTX 4090 + Q2_K hält den Build auf eine Karte beschränkt, opfert aber merkliche Ausgabequalität bei Aufgaben, die Präzision erfordern, etwa Codegenerierung oder Mathematik.
Ein Mittelweg: Statt 70B ein 32B-Modell auf einer einzelnen RTX 4090 in voller Q4-Qualität betreiben (passt mit Reserve in 24 GB) — für viele Aufgaben schließt ein gut gewähltes 32B-Modell einen Großteil der Lücke zu einem qualitätsgeminderten 70B.
Weiterführende Artikel
- ▸Wie viel VRAM braucht ein 70B-Modell? — die zugrunde liegende VRAM-Rechnung
- ▸Beste GPU unter 1.000 $ für lokale LLM-Inferenz — die Single-4090-Stufe
- ▸Kompletter GPU-Kaufratgeber für lokale LLMs 2026 — vollständiger Preisklassenvergleich
Häufig gestellte Fragen
Kann NVLink den VRAM zweier RTX 4090 kombinieren?▾
Ist ein 70B-Modell bei Q2_K tatsächlich nutzbar?▾
Welches Mainboard brauche ich für zwei RTX 4090?▾
Verdoppelt Dual-GPU-Inferenz die Tokens pro Sekunde?▾
Den vollständigen Überblick?
Die vollständige Anleitung lesen →