Wichtigste Erkenntnisse
- Llama 3.3 70B bei Q4 = 35 GB (zu groß für 24GB). Bei Q3 = 26 GB (immer noch zu groß). Bei Q2 = 17 GB (passt!).
- Trade-off: Q2 hat spürbaren Qualitätsverlust. ~70% der FP16-Qualität.
- Geschwindigkeit: 3-5 Token/Sek. mit 20 GB auf System-RAM ausgelagert (ultra-langsam).
- Bessere Option: 13B-Modell bei Q5 verwenden oder eine zweite GPU für Layer-Splitting kaufen.
- Dies ist eine Constraint-Behebung, keine empfohlene Methode.
📍 In einem Satz
Ein 70B-Modell, das normalerweise 40+ GB VRAM benötigt, kann mit aggressiver Q2-Q3-Quantisierung und Layer-Offloading auf einer 24-GB-Karte laufen, allerdings nur mit 3-5 Tokens pro Sekunde -- unpraktisch für Echtzeit-Chat, aber nutzbar für Batch-Jobs oder Experimente.
💬 In einfachen Worten
Technisch lässt sich ein 70B-Modell auf eine 24-GB-Grafikkarte quetschen, aber es ist eher ein Workaround als eine gute Erfahrung. Das Modell wird stark komprimiert, und die GPU muss ständig Teile in und aus dem Speicher tauschen, sodass Antworten nur tröpfchenweise kommen. Für einen Lauf über Nacht oder zum Testen, ob das Modell überhaupt funktioniert, ist das in Ordnung -- für ein Live-Gespräch nicht.
Die theoretische VRAM-Mathematik
Llama 3.3 70B bei verschiedenen Quantisierungen:
Quantisierung | Modellgröße | Passt in 24GB? |
|---|---|---|
| FP16 (Baseline) | 140 GB | Nein |
| Q8 (8-Bit) | 70 GB | Nein |
| Q5 (5-Bit) | 43,75 GB | Nein |
| Q4 (4-Bit) | 35 GB | Nein (mit Offloading: vielleicht) |
| Q3 (3-Bit) | 26 GB | Nein (knapp) |
| Q2 (2-Bit) | 17,5 GB | Ja |
Aggressive Quantisierung: Das Hauptwerkzeug
Um 70B in 24GB zu passen, müssen Sie Q2 oder Q3 Quantisierung verwenden.
- Q3: 26 GB (immer noch 2 GB über). Kann 2 GB zu RAM auslagern. Etwas bessere Qualität als Q2.
- Q2: 17,5 GB (passt!). 70% Qualität gegenüber FP16. Bemerkenswerter Qualitätsverlust, aber nutzbar.
Das quantisierte Modell herunterladen: `ollama pull llama3.1:70b-q2` (falls verfügbar) oder Konvertierungstools wie llama.cpp verwenden.
Offloading zu System-RAM
Wenn Sie Q4 (35 GB) auf einer 24GB GPU verwenden, können Sie die verbleibenden 11 GB zu System-RAM auslagern. Die Geschwindigkeitseinbuße ist schwerwiegend (10× langsamer).
Nur praktisch für Batch-Verarbeitung, bei der Sie Stunden auf Ergebnisse warten können.
Praktisches Setup: 70B auf 24GB ausführen
Schritt-für-Schritt:
- 1Q2-Quantisierung verwenden: `ollama pull llama3.1:70b-q2` (falls verfügbar, sonst mit llama.cpp konvertieren)
- 2VRAM überprüfen: `nvidia-smi` sollte ~18 GB Auslastung anzeigen
- 3Modell ausführen: `ollama run llama3.1:70b-q2`
- 4Erwarten Sie 3-5 Token/Sek. (sehr langsam)
- 5Nur für Batch-/Offline-Verarbeitung verwenden, nicht für interaktiven Chat
Realistische Leistungserwartungen
70B auf 24GB VRAM auszuführen ist langsam:
Quantisierung | Geschwindigkeit | Latenz | Anwendungsfall |
|---|---|---|---|
| Q2 (24GB VRAM) | 5-8 Token/Sek. | 2-4 Sek. pro Token | Nur Batch-Verarbeitung |
| Q3 + Offload (24GB) | 3-5 Token/Sek. | 3-5 Sek. pro Token | Extrem begrenzt |
| Q4 + Offload (24GB) | 1-3 Token/Sek. | 5-10 Sek. pro Token | Nur Overnight-Batch |
Bessere Alternativen zu beschränktem 70B
Statt sich mit 70B bei limitiertem VRAM abzumühen, erwägen Sie:
- Ein 13B-Modell verwenden (Llama 3.3 13B bei Q5 = 8 GB, sehr schnell)
- Eine zweite RTX 4090 für Layer-Splitting kaufen (2× 24GB = 48GB, 100+ Token/Sek.)
- Eine Cloud-API verwenden (GPT-5.5 für wichtige Aufgaben, lokal für Experimente)
- Auf effizientere Modelle warten (kleiner, gleiche Qualität)
Häufige Fehler bei beschränktem 70B
- Erwartet, dass Q2 für Chat brauchbar ist. Das ist es nicht. Der Qualitätsverlust ist zu schwerwiegend für die Echtzeit-Interaktion.
- Nicht vorher die tatsächliche Geschwindigkeit messen. Vor größeren Batch-Jobs mit einem kleinen Prompt (10 Token) testen und die Geschwindigkeit überprüfen.
- Annahme, dass Offloading "kostenlos" ist. System-RAM ist 100× langsamer als GPU VRAM. Das Offloading macht die Inferenz unpraktisch.
- Keine Alternativen erwägen. Ein 13B-Modell ist dramatisch schneller und oft in der Qualität ausreichend.
Häufig gestellte Fragen
Kann ich eine 70B-Modell wirklich auf einer einzelnen RTX 4090 ausführen?
Ja, aber mit erheblichen Einschränkungen. Bei Q2-Quantisierung (17,5 GB) passt das Modell in 24 GB VRAM, läuft aber mit 5-8 Token/Sek. und hat ~70% der FP16-Qualität. Bei Q4 (35 GB) müssen Sie 11 GB zu System-RAM auslagern, wodurch die Geschwindigkeit auf 1-3 Token/Sek. sinkt. Keine ist für Echtzeit-Chat geeignet — nur für Offline-Batch-Verarbeitung.
Welche Quantisierung ist erforderlich, um 70B in 24 GB VRAM zu passen?
Q2-Quantisierung passt in 24 GB (17,5 GB Modellgröße). Q3 (26 GB) erfordert 2 GB RAM-Offloading. Q4 (35 GB) erfordert 11 GB Offloading und macht die Inferenz sehr langsam. Q5 und höher (44-70 GB) können nicht passen, auch nicht mit Offloading auf einer 24 GB GPU. Q2 ist die einzige Option, die vollständig in VRAM läuft.
Wie langsam ist eine 70B-Modell auf 24 GB VRAM?
Bei Q2 (vollständig in VRAM): 5-8 Token/Sek. Bei Q3 mit 2 GB RAM-Offload: 3-5 Token/Sek. Bei Q4 mit 11 GB RAM-Offload: 1-3 Token/Sek. Vergleichen Sie mit einem 13B-Modell bei Q5 auf der gleichen GPU: 80-100 Token/Sek. Das beschränkte 70B-Setup ist 10-20× langsamer als ein richtig dimensioniertes kleineres Modell.
Ist es besser, ein 13B-Modell statt eines beschränkten 70B zu verwenden?
Für die meisten Aufgaben ja. Ein 13B-Modell bei Q5-Quantisierung läuft auf einer RTX 4090 mit 80-100 Token/Sek. und liefert starke Qualität. Ein 70B-Modell bei Q2 läuft mit 5-8 Token/Sek. mit verminderter Qualität. Das 13B-Modell gewinnt bei Geschwindigkeit und oft bei praktischer Qualität aufgrund von Q2-Verschlechterung. Verwenden Sie 70B-auf-24GB nur, wenn Sie spezifische 70B-Fähigkeiten benötigen und Batch-only-Verwendung tolerieren können.
Quellen
- llama.cpp Quantisierung -- github.com/ggerganov/llama.cpp/blob/master/gguf-py/gguf/quants.py
- Model Card: Llama 3.3 70B -- huggingface.co/meta-llama/Llama-3.1-70B