Günstigster Weg, ein 70B-Modell lokal zu betreiben 2026
Diese Seite enthält Verweislinks zu Produkten von Drittanbietern. PromptQuorum ist an keinem Partnerprogramm beteiligt — es sind reine Referenzlinks, die keine Provision erzielen. Das Anklicken von Links und Ihre nächsten Schritte liegen in Ihrer eigenen Verantwortung. Diese Links stellen keine Billigung oder Verifizierung durch PromptQuorum dar.
Hardware & PerformanceFortgeschritten
Wichtigste Punkte
- ✓Einzelne gebrauchte RTX 3090 + 64 GB DDR5 (GGUF-Offload): ~950 €, 2–3 Tok/s — absolut günstigste, langsam
- ✓Mac Mini M4 Pro 48 GB: günstigste Option, die einfach läuft, ~1.900 €, 45 W
- ✓Dual RTX 3090 gebraucht: ~1.700 €, Windows/Linux, 20–35 Tok/s
- ✓CPU 128 GB DDR5: ~1.700 €, aber nur 1–3 Tok/s
- ✓70B Q4_K_M benötigt mindestens ~42 GB RAM/VRAM
- ✓Q2_K passt in 32 GB, merklicher Qualitätsverlust
- ✓Apple MLX gibt dem Mac das beste 70B-Preis-Leistungs-Verhältnis 2026
Verwandte Leitfäden
- ▸Wie viel VRAM braucht ein 70B-Modell? -- how much VRAM for a 70B model
- ▸DeepSeek R1 Distill VRAM-Spickzettel -- DeepSeek R1 distill VRAM cheatsheet
- ▸Bestes DeepSeek Distill für Ihre GPU -- best DeepSeek distill for your GPU
- ▸Cloud-GPU-Kosten pro Stunde 2026 -- cloud GPU cost per hour
Quick Answers
Kann ich ein 70B-Modell auf einer einzelnen Consumer-GPU betreiben?▾
Keine einzelne Consumer-GPU 2026 hat genug VRAM für ein 70B-Q4_K_M-Modell (42 GB). Eine RTX 4090 (24 GB) kann es mit CPU-Offloading bei 8–12 Tok/s betreiben, benötigt aber 64 GB+ Systemspeicher.
Wie viel RAM brauche ich für ein 70B-Modell nur per CPU?▾
70B Q4_K_M benötigt mindestens ~44 GB RAM. Für praktische CPU-Inferenz werden 64 GB empfohlen. Geschwindigkeit liegt bei 1–3 Tok/s auf einem modernen Desktop-Prozessor.