70B-LLM lokal ausführen 2026: RAM, VRAM & Tempo je Hardware

Ein 70B-Modell ist ein großes Sprachmodell mit etwa 70 Milliarden Parametern -- den gelernten Gewichten, aus denen das Netz besteht. „B“ steht für Billion im englischen Sinn, also Milliarde. Llama 3.3 70B hat 70,6 Milliarden Parameter und Qwen2.5 72B hat 72,7 Milliarden.

Der Speicherbedarf ergibt sich aus Parametern mal Bytes pro Gewicht: 16-Bit-Gewichte belegen je 2 Bytes (etwa 141 GB), 8 Bit (Q8_0) etwa 1 Byte (75 GB) und 4 Bit Q4_K_M etwa 0,6 Bytes (43 GB). Deshalb ist 70B die Größe, ab der Consumer-Hardware erstmals 40+ GB schnellen Speicher braucht, während 7B-14B-Modelle auf einen gewöhnlichen Laptop passen.

Du brauchst etwa 43 GB schnellen Speicher für das Modell plus 3-10 GB für den Kontext, im GPU-VRAM, im Apple Unified Memory oder im System-RAM -- und je schneller dieser Speicher ist, desto schneller erzeugt das Modell Text.

Die Geschwindigkeiten unten sind Schätzwerte für Einzelnutzer-Chat bei kurzem Kontext, abgeleitet aus der Speicherbandbreite (siehe „Warum die Speicherbandbreite das Tempo bestimmt“). Sie sind Obergrenzen, auf eine typische Effizienz von 60-80 % reduziert, und keine von PromptQuorum durchgeführten Benchmarks; die Ausnahme ist der DGX-Spark-Wert, der von Dritten gemessen wurde.

Die Größen unten sind die Llama-3.3-70B-Dateien in der Ollama-Bibliothek; andere 70B-Modelle weichen um einige Prozent ab. Es sind nur die Gewichte -- addiere den Kontextspeicher aus dem nächsten Abschnitt.

Der Kontext braucht Speicher zusätzlich zu den Gewichten: Llama 3.3 70B legt bei FP16 etwa 0,33 MB KV-Cache pro Token ab, das sind grob 2,7 GB bei 8K Tokens, 10,7 GB bei 32K und 43 GB bei 128K. Die Zahl folgt aus der Modellarchitektur: 80 Layer x 8 Key-Value-Heads x 128 Dimensionen x 2 (Keys und Values) x 2 Bytes = 327.680 Bytes pro Token.

Jede gleichzeitige Sitzung hält ihren eigenen KV-Cache, während die Gewichte geteilt werden. Ein Multi-Agenten-System mit vier Agenten zu je 32K Tokens braucht etwa 43 GB für die Gewichte plus 43 GB Cache. Flash Attention und ein 8-Bit-KV-Cache in Ollama (OLLAMA_FLASH_ATTENTION=1 und OLLAMA_KV_CACHE_TYPE=q8_0) halbieren den Cache ungefähr.

Jedes erzeugte Token liest alle Modellgewichte einmal, daher ist die Decode-Geschwindigkeit durch Speicherbandbreite geteilt durch Modellgröße nach oben begrenzt. Ein 43-GB-Modell bei Q4_K_M und 614 GB/s Bandbreite ist auf etwa 14 Tokens/s begrenzt; das reale Tempo liegt typischerweise bei 60-80 % dieser Obergrenze.

Dieselbe Regel erklärt, warum viel Speicher nicht dasselbe ist wie schneller Speicher: Der DGX Spark mit 128 GB hat 273 GB/s, eine Obergrenze von etwa 6 Tokens/s bei Q4_K_M, und LMSYS maß 2,7 Tokens/s für Llama 3.1 70B bei FP8 (etwa 70 GB, Obergrenze 3,9). Die Kapazität entscheidet, ob ein Modell läuft; die Bandbreite entscheidet, wie schnell. Die Prompt-Verarbeitung (Prefill) ist rechenbegrenzt und verhält sich anders.

Apple Silicon ist der einfachste Weg, ein 70B-Modell vollständig im GPU-zugänglichen Speicher zu halten, weil CPU und GPU einen gemeinsamen Unified-Memory-Pool nutzen. Ein Mac mit 64 GB oder mehr führt Q4_K_M ohne Layer Offloading aus, mit einem Tempo, das von der Chip-Bandbreite bestimmt wird: grob 9-11 Tokens/s auf einem M5 Max und 12-15 auf einem gebrauchten M2 Ultra (Schätzwerte). Veröffentlichte 70B-Benchmarks für die M5-Chips haben wir bisher nicht gefunden.

Apple hat den Mac Studio mit M5 Max und M5 Ultra am 25. August 2026 angekündigt; beide wurden am 22. September 2026 ausgeliefert. Der M5 Max startet bei 2.499 $ mit 36 GB und reicht bis 128 GB bei bis zu 614 GB/s -- konfiguriere für 70B mindestens 64 GB. Der M5 Ultra startet bei 5.499 $ mit 96 GB, reicht bis 512 GB bei bis zu 1,2 TB/s und führt Q8_0 komfortabel aus; die Konfiguration mit 512 GB wurde als lieferbar ab Ende Oktober gelistet.

Der Mac mini M5 Pro startet bei 1.699 $ mit 24 GB, nicht mit 64 GB. Die Build-to-Order-Konfiguration mit 64 GB (307 GB/s, Thunderbolt 5) fasst ein 70B-Modell bei Q4_K_M, erzeugt aber nur etwa 4-5 Tokens/s, und Tests nennen je nach CPU und Speicherplatz etwa 2.700-3.200 $. Der Basis-Mac mini M6 (899 $) reicht nur bis 32 GB und 170 GB/s und kann ein 70B-Modell bei keiner Quantisierung ausführen.

macOS begrenzt den GPU-adressierbaren Speicher standardmäßig auf etwa 75 % des RAM (rund 48 GB bei einem 64-GB-Mac). Um Q5_K_M (50 GB) auszuführen, hebe das Limit an, zum Beispiel mit sudo sysctl iogpu.wired_limit_mb=57344 auf einem 64-GB-Mac; die Einstellung geht beim Neustart verloren und lässt dem Betriebssystem nur etwa 8 GB.

Der NVIDIA DGX Spark ist ein kompakter Desktop-KI-Computer mit 128 GB Unified LPDDR5x-Speicher bei 273 GB/s, basierend auf dem GB10 Grace Blackwell Superchip mit CUDA-Unterstützung. Er lädt ein 70B-Modell sogar bei Q8_0 (75 GB), doch die Bandbreite begrenzt die Generierung: LMSYS maß 2,7 Tokens/s Decode für Llama 3.1 70B bei FP8, und Community-Läufe mit llama.cpp bei Q4_K_M werden im Bereich von 4-5 Tokens/s berichtet.

Die Preise haben sich stark bewegt. NVIDIA hob die Founders Edition im Februar 2026 wegen Engpässen bei der Speicherversorgung von 3.999 $ auf 4.699 $ an, und im Oktober 2026 wurde ein Preis von 6.950 $ berichtet, zusammen mit einer 64-GB-Version für 4.999 $, die Partner ab dem 23. Oktober 2026 verkaufen. Prüfe vor dem Kauf die aktuellen Preise.

Die Mini-PCs und Laptops mit AMD Ryzen AI Max+ 395 („Strix Halo“) bieten 128 GB LPDDR5X bei 256 GB/s, also dieselbe Bandbreitenklasse, und eine ähnliche Schätzung von etwa 4-5 Tokens/s für ein dichtes 70B-Modell. Beide Plattformen passen besser zu Mixture-of-Experts-Modellen (siehe unten) sowie zu CUDA- oder Fine-Tuning-Arbeit als zu Chat mit einem dichten 70B-Modell.

Ollama und llama.cpp teilen ein Modell auf GPU-VRAM und System-RAM auf: Layer im VRAM laufen mit GPU-Tempo, Layer im RAM mit der Speichergeschwindigkeit der CPU, und der langsame Teil dominiert. Bei einer RTX 4090 (24 GB) passen etwa 55 % eines 70B-Modells bei Q4_K_M auf die GPU, der Rest wird mit rund 90 GB/s aus dem DDR5 gestreamt, was die Generierung auf etwa 2-4 Tokens/s begrenzt. Eine RTX 5090 (32 GB) fasst etwa 70 % und erreicht geschätzt 4-6 Tokens/s.

Ollama lagert automatisch aus; ein Flag ist nicht nötig. Führe ollama ps aus, um die Aufteilung zu sehen (Spalte PROCESSOR, zum Beispiel 45%/55% CPU/GPU). In llama.cpp legst du die Layer-Anzahl mit -ngl fest.

Für einen Nutzer ist Ollama oder llama.cpp mit Layer-Aufteilung der einfachste Multi-GPU-Weg; für mehrere gleichzeitige Nutzer oder Agenten liefern vLLM oder SGLang mit Tensor Parallelism weit mehr Gesamtdurchsatz. Zwei 24-GB-Karten (RTX 3090 oder 4090) ergeben 48 GB, genug für Q4_K_M plus kurzen Kontext.

Die Layer-Aufteilung reicht die Aktivierungen einmal pro Token zwischen den Karten weiter und funktioniert über normales PCIe, eignet sich also für gemischte oder Consumer-Karten. Tensor Parallelism teilt jeden Layer auf die GPUs auf und profitiert von schnellen Verbindungen: Die RTX 3090 unterstützt eine NVLink-Brücke, die RTX 4090 und 5090 nicht.

Reine CPU-Inferenz mit 70B ist durch die Speicherbandbreite begrenzt: Dual-Channel-Desktop-DDR5 (etwa 90 GB/s) liefert bei Q4_K_M grob 1-2 Tokens/s, und mehr RAM-Kapazität macht es nicht schneller. Bei 1,5 Tokens/s braucht eine Antwort mit 200 Wörtern (etwa 270 Tokens) rund drei Minuten.

256 GB RAM ändern, was hineinpasst, nicht wie schnell es läuft: Sie fassen Q8_0 (75 GB) oder FP16 (141 GB) mit langem Kontext. Das Tempo hängt von den Speicherkanälen ab -- ein Threadripper PRO mit 8 Kanälen oder ein EPYC-Server mit 12 Kanälen hat die drei- bis fünffache Bandbreite eines Desktops. Desktop-Mainboards mit vier großen DIMMs betreiben ihren Speicher oft langsamer als mit zwei. Auch die Prompt-Verarbeitung auf der CPU ist bei langen Eingaben langsam.

Die Schätzwerte unten wenden die Bandbreitenregel bei 70 % Effizienz an; es sind keine gemessenen Benchmarks.

Mixture-of-Experts-Modelle (MoE) brauchen Speicher für alle ihre Parameter, lesen pro Token aber nur die aktiven Experten, daher erzeugen sie Text deutlich schneller als ein dichtes 70B-Modell mit demselben Speicherbedarf. OpenAI gpt-oss-120b hat etwa 117 Milliarden Parameter, davon etwa 5,1 Milliarden aktiv; Meta Llama 4 Scout hat 109 Milliarden mit 17 Milliarden aktiven.

Die Bandbreitenregel gilt für die aktiven Gewichte, daher nutzen MoE-Modelle Rechner mit hoher Kapazität und mäßiger Bandbreite am besten aus, etwa den DGX Spark, Ryzen-AI-Max+-395-PCs und einen Mac mini M5 Pro mit 64 GB. Für ein dichtes 70B-Modell auf dieser Hardware rechne mit 4-5 Tokens/s; prüfe die Dateigröße jedes MoE-Modells gegen deinen Speicher, bevor du es herunterlädst.

Llama 3.3 70B ist das Standardmodell unter den dichten 70B-Modellen: Meta gibt 86,0 bei MMLU (CoT) und 88,4 bei HumanEval an, bei einem Kontextfenster von 128K. Qwen2.5 72B ist die wichtigste Alternative für mehrsprachige Anwendungen und Coding. Ein Qwen3 72B existiert nicht -- die dichten Qwen3-Modelle enden bei 32B --, ein Verweis auf „Qwen3 72B“ meint also Qwen2.5 72B.

Befehle: ollama run llama3.3:70b, ollama run qwen2.5:72b, ollama run deepseek-r1:70b.

QLoRA-Fine-Tuning eines 70B-Modells braucht grob 35-48 GB GPU-Speicher pro Lauf: zwei 24-GB-GPUs mit FSDP+QLoRA oder eine einzelne GPU mit 48-80 GB. QLoRA hält das Basismodell in 4 Bit (etwa 35 GB) und trainiert kleine Adapter; Answer.AI hat das auf zwei 24-GB-Gaming-GPUs demonstriert.

Vollständiges 16-Bit-Fine-Tuning braucht für Gewichte, Gradienten und Optimizer-Zustände etwa 16 Bytes pro Parameter -- in der Größenordnung von 1 TB --, das ist eine Aufgabe für einen Multi-GPU-Server. Eine Cloud-GPU mit 80 GB zu mieten ist für gelegentliche Läufe meist praktischer, als Hardware aufzubauen.

EU / DSGVO: Ein lokales 70B-Modell ist für die meisten Organisationen die praktische Obergrenze der privat betreibbaren KI-Qualität. Wer juristische, medizinische oder finanzielle Dokumente vor Ort verarbeitet, hält Prompts und Ausgaben in der eigenen Infrastruktur, was Datenminimierung und Maßnahmen gegen Übermittlungsrisiken unterstützt; es macht einen Einsatz für sich genommen nicht DSGVO-konform, bewerte also die gesamte Verarbeitungstätigkeit.

Für Organisationen, die Hardware aus EU-Lieferketten verlangen: Apple (USA) und NVIDIA (USA) sind Anbieter außerhalb der EU; Dell, HP und Lenovo verkaufen Systeme auf GB10-Basis mit lokalem Support. Auf der Modellseite stammt Mistral Large 2 von einem EU-Entwickler, wird aber unter einer Forschungslizenz veröffentlicht, die die kommerzielle Nutzung nicht abdeckt.

Japan: Qwen2.5 72B ist eine verbreitete Wahl für japanische Texte: `ollama run qwen2.5:72b`. Die Dokumentation von Hardware und Modellversionen (die Ausgabe von `ollama ps` zeigt das geladene Modell) unterstützt die interne Governance nach den japanischen KI-Leitlinien für Unternehmen.

China: Ein lokal betriebenes Qwen2.5 72B hält die Daten in der eigenen Infrastruktur, was für das chinesische Datensicherheitsgesetz (数据安全法) relevant ist. Ob ein intern bereitgestelltes Modell unter die CAC-Regeln für generative KI fällt, hängt davon ab, ob es der Öffentlichkeit angeboten wird; kläre das mit qualifizierter Rechtsberatung.