Wichtigste Erkenntnisse
- RTX 4090 gewinnt deutlich bei Modellen, die in 24 GB VRAM passen. M5 Max gewinnt deutlich, wenn das Modell nicht passt. Wendepunkt: ~24 GB Modellgröße.
- Benchmarks: RTX 4090 liefert 120–140 tok/s auf Llama 3.3 8B Q4. M5 Max liefert 100–120 tok/s. Auf Llama 3.3 70B Q4: M5 Max läuft bei 15–20 tok/s. RTX 4090 kann es überhaupt nicht ausführen (OOM).
- 3-Jahres-Gesamtkosten: Mac Mini M5 Pro 64 GB = ca. €1.800. RTX 4090-Desktop = ca. €3.490. Mac gewinnt bei TCO trotz ähnlicher Hardware-Preise, ausschließlich aufgrund des Stromverbrauchs.
- Stromverbrauch bei 24/7-Betrieb: Mac Mini M5 Pro = ca. €35/Jahr Stromkosten. RTX 4090-Desktop = ca. €349/Jahr. Bei EU-Sätzen (€0,35/kWh): ca. €82/Jahr vs ca. €815/Jahr.
- Fine-Tuning: NVIDIA CUDA-Ökosystem ist dem Apple MLX beim Training um 1–2 Jahre voraus. Nutzen Sie NVIDIA zum Fine-Tuning, Mac zur Inferenz bei großen Modellen.
- Einrichtungszeit: Ollama auf Mac = 5 Minuten. CUDA + Treiber + Framework auf Linux/Windows = 30–60 Minuten.
- Hybrid-Setup funktioniert gut: Mac für tägliche Inferenz (tragbar, lautlos, 70B-fähig), NVIDIA-Desktop zum Fine-Tuning (CUDA-Ökosystem). Gesamt: ca. €5.500 für beides.
- M5 Ultra (erwartet Mitte 2026, 256 GB Unified Memory) wird 70B FP16 verlustfrei und 120B+ Modelle ausführen können.
Der grundlegende Unterschied: VRAM-Limit vs Unified Memory
Der einzelne größte architektonische Unterschied zwischen Apple Silicon und NVIDIA GPUs bestimmt, welche Plattform für lokale LLMs gewinnt.
NVIDIA GPU-Architektur: VRAM ist vom Systemspeicher getrennt. Diskretes VRAM ist schnell (1.008 GB/s auf RTX 4090), aber hart begrenzt. RTX 4090 maximal bei 24 GB VRAM. Modelle über 24 GB können nicht ohne Dual-GPU-Komplexität ausgeführt werden. Der Systemspeicher kann nicht helfen — die GPU kann nicht effizient darauf zugreifen für LLM-Inferenz.
Apple Silicon-Architektur: Gesamter Speicher ist einheitlich (geteilt zwischen CPU und GPU). Langsamer als diskretes VRAM (M5 Max: 614 GB/s vs RTX 4090: 1.008 GB/s), aber GESAMTER Speicher steht dem Modell zur Verfügung. Ein 128-GB-Mac führt ein 70B Q5-Modell (49 GB) mit Platz für das Betriebssystem und andere Apps aus. Keine Dual-GPU-Komplexität, keine Treibereinrichtung.
Praktische Auswirkungen nach Modellgröße:
| Modellgröße | RTX 4090 (24 GB VRAM) | M5 Max (128 GB Unified) |
|---|---|---|
| 7B Q4 (~4 GB) | ✓ Passt, sehr schnell | ✓ Passt |
| 13B Q4 (~8,5 GB) | ✓ Passt, schnell | ✓ Passt |
| 34B Q4 (~20 GB) | ✓ Passt, eng | ✓ Passt komfortabel |
| 70B Q4 (~42 GB) | ✗ Passt nicht | ✓ Passt komfortabel |
| 70B Q8 (~74 GB) | ✗ Passt nicht | ✓ Passt |
| Llama 405B Q3 (~200 GB) | ✗ Passt nicht | ✗ Passt nicht (benötigt M5 Ultra) |
Für Modelle über 24 GB ist Apple Silicon die einzige Consumer-Option ohne einen Dual-GPU-Rig, der 2–3× mehr kostet.
Direkte Benchmark-Vergleiche: Tokens/Sekunde
Methodik: Modelle getestet mit Ollama (Metal) auf Apple Silicon und CUDA auf NVIDIA. Berichtete tok/s ist Generierungsgeschwindigkeit. Umgebung: macOS Sequoia / Ubuntu 22.04, neueste stabile Frameworks.
| Modell | M5 Pro 64 GB | M5 Max 128 GB | RTX 4070 12 GB | RTX 4090 24 GB |
|---|---|---|---|---|
| Llama 3.3 8B Q4 | 50–60 | 100–120 | 70–85 | 120–140 |
| Llama 3.3 8B Q8 | 40–50 | 80–95 | 55–70 | 90–110 |
| Llama 3.3 13B Q4 | 35–45 | 70–85 | 45–60 | 90–110 |
| Qwen3 34B Q4 | 18–22 | 35–42 | OOM (12 GB) | OOM (24 GB eng) |
| Mixtral 8x22B Q4 | 25–32 | 50–62 | OOM | 65–80 |
| Llama 3.3 70B Q4 | 8–12 | 15–20 | OOM | OOM |
| Llama 3.3 70B Q5 | 6–10 | 12–16 | OOM | OOM |
RTX 4090 gewinnt deutlich bei Modellen, die in 24 GB VRAM passen. Apple Silicon gewinnt deutlich, wenn das Modell nicht passt. Der Wendepunkt: ~24 GB Modellgröße.
Gesamtkostenbetrag (3-Jahres-Analyse)
Annahmen: 24/7-Betrieb, Mixed Workload, €0,15/kWh durchschnittliche Stromrate.
| Konfiguration | Hardware | Jährlicher Strom | 3-Jahre Strom | 3-Jahre Gesamt |
|---|---|---|---|---|
| Mac Mini M5 Pro 64 GB | ca. €1.800 | ca. €35 | ca. €105 | ca. €1.905 |
| Mac Studio M5 Max 128 GB | ca. €4.800 | ca. €55 | ca. €165 | ca. €4.965 |
| Desktop + RTX 4070 12 GB | ca. €1.490 | ca. €237 | ca. €710 | ca. €2.200 |
| Desktop + RTX 4090 24 GB | ca. €3.490 | ca. €349 | ca. €1.047 | ca. €4.537 |
| Dual RTX 3090 (48 GB gesamt) | ca. €2.200 | ca. €387 | ca. €1.160 | ca. €3.360 |
| Mac Studio M5 Ultra (prognostiziert) | ca. €6.500 | ca. €75 | ca. €225 | ca. €6.725 |
Mac Mini M5 Pro ist die günstigste 3-Jahres-Option für die Ausführung von 34B-Modellen. Mac Studio M5 Max wird kostengünstig mit High-End-NVIDIA, wenn Stromkosten berücksichtigt werden.
Stromkosten-Berechnungsdetails
Annahmen: 24/7-Betrieb, Mixed Workload (30 % Leerlauf, 70 % Inferenz). Stromrate: €0,15/kWh (Durchschnitt EU). EU-Rate (€0,35/kWh): Stromkosten mit 2,3 multiplizieren.
| Hardware | Durchschn. Stromverbrauch (Mixed) | Täglich (24h) | Jährlich |
|---|---|---|---|
| Mac Mini M5 Pro | 18 W | 0,43 kWh | 158 kWh = ca. €24 |
| Mac Studio M5 Max | 35 W | 0,84 kWh | 307 kWh = ca. €46 |
| Desktop + RTX 4070 | 150 W | 3,60 kWh | 1.314 kWh = ca. €197 |
| Desktop + RTX 4090 | 250 W | 6,00 kWh | 2.190 kWh = ca. €329 |
Wann Apple Silicon gewinnt
1. Ausführung von 70B+ Parameter-Modellen
Das entscheidende Szenario. Llama 3.3 70B benötigt 42 GB bei Q4-Quantisierung. RTX 4090 hat 24 GB VRAM — kann nicht passen. M5 Max 128 GB führt es komfortabel mit Platz für Kontext-Fenster und andere Anwendungen aus.
Der einzige NVIDIA-Workaround sind Dual RTX 3090 (ca. €2.200+) oder A6000 (ca. €5.500+) — beide kosten mehr als Mac Mini M5 Pro bei 2–5× höherem Stromverbrauch.
2. Always-On Silent AI Server
Mac Mini bei 18–35 W unter Last ist lüfterlos oder nahezu lautlos. Ein Desktop mit RTX 4090 bei 250–450 W hat 3+ Lüfter mit durchschnittlich 50–70 dB. Ein lauter GPU-Rig in einem Homeoffice ist unbrauchbar; Mac Mini läuft lautlos im Schrank.
Stromkostendifferenz: ca. €35/Jahr (Mac Mini) vs ca. €349/Jahr (RTX 4090) bei 24/7-Betrieb. Über 5 Jahre: ca. €1.570 nur bei Stromkosten gespart.
3. Tragbare KI-Workstation (MacBook Pro M5 Pro)
MacBook Pro M5 Pro mit 64 GB Unified Memory führt 34B-Modelle bei 18–22 tok/s während des Reisens aus. Es gibt keinen äquivalenten NVIDIA-Laptop mit vergleichbarem Speicher zu diesem Preis (ca. €2.500). Diskrete Laptop-GPUs sind auf 16 GB VRAM begrenzt, was die Modellgröße auf 13B Maximum begrenzt.
4. Multi-Modell-Stacks (Voice + Vision + LLM gleichzeitig)
Eine Voice-Assistant-Pipeline benötigt Whisper STT (3 GB) + LLM (8 GB) + TTS (1 GB) = 12 GB Minimum. RTX 4090 24 GB verwaltet dies eng. M5 Pro 64 GB verwaltet dies PLUS ein Vision-Modell (LLaVA 6 GB) PLUS RAG-Embeddings — alles gleichzeitig geladen mit sofortigem Wechsel.
5. EU-Stromkosten und Nachhaltigkeits-Einschränkungen
Bei europäischen Stromraten (€0,35/kWh) kostet ein Always-On-RTX 4090 ca. €815/Jahr Strom. Mac Mini kostet ca. €82/Jahr. Über 5 Jahre: ca. €3.700+ Stromkostendifferenz — mehr als die gesamte Hardware-Kostendifferenz.
Wann NVIDIA gewinnt
1. Maximale Geschwindigkeit bei Modellen unter 24 GB
RTX 4090 bei 1.008 GB/s Speicherbandbreite schlägt M5 Max bei 614 GB/s um 64 %. Bei Llama 3.3 8B Q4 liefert RTX 4090 120–140 tok/s vs M5 Max 100–120 tok/s. Für hochdurchsatzige Inferenz (Chatbot-Serving, Batch-Verarbeitung) gewinnt NVIDIA bei kleinen bis mittleren Modellen.
2. Fine-Tuning und Training
Das CUDA-Ökosystem ist der Gold-Standard für ML-Training. PyTorch hat native CUDA-Unterstützung. Alle großen Fine-Tuning-Bibliotheken (Hugging Face PEFT, Unsloth, axolotl) sind CUDA-optimiert. LoRA, QLoRA und vollständiges Fine-Tuning funktionieren alle nahtlos mit umfassenden Tutorials. MLX auf Apple Silicon unterstützt Fine-Tuning, aber das Ökosystem ist 1–2 Jahre hinterher. Für Produktions-Training: verwenden Sie NVIDIA.
3. Batch-Processing-Durchsatz
NVIDIAs parallele Architektur verwaltet Batch-Inferenz besser. Verarbeiten von 100 Dokumenten durch ein LLM: RTX 4090 beendet 2–3× schneller als M5 Max aufgrund höherer Spitzenberechnung und Bandbreite bei Modellen, die in VRAM passen.
4. Budget-Builds mit gebrauchtem GPU-Markt
Gebrauchte RTX 3060 12 GB: €200–250 — führt 8B-Modelle komfortabel aus. Gebrauchte RTX 3090 24 GB: €700–900 — führt 13B-Modelle aus. Es existiert keine äquivalente Apple Silicon unter €600 mit nutzbaren LLM-Specs. Für Hobbyisten mit kleinerem Budget: gebrauchte NVIDIA gewinnt bei Einstiegskosten.
5. Linux-Server-Infrastruktur
Produktions-Server-Infrastruktur läuft auf Linux. NVIDIA Linux-Treiber sind ausgereift; CUDA auf Linux ist der Produktions-Standard. Apple Silicon Server (Mac Mini in Colocation) existiert, sind aber selten. Für traditionelle Server-Infrastruktur und CI/CD-Pipelines: NVIDIA auf Linux bleibt die Norm.
Workflow und Ökosystem-Vergleich
| Aspekt | Apple Silicon | NVIDIA |
|---|---|---|
| Einrichtungszeit | 5 Min (brew install ollama) | 30–60 Min (CUDA, Treiber, Framework) |
| Treiberwartung | Keine (Metal in macOS eingebaut) | Regelmäßige Treiber-Updates erforderlich |
| Framework-Unterstützung | Ollama, MLX, llama.cpp | Alle Frameworks (PyTorch, TF, JAX, etc.) |
| Modell-Verfügbarkeit | 1.000+ GGUF + MLX-Modelle | Alle Modelle (vollständiges Ökosystem) |
| Fine-Tuning | MLX LoRA (begrenzte Ökosystem) | Vollständiges PyTorch-Ökosystem |
| Debugging-Tools | Xcode Instruments | NVIDIA Nsight, umfassend |
| Stromverwaltung | Automatisch, transparent | Manuelle Lüfterkurven, Undervolting |
| Betriebssystem-Kompatibilität | Nur macOS | Linux, Windows |
| Multi-Machine-Skalierung | Nicht unterstützt | NCCL, verteiltes Training |
| Cloud-Parität | Keine identischen Cloud-Macs | Verfügbar auf AWS, Azure, GCP, Lambda |
Der Hybrid-Ansatz: Mac für tägliche Nutzung, NVIDIA zum Training
Viele KI-Entwickler nutzen strategisch beide Plattformen, statt eine auszuwählen.
Einrichtung: MacBook Pro M5 Pro 64 GB für tägliche Entwicklung (ca. €2.500) + Desktop mit RTX 4090 24 GB zum Training/Fine-Tuning (ca. €3.500) = ca. €6.000 Gesamt für Dual-Plattform-Setup.
Workflow:
- Mac zeichnet sich bei Inferenz und täglicher Entwicklung aus — lautlos, tragbar, niedriger Stromverbrauch
- NVIDIA zeichnet sich bei Training und Ökosystem-Reife aus — CUDA, PyTorch, vollständiger Fine-Tuning-Stack
- Gleiche Modelle funktionieren nach GGUF/MLX-Format-Konvertierung auf beiden
- ca. €6.000 Dual-Setup schlägt einzelnes ca. €4.800 Mac Studio für Training-intensive Workflows
- 1Entwickeln und lokal auf MacBook testen (lautlos, tragbar, ganztägige Batterie, führt 34B-Modelle aus)
- 2Größere Modelle auf Desktop RTX GPU fine-tunen (vollständiges CUDA-Ökosystem, schnelleres Training)
- 3Trainiertes Modell als GGUF oder MLX-Format für Cross-Platform-Nutzung exportieren
- 4Inferenz auf Mac zurück ausführen (lautlos, niedriger Stromverbrauch, immer verfügbar, verwaltet 70B)
Welchen sollten Sie kaufen? Entscheidungsmatrix nach Benutzertyp
| Ihr Profil | Empfehlung | Warum |
|---|---|---|
| Anfänger erkunden lokale KI | Mac Mini M5 Pro 36 GB (ca. €1.500) | Einfache 5-Min-Einrichtung, lautlos, führt 8B–13B-Modelle aus |
| Codierungs-fokussierter Entwickler | Mac Mini M5 Pro 64 GB (ca. €1.800) | Führt DeepSeek Coder V2 16B aus, Always-On, lautlos |
| Privacy-fokussierter Professional | MacBook Pro M5 Pro 48 GB (ca. €2.500) | Tragbar, vollständig offline, sicher, führt 34B aus |
| ML-Forscher / Fine-Tuner | RTX 4090-Desktop (ca. €3.500) | CUDA-Ökosystem, PyTorch, Unsloth, LoRA-Training |
| Führen Sie 70B-Modelle lokal aus | Mac Studio M5 Max 128 GB (ca. €4.800) | Einzige Consumer-Option ohne Dual-GPU-Komplexität |
| Familie / Home-KI-Server | Mac Mini M5 Pro 64 GB (ca. €1.800) | Lautlos, ca. €35/Jahr Stromkosten, Multi-User-API-Unterstützung |
| Budget-Hobbyist | Gebrauchte RTX 3060 12 GB (€200) | Erschwinglicher Eintritt in lokale KI, führt 8B-Modelle aus |
| Always-On-KI-Infrastruktur | Mac Mini M5 Pro 64 GB (ca. €1.800) | ca. €35/Jahr Stromkosten vs ca. €349/Jahr für NVIDIA |
| Maximale Qualität + Training | Mac Studio + RTX 4090 (ca. €7.500) | Das Beste aus beiden: 70B-Inferenz + vollständiges CUDA-Training |
Sollte ich auf M5 Ultra warten?
M5 Ultra (erwartet Mitte 2026, 256 GB Unified Memory) wird 70B FP16 verlustfrei und 120B+ Modelle ausführen können. Wenn Sie maximale Qualität benötigen und warten können, ja. Wenn Sie Hardware jetzt benötigen: M5 Max 128 GB ist die aktuelle beste Consumer-Option für große Modelle.
Kann ich Multi-GPU auf Mac machen?
Nein. Es gibt keine Möglichkeit, Speicher über Macs zu poolen. NVIDIA-GPU-Systeme ermöglichen Dual RTX 3090 für 48 GB gepooltes VRAM (ca. €2.200) — nützlich für Modelle zwischen 24 GB und 48 GB, aber lauter und stromverbrauchsintensiver als Mac Studio M5 Max.
Ist NVIDIA schneller zum Training?
Ja. Das CUDA-Ökosystem dominiert Fine-Tuning: PyTorch, Hugging Face PEFT, Unsloth und axolotl sind alle CUDA-optimiert. MLX LoRA auf Apple Silicon funktioniert, aber das Ökosystem ist 1–2 Jahre hinterher. Nutzen Sie NVIDIA zum Training, Mac zur Inferenz.
Ist M5 Max insgesamt schneller als RTX 4090?
Nein. RTX 4090 ist schneller bei Modellen, die in 24 GB VRAM passen. RTX 4090 hat 1.008 GB/s Bandbreite vs M5 Max 614 GB/s. Der Vorteil kippt bei Modellen über 24 GB — RTX 4090 kann sie überhaupt nicht ausführen. M5 Max gewinnt bei 70B-Modellen, RTX 4090 gewinnt bei 8B–24B-Modellen.
Kann ich eine NVIDIA GPU auf einem Mac über Thunderbolt eGPU ausführen?
Nein. Apple entfernte die Unterstützung für externe NVIDIA GPUs in macOS 10.14 (2018). Moderne Macs können keine NVIDIA GPUs über Thunderbolt verwenden. Apple Silicon Macs nutzen ausschließlich Metal — keine externe GPU-Unterstützung überhaupt.
Welche Plattform ist besser für KI-Entwicklungs-Anfänger?
Apple Silicon für Inferenz und Lernen. Die Einrichtung dauert 5 Minuten (brew install ollama). NVIDIA erfordert CUDA-Einrichtung, Treiberverwaltung und Linux-Vertrautheit. Sobald Sie über Inferenz hinauswachsen und mit Custom-Modell-Fine-Tuning beginnen, wird das NVIDIA CUDA-Ökosystem wertvoll.
Ändert RTX 5090 diesen Vergleich?
RTX 5090 (32 GB VRAM, erwartet Ende 2026) hebt die NVIDIA-Fähigkeitsdecke, ändert aber nicht den Unified-Memory-Vorteil. 70B-Modelle passen immer noch nicht in 32 GB bei Q4-Quantisierung (benötigt ~42 GB). M5 Max 128 GB und M5 Ultra 256 GB bleiben einzigartig für große Modell-Inferenz.
Kann ich VRAM über mehrere Macs teilen?
Nein. Apple Silicon unterstützt keine Speicher-Pooling über Maschinen. Für Modelle zwischen 24 GB und 48 GB können Dual RTX 3090 (48 GB gepooltes VRAM) billiger sein als Mac Studio M5 Max — aber lauter, heißer und mit 2–3× höherem Stromverbrauch.
Was ist mit AMD GPUs (RX 7900 XTX) für lokale LLMs?
ROCm-Unterstützung verbessert sich, aber ist immer noch 1–2 Jahre hinter CUDA für LLM-Use-Cases. Für Linux-basierte KI-Server ist AMD brauchbar. Für Fine-Tuning und umfangreiche Framework-Kompatibilität: NVIDIA dominiert immer noch. Siehe Beste AMD GPUs für lokale LLMs für AMD-spezifische Anleitung.