Apple Silicon für lokale LLMs 2026: M5 Pro vs. M5 Max vs. Mac Studio im Vergleich

Warum Apple Silicon M5 für lokale LLMs wichtig ist

• Unified-Memory-Architektur: M5 Pro und M5 Max teilen sich einen einzigen schnellen Speicherpool (24 bis 128 GB), auf den CPU, GPU und Neural Engine gleichzeitig zugreifen. Kein VRAM/RAM-Flaschenhals. Modelle bleiben im schnellen Speicher, die Inferenz bleibt reaktionsschnell.
• Speicherbandbreite als eigentlicher Flaschenhals: Die LLM-Generierung ist speichergebunden, nicht rechengebunden — jedes erzeugte Token liest die Modellgewichte einmal. Der M5 Max mit 460–614 GB/s liegt bei kleinen Modellen hinter den 1.008 GB/s der RTX 4090, fasst aber bis zu 128 GB statt 24 GB und führt damit Modelle aus, die in eine 4090 nicht passen. Der M5 Ultra übertrifft mit bis zu 1,2 TB/s die 4090 und fasst bis zu 512 GB.
• „VRAM“ am Mac ist Unified Memory: Es gibt keinen separaten VRAM-Pool. Die GPU nutzt denselben Speicher wie macOS; standardmäßig erlaubt macOS der GPU, grob zwei Drittel bis drei Viertel des gesamten RAM fest zu belegen (der Anteil hängt von der RAM-Größe ab). Bei einem Mac mit 64 GB sollten Sie mit etwa 48 GB für Modell plus Kontext planen; das Limit lässt sich mit `sudo sysctl iogpu.wired_limit_mb=<MB>` anheben (wird beim Neustart zurückgesetzt).
• Apple-Fusion-Architektur (neu im M5): M5 Pro und M5 Max trennen CPU und GPU auf zwei eigene 3-nm-Dies in einem Gehäuse. Das ermöglicht unabhängige Skalierung und thermische Optimierung und verbessert die Energieeffizienz gegenüber monolithischen Chips.
• Neural Accelerator in jedem GPU-Kern: Jeder GPU-Kern enthält einen eigenen Neural Accelerator für KI-Workloads, der die gemeinsame Neural Engine ergänzt. Laufzeiten, die sie nutzen — etwa MLX und das MLX-Backend von Ollama —, verarbeiten Prompts auf M5-Chips schneller.
• Generationssprung gegenüber M4: Apple nennt bis zu 30 % mehr Multithread-CPU-Leistung gegenüber M4 Pro und M4 Max. Für die LLM-Generierung zählt die Bandbreite: M5 Pro 307 GB/s vs. M4 Pro 273 GB/s (+12 %) sowie 614 GB/s vs. 546 GB/s beim jeweils größten M5 Max bzw. M4 Max (+12 %). Beim Prompt-Processing fallen die Gewinne dank der Neural Accelerators pro Kern größer aus.
• Thunderbolt 5 (M5 Pro/Max): M5 Pro und M5 Max bieten Thunderbolt 5 mit 80 Gbit/s Basisbandbreite (doppelt so viel wie Thunderbolt 4) — für schnellen externen Speicher und mehrere Displays.
• Wi-Fi 7 und Bluetooth 6 über den Apple-N1-Chip: M5-Systeme enthalten den neuen N1-Funkchip mit Wi-Fi 7 und Bluetooth 6.0 für geringe Latenz — nützlich bei Remote-Inferenz-Clients oder Cloud-Modell-APIs.
• MLX reift schnell: Apples MLX-Framework unterstützt Llama 3.3, Qwen, Mistral und Gemma mit optimierten Kernels. Ollama bietet seit März 2026 ein MLX-Backend für Apple Silicon (Vorschau), zunächst auf ausgewählte Modelle beschränkt.
• Energieeffizienz ist real: Der M5 Max wird unter dauerhafter Inferenz auf grob 65–100 W geschätzt (eine Schätzung, kein Apple-Wert; Apple gibt für das Mac-Studio-Gehäuse bis zu 480 W maximale Dauerleistung an). Ein Monat Dauerbetrieb (720 Stunden) bei 100 W entspricht rund 72 kWh, also etwa 8–12 $ US-Strom. Eine RTX 4090 mit 350 W kostet im selben Monat etwa 40–60 $.
• Leiser Betrieb: Die Lüfter des Mac Studio werden bei typischen LLM-Lasten selten hörbar; MacStories konnte den Lüfter des M5-Ultra-Mac-Studio im Alltag nicht hören. Die Lüfter des MacBook Pro werden unter Dauerlast hörbar.

Apple Silicon M5 im Vergleich

Speicherbandbreite von M5, M5 Pro, M5 Max und M5 Ultra im Vergleich

• M5 Pro vs. M5 Max: Der M5 Max hat das 1,5-Fache (32-Kern-GPU, 460 GB/s) oder das 2-Fache (40-Kern-GPU, 614 GB/s) der Bandbreite des M5 Pro — entsprechend schneller ist die Generierung bei gleichem Modell.
• M5 Max vs. M5 Ultra: Der M5 Ultra verbindet zwei M5-Max-Chips und verdoppelt die 614 GB/s des M5 Max mit 40-Kern-GPU auf rund 1,2 TB/s — 50 % mehr als die 819 GB/s des M3 Ultra der Vorgängergeneration.
• Kapazität vs. Bandbreite: Mehr Speicher macht einen Chip nicht schneller. Ein M5 Max mit 40-Kern-GPU hat mit 64 GB wie mit 128 GB dieselben 614 GB/s; zusätzlicher Speicher erlaubt nur größere oder mehr Modelle.

Wie aus Bandbreite Tokens pro Sekunde werden

• So lesen Sie die Tabelle: Die Werte sind theoretische Obergrenzen in Tokens/s. Multiplizieren Sie mit 0,6–0,8 für einen realistischen Bereich — für Llama 3.3 70B Q4 auf einem M5 Max mit 614 GB/s sind das grob 9–12 Tokens/s.
• Unabhängige Gegenprobe: MacStories maß 48 Tokens/s bei der Generierung mit Qwen3.8 27B auf einem M5-Ultra-Mac-Studio (Prompt mit 6.091 Tokens), gegenüber 59 Tokens/s auf einer RTX 5090 (1,79 TB/s Bandbreite). Das tatsächliche Tempo folgte der Bandbreite, nicht der Kernzahl.
• Faustregel zur Dimensionierung: Modelldatei plus KV-Cache müssen in etwa zwei Drittel bis drei Viertel des Unified Memory passen — ein 70B-Q4-Modell (~42,5 GB) braucht also einen Mac mit 64 GB; Q5 und Q8 brauchen 128 GB.

Mac mini M5 Pro: neuer günstiger Einstieg für lokale LLMs

• CPU: 15-Kern- oder 18-Kern-M5-Pro
• GPU: 16-Kern- oder 20-Kern-M5-Pro-GPU
• Speicher: 24 GB Basis, konfigurierbar auf 48 oder 64 GB LPDDR5X Unified Memory
• Speicherbandbreite: 307 GB/s (identisch mit dem M5 Pro im MacBook Pro)
• Speicherplatz: 512 GB–2 TB SSD (konfigurierbar)
• Anschlüsse: Thunderbolt 5 (neu beim Mac mini)
• Konnektivität: Wi-Fi 7, Bluetooth 6
• Preis: 1.699 $ (15-Kern-CPU/16-Kern-GPU, 24 GB); 2.699 $ (18-Kern-CPU/20-Kern-GPU, 64 GB)
• Verfügbarkeit: lieferbar seit 22. September 2026

Mac Studio M5 Max 36 GB: Basiskonfiguration

• CPU: 18-Kern-M5-Max
• GPU: 32-Kern-M5-Max-GPU
• Speicher: 36 GB LPDDR5X Unified Memory in dieser GPU-Stufe
• Speicherbandbreite: 460 GB/s (identisch mit dem M5 Max mit 32-Kern-GPU im MacBook Pro)
• Speicherplatz: 512 GB–8 TB SSD (konfigurierbar)
• Anschlüsse: Thunderbolt 5
• Leistungsaufnahme: geschätzt 65–100 W unter Dauerinferenz; Lüfter drehen selten hoch
• Preis: 2.499 $
• Verfügbarkeit: lieferbar seit 22. September 2026

Mac Studio M5 Max 48–128 GB: bestes Preis-Leistungs-Verhältnis für lokale 70B-LLMs

• CPU: 18-Kern-M5-Max
• GPU: 40-Kern-M5-Max-GPU
• Speicher: 48 GB Basis, konfigurierbar auf 64 oder 128 GB LPDDR5X Unified Memory
• Speicherbandbreite: 614 GB/s (identisch mit dem M5 Max mit 40-Kern-GPU im MacBook Pro)
• Speicherplatz: 512 GB–8 TB SSD
• Anschlüsse: Thunderbolt 5
• Leistungsaufnahme: geschätzt 65–100 W unter Dauerinferenz; moderate Lüfteraktivität bei starker Multi-Modell-Nutzung
• Preis: 3.099 $ (48 GB); 3.499 $ (64 GB); 5.099 $ (128 GB)
• Verfügbarkeit: lieferbar seit 22. September 2026

Mac Studio M5 Ultra: neue Stufe für maximale Leistung

• CPU: 30-Kern-M5-Ultra (36-Kern konfigurierbar)
• GPU: 64 Kerne in der Basis, 80 Kerne konfigurierbar
• Speicher: 96 GB Basis, konfigurierbar auf 256 GB jetzt, 512 GB ab Ende Oktober 2026
• Speicherbandbreite: bis zu 1,2 TB/s (1.228,8 GB/s; 50 % mehr als die 819 GB/s des M3 Ultra)
• Speicherplatz: 1–16 TB SSD
• Anschlüsse: Thunderbolt 5
• Preis: 5.499 $ (Basis mit 96 GB: 30-Kern-CPU/64-Kern-GPU); 512 GB deutlich über 10.000 $ erwartet
• Verfügbarkeit: lieferbar seit 22. September 2026 (96–256 GB); Ende Oktober 2026 (512 GB)

MacBook Pro 16" M5 Max: mobile lokale LLMs

• CPU: 18-Kern-M5-Max (6 Super- + 12 Performance-Kerne)
• GPU: 32-Kern- oder 40-Kern-M5-Max-GPU
• Speicher: 64 GB oder 128 GB Unified Memory
• Display: 16,2 Zoll Liquid Retina XDR, 3456×2234
• Speicherbandbreite: 460 GB/s (64 GB, 32-Kern-GPU) oder 614 GB/s (128 GB, 40-Kern-GPU)
• Speicherplatz: 512 GB–8 TB SSD
• Akku: in Stunden Videowiedergabe angegeben; Dauerinferenz entlädt ihn deutlich schneller
• Gewicht: 2,14 kg
• Anschlüsse: 3× Thunderbolt 5, HDMI 2.1, SD-Kartenleser, Kopfhöreranschluss
• Preis: 3.499 $ (64 GB, 32-Kern-GPU) bis 4.499 $ (128 GB, 40-Kern-GPU)

🏆 Unsere Empfehlungen: Welcher Mac für lokale LLMs?

• 🏆 💰 GÜNSTIGSTER M5 PRO: Mac mini M5 Pro (1.699 $, lieferbar) • Warum: erster Mac mini mit M5 Pro. Unterbietet jede bisherige Möglichkeit, einen M5 Pro zu bekommen, auch das MacBook Pro. 24 GB Basis reichen für 7B–14B; mit 64 GB konfiguriert für 30B. • Für wen: preisbewusste Einsteiger in Apple Silicon. • Im Apple Store kaufen →
• 🥇 BESTER WERT FÜR 70B: Mac Studio M5 Max 64 GB (3.499 $, lieferbar) • Warum: führt Llama 3.3 70B Q4 mit geschätzt 9–12 Tokens/s bei den vollen 614 GB/s aus. Die Desktop-Kühlung verhindert thermisches Drosseln. • Für wen: Entwickler, die einen 70B-Workflow ohne Mobilitätsbedarf standardisieren. • Im Apple Store kaufen →
• 🔥 MAXIMALE LEISTUNG: Mac Studio M5 Ultra 96 GB (5.499 $, lieferbar) • Warum: Spitzenstufe. Bis zu 1,2 TB/s Bandbreite — doppelt so viel wie der M5 Max. Die 512-GB-Konfiguration folgt Ende Oktober 2026 für die größten lokalen Modelle. • Status: erste unabhängige Messungen liegen vor (MacStories: 48 Tokens/s mit Qwen3.8 27B vs. 59 auf einer RTX 5090). • Im Apple Store kaufen →
• 💼 BESTE MOBILE OPTION: MacBook Pro 16" M5 Max (3.499 $ für 64 GB, 460 GB/s; 4.499 $ für 128 GB, 614 GB/s) • Warum: dasselbe M5-Max-Silizium wie im Mac Studio im Notebook mit Liquid-Retina-XDR-Display. Rechnen Sie mit 10–15 % weniger Dauertempo durch thermisches Drosseln. • Alternative: Der Mac Studio M5 Max mit 64 GB (3.499 $) kostet dasselbe, bietet 614 GB/s und bessere Dauerkühlung, wenn Sie keine Mobilität brauchen. • Im Apple Store kaufen →

Leistung lokaler LLMs: bandbreitenbasierte Schätzungen und unabhängige M5-Ultra-Ergebnisse

• ## Llama 3.1 8B (Q4_K_M, ~4,9 GB) • M5 Pro (307 GB/s): 38–50 Tokens/s • M5 Max (460 GB/s): 56–75 Tokens/s • M5 Max (614 GB/s): 75–100 Tokens/s • Referenz (RTX 4090): 90–120 Tokens/s
• ## Mistral Small 24B (Q4_K_M, ~14 GB) • M5 Pro (307 GB/s): 13–17 Tokens/s • M5 Max (460 GB/s): 19–26 Tokens/s • M5 Max (614 GB/s): 26–34 Tokens/s
• ## Qwen3 32B (Q4_K_M, ~20 GB) • M5 Pro (307 GB/s): 9–12 Tokens/s • M5 Max (460 GB/s): 14–19 Tokens/s • M5 Max (614 GB/s): 19–25 Tokens/s
• ## Llama 3.3 70B (Q4_K_M, ~42,5 GB) • M5 Pro 64 GB (307 GB/s): 4–6 Tokens/s • M5 Max (460 GB/s): 6–9 Tokens/s • M5 Max (614 GB/s): 9–12 Tokens/s • M5 Ultra: Obergrenze etwa 29 Tokens/s (noch keine unabhängige 70B-Messung) • Referenz (RTX 4090): 6–10 Tokens/s mit teilweisem CPU-Offload
• ## Llama 3.3 70B (Q5_K_M, ~50 GB) • M5 Pro 64 GB: zu wenig Reserve • M5 Max 128 GB (614 GB/s): 7–10 Tokens/s • Referenz (RTX 4090): nicht möglich (VRAM-Limit)
• ## Llama 3.3 70B (Q8_0, ~75 GB) • M5 Max 128 GB (614 GB/s): 5–7 Tokens/s • RTX 4090: nicht möglich (erfordert Multi-GPU-Offload)
• ## Unabhängige M5-Ultra-Ergebnisse (MacStories, Gerät mit 256 GB, oMLX) • Qwen3.8 27B, Prompt mit 6.091 Tokens: M5 Ultra 48 Tokens/s Generierung, 1.701 Tokens/s Prompt-Verarbeitung, 4,0 s bis zum ersten Token — RTX 5090: 59 Tokens/s, 3.031 Tokens/s, 2,0 s • Qwen3.8 27B bei langem Kontext (Generierung): 38,9 Tokens/s bei 64K, 32,4 bei 128K, 24,3 bei 256K — RTX 5090: 49,6, 40,4, 30,0 • Flash-Next, kurzer Prompt: 108 Tokens/s auf dem M5 Ultra vs. 70 auf einem M3 Ultra (+54 %)
• ## Methodik Die Bereiche für M5 Pro und M5 Max sind als 60–80 % von Bandbreite ÷ Modelldateigröße abgeleitet und mit Community-Ergebnissen wie dem MLX-vs.-GGUF-Test verglichen, der auf unserer Benchmark-Seite M5 Pro vs. M5 Max zitiert wird. Die M5-Ultra-Werte sind eigene Messungen von MacStories mit oMLX 0.7.0.dev2 unter macOS 27.0; die Modellnamen stammen von dort. Behandeln Sie jeden Tokens/s-Wert für den M5 Ultra bei hier nicht aufgeführten Modellen als unbestätigt.

Apple Silicon M5 vs. PC-Workstation für lokale LLMs

• ## Mac Studio M5 Max/Ultra gewinnt bei: • Unified Memory: bis 128 GB (M5 Max) oder 512 GB (M5 Ultra) für jedes Modell, kein VRAM-Limit • Energieeffizienz: grob 100 W vs. 600 W+ bei einem vergleichbaren PC • Leiser Betrieb: Lüfter bei typischen Lasten selten hörbar • macOS-Ökosystem: MLX, Metal, Core ML • Gesamtkosten: geringere Stromkosten über 3 Jahre • Modelle über 32 GB: Eine RTX 5090 endet bei 32 GB VRAM
• ## PC-Workstation (RTX 4090/5090) gewinnt bei: • Rohtempo bei Modellen, die in den VRAM passen: MacStories maß eine RTX 5090 mit 59 Tokens/s gegenüber 48 auf dem M5 Ultra bei Qwen3.8 27B und etwa 1,8-fach schnellere Prompt-Verarbeitung (3.031 vs. 1.701 Tokens/s) • Breite des CUDA-Ökosystems: mehr Modelle, Tools, Forschungscode • Fine-Tuning: PyTorch + CUDA dominiert gegenüber MLX • Upgrade-Flexibilität: GPUs tauschen, mehr VRAM ergänzen • Preis in niedrigeren Stufen: Eine günstige RTX 4070 Ti (800–1.200 $) schlägt den M5 Pro bei kleinen Modellen • KI jenseits von LLMs: Stable Diffusion, Training und Multimodal laufen auf NVIDIA in der Regel schneller
• ## Das ehrliche Fazit Bei reiner lokaler LLM-Inferenz mit 30B–70B-Modellen konkurriert der Mac Studio M5 Max mit 128 GB (5.099 $) direkt mit PC-Builds ab 4.500 $, und der Mac Studio M5 Ultra hebt die Obergrenze auf Modelle, die 256 GB oder 512 GB brauchen. Der Unified-Memory-Vorteil ist real und messbar. Bei Modellen, die in 24–32 GB VRAM passen, ist ein PC mit RTX 4090 oder 5090 schneller als jeder Mac. Der Vorteil von Apple schrumpft bei kleineren Modellen. Für Fine-Tuning, Training, Stable Diffusion in großem Maßstab oder produktives PyTorch gewinnt PC + NVIDIA. MLX wird besser, aber Lücken bleiben.

MLX vs. Ollama vs. llama.cpp auf Apple Silicon

• ## MLX (Apple-nativ) • Leistung: in der Regel die höchsten Tokens/s auf dem M5; native Metal-Optimierung und Unterstützung der Neural Accelerators. • Modellunterstützung: wächst (Llama, Qwen, Mistral, Gemma verfügbar) • Einrichtung: Python-zentriert, Kommandozeilen-Kenntnisse nötig • Ideal für: Power-User, die maximale Leistung wollen • Nachteil: weniger benutzerfreundlich als Ollama
• ## Ollama (plattformübergreifend) • Leistung: GGUF-Modelle laufen über das Metal-Backend von llama.cpp; ein MLX-Backend (Vorschau seit Ollama 0.19, März 2026) beschleunigt ausgewählte Modelle, besonders auf M5-Chips • Modellunterstützung: größte Modellbibliothek. Wöchentlich neue Modelle. • Einrichtung: Installation mit einem Befehl, funktioniert sofort • Ideal für: Einsteiger und die meisten Entwickler. REST-API zur Integration. • Nachteil: kann langsamer sein als natives MLX, wo es einen MLX-Build des Modells gibt (der Abstand variiert je nach Modell und Version)
• ## llama.cpp (plattformübergreifend, feinste Kontrolle) • Leistung: bei Optimierung konkurrenzfähig zu Ollama (Ollama nutzt es für GGUF-Modelle) • Anpassung: größte Kontrolle über Quantisierung und Inferenzparameter • Einrichtung: erfordert Kompilierung und Kommandozeilen-Expertise • Ideal für: Forschende, eigene Quantisierungs-Workflows • Nachteil: steilere Lernkurve als Ollama
• ## Empfehlung nach Nutzertyp • Einsteiger: Ollama (funktioniert sofort, umfangreiche Dokumentation) • Entwickler: Ollama-REST-API (leicht in Anwendungen zu integrieren) • Power-User: MLX direkt (maximale Leistung) • Forschende: llama.cpp (maximale Anpassbarkeit)

macOS-Schnellstart (10 Schritte)

1. 1
   Mac kaufen
   Why it matters: Mac mini M5 Pro für Budget/Einstieg, Mac Studio M5 Max oder M5 Ultra für Desktop-Leistung oder MacBook Pro 16" M5 Max für Mobilität.
2. 2
   macOS einrichten
   Why it matters: Nutzen Sie den Migrationsassistenten (Übertragung vom alten Mac) oder eine Neuinstallation. Halten Sie macOS aktuell — Apple liefert Metal-Leistungsverbesserungen in Punkt-Updates.
3. 3
   Homebrew installieren
   Why it matters: /bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)" — Paketmanager für alles Weitere.
4. 4
   Ollama installieren
   Why it matters: brew install ollama — einfache Installation mit einem Befehl.
5. 5
   Ollama-Dienst starten
   Why it matters: ollama serve (läuft im Vordergrund) oder Ollama.app aus dem Programme-Ordner verwenden.
6. 6
   Erstes Testmodell laden
   Why it matters: ollama pull llama3.1:8b — Installation mit einem kleinen Modell prüfen (Download ca. 4 GB).
7. 7
   Einfache Inferenz testen
   Why it matters: ollama run llama3.1:8b "Explain local LLMs in one sentence" --verbose — die Zeile „eval rate“ zeigt Ihre Tokens/s.
8. 8
   Großes Zielmodell laden
   Why it matters: ollama pull llama3.1:70b-instruct-q4_K_M (Download ca. 40 GB). Das dauert bei schneller Verbindung 20–40 Minuten und erfordert einen Mac mit mindestens 64 GB.
9. 9
   Leistung überwachen
   Why it matters: asitop zeigt die Ressourcennutzung von Apple Silicon. In einem zweiten Terminal: brew install asitop && asitop.
10. 10
    Optional: LM Studio als GUI installieren
    Why it matters: Download von lmstudio.ai. Einfacher als die Kommandozeile für Nicht-Entwickler; enthält eine MLX-Engine für Apple Silicon.

Ollama auf Apple Silicon M5 beschleunigen

• Passen Sie zuerst das Modell an Ihre Bandbreite an. Die Tokens/s sind nahe bei Bandbreite ÷ Modelldateigröße gedeckelt (siehe Bandbreiten-Abschnitt oben). Ein 70B-Modell mit 42 GB auf einem M5 Pro mit 307 GB/s kommt trotz jedes Tunings nicht über etwa 7 Tokens/s; ein 32B-Modell mit 20 GB erreicht etwa 15. Der Wechsel zu einem kleineren Modell oder einer kleineren Quantisierung bringt den größten Tempogewinn.
• Prüfen Sie, dass das Modell vollständig auf die GPU ausgelagert ist und nicht auf die CPU zurückfällt. Führen Sie `ollama ps` bei geladenem Modell aus — die Spalte PROCESSOR sollte 100% GPU zeigen. Eine teilweise CPU-Aufteilung bedeutet meist, dass das Modell nicht in den Speicher passt, den macOS der GPU erlaubt, nicht dass eine Einstellung fehlt.
• Schaffen Sie vor langen Sitzungen Unified Memory frei. Der Speicher wird zwischen macOS und Modell geteilt — ein Browser mit vielen Tabs, Docker Desktop oder Xcode im Hintergrund kann Ollama mehrere GB wegnehmen. Beenden Sie sie vor dem Laden eines großen Modells und prüfen Sie den freien Speicher mit der Aktivitätsanzeige oder `asitop`. Bei großen Modellen lässt sich das GPU-Speicherlimit mit `sudo sysctl iogpu.wired_limit_mb=<MB>` anheben (wird beim Neustart zurückgesetzt).
• Verkleinern Sie das Kontextfenster, wenn Sie es nicht brauchen. Setzen Sie in der Modelfile oder API-Anfrage ein kleineres `num_ctx` (z. B. 4096 statt 32K) für kurze Chats — das senkt den KV-Cache-Speicherdruck und beschleunigt die Generierung.
• Aktivieren Sie Flash Attention und einen quantisierten KV-Cache. `OLLAMA_FLASH_ATTENTION=1` und `OLLAMA_KV_CACHE_TYPE=q8_0` verringern den KV-Cache-Speicher und beschleunigen lange Kontexte bei geringem Qualitätsverlust.
• Passen Sie die Quantisierung an Ihre tatsächlichen Qualitätsanforderungen an. Q4_K_M ist spürbar schneller als Q8_0 oder Q5_K_M bei geringem, meist akzeptablem Qualitätsverlust (siehe Quantisierungs-Ratgeber). Läuft ein Modell langsamer als in den Benchmarks oben, laden Sie die Q4-Variante, bevor Sie die Hardware verdächtigen.
• Halten Sie das MacBook Pro am Netz und erhöht für anhaltende Inferenz. Das MacBook Pro kann nach 2–3 Stunden Dauerlast um 10–15 % drosseln, weil sich im flacheren Gehäuse Wärme aufstaut. Ein Notebook-Ständer für bessere Luftzirkulation und Netzbetrieb verzögern das Drosseln. Bei Sitzungen über einige Stunden hält die Kühlung des Mac Studio die volle Leistung.
• Aktualisieren Sie macOS und Ollama. Apple liefert Metal-Leistungsverbesserungen in Punkt-Updates, und Ollama veröffentlicht regelmäßig schnellere Backends — auch MLX-Unterstützung für mehr Modelle. Eine alte Version auf neuem M5-Silizium verschenkt Leistung.
• Vermeiden Sie mehrere gleichzeitig geladene Modelle, wenn Sie sie nicht brauchen. Jedes geladene Modell reserviert einen eigenen Anteil des Unified Memory. `OLLAMA_MAX_LOADED_MODELS` steuert, wie viele Modelle Ollama gleichzeitig im Speicher hält.

# Check whether a model is fully offloaded to GPU (PROCESSOR column)
ollama ps

# Measure real speed: the "eval rate" line is generation tokens/sec
ollama run llama3.1:8b --verbose

# Faster long-context inference: flash attention + 8-bit KV cache
OLLAMA_FLASH_ATTENTION=1 OLLAMA_KV_CACHE_TYPE=q8_0 ollama serve

# Or limit Ollama to one resident model at a time
OLLAMA_MAX_LOADED_MODELS=1 ollama serve

# Smaller context window in a Modelfile: PARAMETER num_ctx 4096

Entscheidungsmatrix: Welche Mac-Konfiguration kaufen?

• 1. Budget hat Vorrang, kleinere Modelle (7–14B) genügen: Mac mini M5 Pro 24 GB (1.699 $) — günstigster M5 Pro aller Zeiten
• 2. 30B-Modelle auf einem günstigen Desktop: Mac mini M5 Pro 64 GB (2.699 $)
• 3. 70B-Modelle komfortabel ausführen: Mac Studio M5 Max 64 GB (3.499 $)
• 4. 70B Q5 mit Kontextfenstern ab 32K: Mac Studio M5 Max 128 GB (5.099 $)
• 5. 256–512 GB für die größten lokalen Modelle: Mac Studio M5 Ultra (5.499–10.000+ $)
• 6. Mobile lokale LLMs, thermisches Drosseln akzeptabel: MacBook Pro 16" M5 Max 64 GB (3.499 $)
• 7. Bereits im macOS-Ökosystem (Xcode, Final Cut Pro): jede M5-Mac-Studio-Variante
• 8. Forschung/Fine-Tuning mit MLX-Experimenten: Mac Studio M5 Max 128 GB oder M5 Ultra (Speicherreserve)
• 9. Maximale Ruhe und Leerlauf-Betrieb: Mac Studio (Lüfter drehen bei normaler Last selten)
• 10. Budget ab 4.000 $, mobil gewünscht: MacBook Pro 16" M5 Max 128 GB (4.499 $)
• 11. Alternativen im Blick: PC mit RTX 4090 (ab 3.000 $) oder AMD-Ryzen-AI-Max+-Mini-PC (1.600–2.000 $)

Wann Apple Silicon M5 für lokale LLMs die falsche Wahl ist

• Sie brauchen CUDA-exklusive Workflows: Die meiste LLM-Inferenz läuft auf Apple Silicon, aber Fine-Tuning mit torch.cuda, vLLM-CUDA-Kernels und proprietärer CUDA-Forschungscode laufen nicht auf MLX. Ist der Großteil Ihrer Arbeit CUDA-spezifisch, nehmen Sie eine RTX-GPU.
• Sie arbeiten viel mit Stable Diffusion: Diffusionsmodelle laufen auf dem M5 in der Regel langsamer als auf einer RTX 4090. Macht Bildgenerierung 30 % oder mehr Ihres Workflows aus, gewinnt PC + RTX.
• Das Budget ist absolute Priorität: Ein PC für 1.500 $ mit RTX 4070 Ti schlägt den Mac mini M5 Pro beim Tempo kleiner Modelle. Zählt nur das Budget, ist der PC günstiger.
• Sie brauchen Aufrüstbarkeit: RAM und Speicher des Mac Studio sind beim Kauf fest. PCs erlauben schrittweise Upgrades. Bei 5+ Jahren Nutzung kann der PC langfristig günstiger sein.
• Sie verlangen dreistellige Tokens/s bei kleinen Modellen: Die RTX 4090 erreicht 90–120 Tokens/s mit Llama 8B. Für den M5 Max sind 75–100 geschätzt. Bei hohem Durchsatz (mehrere Nutzer) gewinnt NVIDIA weiterhin.
• Sie nutzen macOS bisher nicht: Der Wechsel von Windows/Linux allein für lokale LLMs lohnt sich nicht, es sei denn, Sie wollen macOS auch aus anderen Gründen.
• Sie brauchen 24/7-Produktionsinferenz: Der Mac Studio ist ausgezeichnet, aber für Lastspitzen gedacht. Für kontinuierliche Inferenz mit SLA sind NVIDIA-Workstations in Unternehmensqualität die sicherere Wahl.

Häufig gestellte Fragen

Weiterführende Ratgeber

• M5 Pro vs. M5 Max: LLM-Benchmarks
• Mac mini M5 als lokaler KI-Server
• 70B-Modelle auf Apple Silicon M5 Max ausführen
• GPU vs. CPU vs. Apple Silicon
• Beste Mini-PCs für lokale LLMs
• Hardware-Ratgeber für lokale LLMs 2026
• AMD-Ryzen-AI-Max+-Mini-PCs
• Beste GPUs für lokale LLMs
• LLM-Quantisierung erklärt
• Stromverbrauch lokaler LLMs
• Beste lokale LLMs 2026
• Lokale LLMs auf dem Laptop