在Apple Silicon上运行70B+模型2026：M5 Max完整指南

# 第1步：验证统一内存（必须显示128 GB）
system_profiler SPHardwareDataType | grep Memory
# → Memory: 128 GB

# 第2步：安装Ollama
brew install ollama
brew services start ollama

# 第3步：针对70B进行配置（保持模型加载，避免每次60秒预热）
echo 'export OLLAMA_KEEP_ALIVE=1h' >> ~/.zshrc
echo 'export OLLAMA_NUM_PARALLEL=1' >> ~/.zshrc
source ~/.zshrc
brew services restart ollama

# 推荐：Q5_K_M — 最佳质量/速度平衡（49 GB下载）
ollama pull llama3.1:70b-instruct-q5_K_M

# 备选：Q4 — 最快速度，42 GB下载
ollama pull llama3.1:70b-instruct-q4_K_M

# 备选：Q8 — 无损质量，74 GB下载
ollama pull llama3.1:70b-instruct-q8_0

# 第4步：首次运行（等待30-60秒模型加载）
ollama run llama3.1:70b-instruct-q5_K_M "写一篇200字的本地AI短文"

# 第5步：验证Metal GPU加速已启用
ollama run llama3.1:70b-instruct-q5_K_M --verbose
# 预期输出：ggml_metal_init: found device: Apple M5 Max

# 第6步：为应用程序提供API访问
curl http://localhost:11434/api/chat -d '{
  "model": "llama3.1:70b-instruct-q5_K_M",
  "messages": [{"role": "user", "content": "解释量子计算"}]
}'

def detect_recursion(func):
    count = 0
    try:
        func()
    except RecursionError:
        count += 1
    return count > 0

import sys
import functools

def detect_recursion(threshold=900):
    def decorator(func):
        depth = 0
        @functools.wraps(func)
        def wrapper(*args, **kwargs):
            nonlocal depth
            depth += 1
            try:
                if depth > threshold:
                    raise RecursionError(
                        f"Detected potential infinite recursion at depth {depth}"
                    )
                return func(*args, **kwargs)
            finally:
                depth -= 1
        return wrapper
    return decorator

ollama pull qwen2.5:72b-instruct-q5_K_M
ollama pull deepseek-coder:67b-q5_K_M
ollama pull mixtral:8x22b

from mlx_lm import load, generate

# 加载70B Q5模型（来自Hugging Face的MLX转换版本）
model, tokenizer = load("mlx-community/Llama-3.1-70B-Instruct-Q5")

# 流式生成 — 用户在1-2秒内看到第一个词
from mlx_lm import stream_generate
for chunk in stream_generate(model, tokenizer, "解释量子计算", max_tokens=500):
    print(chunk, end="", flush=True)