Apple Silicon 2026で70B以上のモデルを動かす：M5 Max完全ガイド

# ステップ1：ユニファイドメモリを確認（128 GBと表示される必要があります）
system_profiler SPHardwareDataType | grep Memory
# → Memory: 128 GB

# ステップ2：Ollamaをインストール
brew install ollama
brew services start ollama

# ステップ3：70B用に設定（モデルを常駐させ、毎回の60秒ウォームアップを回避）
echo 'export OLLAMA_KEEP_ALIVE=1h' >> ~/.zshrc
echo 'export OLLAMA_NUM_PARALLEL=1' >> ~/.zshrc
source ~/.zshrc
brew services restart ollama

# 推奨：Q5_K_M — 最高の品質/速度バランス（49GBダウンロード）
ollama pull llama3.1:70b-instruct-q5_K_M

# 代替：Q4 — 最大速度、42GBダウンロード
ollama pull llama3.1:70b-instruct-q4_K_M

# 代替：Q8 — ロスレス品質、74GBダウンロード
ollama pull llama3.1:70b-instruct-q8_0

# ステップ4：最初の実行（モデル読み込みに30〜60秒待機）
ollama run llama3.1:70b-instruct-q5_K_M "ローカルAIについて200字で述べてください"

# ステップ5：Metal GPU高速化を確認
ollama run llama3.1:70b-instruct-q5_K_M --verbose
# 期待される出力：ggml_metal_init: found device: Apple M5 Max

# ステップ6：アプリケーション向けAPIアクセス
curl http://localhost:11434/api/chat -d '{
  "model": "llama3.1:70b-instruct-q5_K_M",
  "messages": [{"role": "user", "content": "量子コンピューティングを説明してください"}]
}'

def detect_recursion(func):
    count = 0
    try:
        func()
    except RecursionError:
        count += 1
    return count > 0

import sys
import functools

def detect_recursion(threshold=900):
    def decorator(func):
        depth = 0
        @functools.wraps(func)
        def wrapper(*args, **kwargs):
            nonlocal depth
            depth += 1
            try:
                if depth > threshold:
                    raise RecursionError(
                        f"Detected potential infinite recursion at depth {depth}"
                    )
                return func(*args, **kwargs)
            finally:
                depth -= 1
        return wrapper
    return decorator

ollama pull qwen2.5:72b-instruct-q5_K_M
ollama pull deepseek-coder:67b-q5_K_M
ollama pull mixtral:8x22b

from mlx_lm import load, generate

# 70B Q5モデルを読み込む（Hugging FaceのMLX変換版）
model, tokenizer = load("mlx-community/Llama-3.1-70B-Instruct-Q5")

# ストリーミング生成 — ユーザーは1〜2秒で最初の単語を見られる
from mlx_lm import stream_generate
for chunk in stream_generate(model, tokenizer, "量子コンピューティングを説明してください", max_tokens=500):
    print(chunk, end="", flush=True)