クイック回答
Apple Siliconでは、MLXを使用してください — M5 ProでOllamaの~35 tok/sに対して~65 tok/sを実現します（8Bモデル使用時）。NVIDIA GPUでは、シンプルさを求めるならOllamaを、最大限の制御を求めるならllama.cppを使用してください。OllamaはllaMa.cppを内部で使用し、その上にAPIレイヤーを追加しています。
更新: 2026-05
重要なポイント
Apple Siliconがあり、最速の推論を求めるならMLXを選んでください。 mlx-lmはPythonパッケージ（pip install mlx-lmでインストール）で、AppleのUnified Memoryを使用するため、同じハードウェア上でOllamaのllaMa.cpp+Metalパスを上回ります。トレードオフ：MLXはApple Siliconでのみ動作し、永続的なAPIサービスではなくPythonスクリプトを実行します。
ハードウェアを問わず、ワンコマンドのセットアップと安定したOpenAI互換APIが必要ならOllamaを選んでください。Mac、Windows、Linuxで動作します。Apple Silicon上ではMetal付きllaMa.cppを使用 — 高速ですが、ネイティブMLXほど最適化されていません。
最大限の制御が必要ならllaMa.cppを直接選んでください：カスタム量子化、特定のサンプリングパラメータ、またはC/C++アプリケーションへの推論の組み込み。セットアップコストは高く（ソースからコンパイル）なりますが、Ollamaに実装される前のすべての機能を入手できます。
| エンジン | 最適用途 | 速度（M5 Pro、8B） | セットアップ難易度 |
|---|---|---|---|
| MLX | Apple Siliconネイティブ | ~65 tok/s | 中程度（Python） |
| Ollama | あらゆるプラットフォーム、簡単なAPI | ~35 tok/s | 簡単（ワンインストール） |
| llama.cpp | 最大限の制御、あらゆるHW | ~40 tok/s | 難しい（コンパイル） |
Apple Silicon搭載のMacをお持ちの場合：MLXを使用してください。 pip install mlx-lmでインストールし、Hugging Face上のmlx-communityオーガニゼーションから任意のモデルを実行してください。日本ではMacのシェアが非常に高く、Apple Siliconを使う日本人開発者が多いため、MLXは特に関連性が高い選択肢です。mlx-communityにはアクティブな日本人コントリビューターも参加しており、日本語向けモデルの変換も積極的に行われています。OpenAI互換のAPIも必要な場合は、mlx_lm.server --model mlx-community/model-nameを実行してください。
NVIDIA GPUまたはその他のハードウェアをお持ちの場合：Ollamaを使用してください。 ワンコマンドでインストールでき、モデルが自動的にダウンロードされ、ポート11434でOpenAI互換のAPIを公開します。Ollamaのオーバーヘッドなしで高度な制御が必要な場合は、llaMa.cppを直接コンパイルして、内蔵のサーバーモードを使用してください。
