ローカル推論エンジン・ランタイム・ゲートウェイ比較(2026):モデルの実行とサーブ

比較の方法

比較表

推論エンジン:違いはどこにあるか

• OpenAI互換API。 candle-vllm、NVIDIA Dynamo、exo、KoboldCpp、KServe、llama.cpp、LocalAI、LoRAX、Lucebox、MLC LLM、mlx-serve、mlxcel、OlliteRT、oMLX、OpenLLM、Rapid-MLX、Shimmy、SwiftLM、text-generation-webui、vllm-mlx、vLLMは、OpenAI互換のHTTP APIを文書化しています。そのため、OpenAI API向けに書かれたアプリをこれらに向けることができます。
• NVIDIA GPU。 candle-vllm、ExLlamaV2、KoboldCpp、llama.cpp、LMDeploy、LocalAI、LoRAX、Lucebox、MLC LLM、mlxcel、SGLang、Shimmy、TensorRT-LLM、text-generation-webui、vLLMは、NVIDIA GPU(CUDA)対応を文書化しています。
• Apple Silicon。 candle-vllm、claude-code-local、exo、KoboldCpp、llama.cpp、LocalAI、MLC LLM、MLX-LM、mlx-serve、mlxcel、oMLX、Rapid-MLX、Shimmy、SwiftLM、text-generation-webui、TurboFieldfare、vllm-mlxは、Apple Silicon、MetalまたはMLXへの対応を文書化しています。
• AMD GPU。 KoboldCpp、llama.cpp、LocalAI、Lucebox、MLC LLM、SGLang、Shimmy、text-generation-webui、vLLMは、AMD GPU対応を文書化しています。
• CPU推論。 exo、KoboldCpp、llama.cpp、LocalAI、OlliteRT、SGLang、text-generation-webui、vLLMは、CPUでの推論の実行を文書化しています。
• マルチGPUとマルチノード。 candle-vllm、NVIDIA Dynamo、ExLlamaV2、exo、KServe、LMDeploy、LocalAI、LoRAX、Lucebox、MLX-LM、mlxcel、oMLX、SGLang、vLLMは、マルチGPU、テンソル並列、またはマルチノードでの推論を文書化しています。
• ライセンス。 ここに挙げたエンジンの多くはApache-2.0(19ツール)またはMIT(9ツール)で、KoboldCppとtext-generation-webuiはAGPL-3.0です。コピーレフトライセンスは、改変版の配布に条件を課します。詳しくはAI Tool Licenses Explainedを参照してください。

ランタイムとマネージャー:違いはどこにあるか

• OpenAI互換API。 Docker Model Runner、Foundry Local、GPUStack、Jan、Lemonade、Osaurusは、OpenAI互換APIを文書化しています。
• デスクトップアプリ。 GPT4All、Jan、LM Studio、Osaurus、Ypipeは、インストール可能なデスクトップアプリを文書化しています。
• 内蔵モデルライブラリ。 Foundry Local、GPUStack、Jan、Lemonade、LM Studio、Ollamaは、モデルを探してダウンロードする内蔵の仕組みを文書化しています。
• ヘッドレス・サーバーモード。 DreamServer、GPUStack、Lemonade、Osaurusは、GUIなしでバックグラウンドサービスまたはサーバーとして動作することを文書化しています。
• ライセンスと価格。 ここに挙げたランタイムのうち、4つはApache-2.0、4つはMITです。LM StudioとDocker Model Runnerはプロプライエタリです(LM Studioは無料で利用でき、Docker Model RunnerはDocker Desktopに同梱されています)。Mstyはクローズドソースで無料プランがあり、RunAnywhereとYPipeは独自またはドキュメント化されていない条件を採用しています。各レビューで確認してください。

ルーターとゲートウェイ:違いはどこにあるか

• OpenAI互換エンドポイント。 AIClient2API、litellmは、OpenAI互換エンドポイントを文書化しています。
• ローカルモデルへのルーティング。 litellmは、対応プロバイダーの中にローカルまたはセルフホストのモデル(Ollamaなど)があることを文書化しています。
• フォールバックとロードバランシング。 AIClient2API、ClawRouter、litellmは、モデルまたはプロバイダー間のフォールバック、リトライ、ロードバランシングを文書化しています。
• ライセンス。 4つのうち2つはMIT、1つはGPL-3.0、1つはApache-2.0です。

この比較でわからないこと

• この比較は文書化された機能を比べるものであり、性能ではありません。1秒あたりのトークン数、メモリ使用量、レイテンシについては何も示していません。PromptQuorumはこれらのツールでそれらを測定しておらず、結果はハードウェアとモデルに大きく左右されます。
• ダッシュは、確認したドキュメントに記載がないという意味であり、否定的な結果ではありません。READMEに書かれていなくても、その機能に対応しているツールがある可能性があります。READMEが短く記載の少ない、広く使われている一部のツール(たとえばOllamaのエンジン機能)で特に目立ちます。
• ハードウェア対応はドキュメントに記載された内容であり、そのハードウェアで良い使用感が得られることの保証ではありません。実際の要件はツールのレビューで確認してください。
• ツールは急速に変化します。各ツールのレビューには確認したバージョンが記載されており、本ガイドはレビューが更新されるときに更新されます。

よくある質問

出典

• 各ツールの公式READMEまたはウェブサイト。そのツールのPromptQuorumレビューに記載しています(比較表からリンク)。
• PromptQuorumのローカルAIアプリディレクトリ — 表の各行の生成元となるレコードです。
• AI Tool Licenses Explained — 上で挙げたライセンスの種類の意味を解説しています。

関連記事

• ローカルソフトウェアディレクトリ — 224件のローカルAIアプリを一覧し、カテゴリで絞り込めます。
• ローカル音声・スピーチツール比較 — 音声合成、音声認識、音声エージェントについての同様の比較です。
• ローカル画像・動画・ビジョンツール比較 — 画像生成とビジョンモデルについての同様の比較です。