重要なポイント
- vllm-mlx（github.com/waybarrios/vllm-mlx）は無料・オープンソースの推論サーバーで、
pip install vllm-mlxでインストールする - 独立開発者Way Barrios氏によって開発——公式のvLLMプロジェクト（github.com/vllm-project/vllm）ではなく、vLLMチームとの提携もない
- Apache 2.0ライセンス。GitHubリポジトリのLICENSEファイルで確認済み
- 1つのサーバープロセスからOpenAI互換（
/v1/chat/completions、/v1/embeddings、/v1/rerank、/v1/responses）とAnthropic互換（/v1/messages）のエンドポイントを提供 - vLLMから適応されたサービング機能：continuous batching、paged KVキャッシュ、prefixキャッシュ、長文脈ワークロード向けのオプションのSSD階層キャッシュ
- テキスト・ビジョン（画像/動画）・音声（TTS/STT）・埋め込み/リランキングモデルをすべてApple Silicon上のネイティブMLXで処理
- Apple Silicon Mac（M1〜M5）が必須——Windows、Linux、Intel Macへの対応はない
- このレビュー時点でGitHubスターは1,580を超える
📍 一文で説明
vllm-mlxは、ネイティブMLXを通じてvLLM流のcontinuous batchingとpaged KVキャッシュをApple Silicon Macにもたらし、OpenAI互換・Anthropic互換の両API エンドポイントを公開する、無料・オープンソース（Apache 2.0）のPythonベース推論サーバーです。
💬 簡潔に説明
vllm-mlxを使えば、自分のMac上でAIモデルを動かし、OpenAIやAnthropicのクラウドAPIに話しかけるのと同じ方法でやり取りできます——既存のコードのアクセス先をlocalhostに変えるだけです。名前の「vLLM流」の部分が示す通り、複数のリクエストを効率よく同時処理するよう設計されていますが、Mac上で動くvLLMそのものではなく、あくまで別個の非公式プロジェクトです。
📌補足: このレビューは、vllm-mlxのGitHubリポジトリ、README、ドキュメントサイト、PyPIパッケージ掲載情報に基づいています。vllm-mlx自身が公表しているスループットベンチマークについては、独立検証済みの事実としては扱っていません——これらの数値はプロジェクト自身のREADMEに由来するもので、PromptQuorumがテストした結果ではなく、開発者側の報告値として扱うべきです。このレビューは、Local LLM Software Directory内のvllm-mlxのエントリーを補足する詳細版です。
vllm-mlxとは？
vllm-mlxは、OpenAIやAnthropicのクラウドサービスと同じAPI形式で、ローカルで動作するAIモデルを公開する、Apple Silicon Mac向けのコマンドライン推論サーバーです。 自身のGitHub READMEでは「1つのサーバーでcontinuous batching + OpenAI + Anthropic API」「ネイティブApple Silicon推論」を実現するツールだと説明されています。グラフィカルなデスクトップアプリケーションではなく、ターミナルから実行するPythonパッケージであり、実行後はローカルポートでAPIリクエストを待ち受けます。
- 製品タイプ：pip/uvパッケージとしてインストールするPythonベースのCLI推論サーバーであり、ダウンロード型のGUIアプリではない
- 開発者：独立開発者Way Barrios氏（GitHubハンドル
waybarrios）。このレビューでは、企業や資金調達ラウンド、商業組織が背後に存在する証拠は見つからなかった - リポジトリ：github.com/waybarrios/vllm-mlx。GitHub上に複数存在する同名リポジトリの中で最も古く、最もスターが多い——別のユーザー名の下にある同名リポジトリは、これを「ミラー元」の本体として説明している
- ライセンス：Apache 2.0。リポジトリのLICENSEファイルで確認済み
- 命名：「vllm-mlx」という名称は、このプロジェクトがvLLMのサービングAPI設計や用語（continuous batching、paged KVキャッシュ）に従いつつ、vLLM独自のCUDA/ROCmベースのエンジンではなくMLX上で動作することを示している——vLLMの元のコードベースは含まれていない
プロジェクトの歴史
vllm-mlxは比較的新しいプロジェクトです。 PyPIのパッケージページとGitHubリポジトリからは、長期にわたる多年度のバージョン履歴というより、活発で継続的な開発が行われている様子がうかがえます。READMEには、OpenAI・Anthropic API互換性、continuous batching、マルチモーダル対応、MCPツール呼び出しといった幅広い機能セットが、段階的なロールアウトとしてではなく現状の姿としてすでに記載されています。
- PyPI上で
vllm-mlxパッケージとして配布されており、pip index versions vllm-mlxやPyPIプロジェクトページから公開済みのバージョンタグを確認できる - 活発に保守されている：GitHubリポジトリでは継続的なコミットが確認でき、vllm-mlx.is-a.devにドキュメントサイトがある
- READMEはプロジェクト自身によって複数言語（英語、スペイン語、フランス語、中国語）に翻訳されている——このサイズのプロジェクトとしては珍しく、国際的に分散したユーザー基盤を示すシグナルである
- このレビュー時点で、推論モデル対応（Qwen3、DeepSeek-R1系の推論抽出）、投機的デコーディング、Mixture-of-Experts最適化がすでに機能セットに含まれている
vllm-mlxでできること
vllm-mlxの機能セットは、単一のMac上で複数の同時リクエストを効率的にサービングすることを中心に据えつつ、単なるテキスト生成以上のことをカバーしています。プロジェクト自身のREADMEとドキュメントサイトに基づき、各機能が実際に何をするかを以下にまとめます。
- デュアルAPI互換性 — OpenAIスタイル（
/v1/chat/completions、/v1/completions、/v1/embeddings、/v1/rerank、/v1/responses）とAnthropicスタイル（ストリーミング、ツール使用、システムプロンプトを備えた/v1/messages）の両エンドポイントを、稼働中の1つのサーバーから提供する - Continuous batching — 複数の同時リクエストを1件ずつではなくまとめて処理する。vLLMがGPUサービングで広めたのと同じ手法を、MLX/Metal向けに適応させたもの
- Pagedおよびprefix KVキャッシュ — trieベースのメモリ効率の良いキャッシュで、リクエスト間で繰り返されるプロンプト接頭辞を共有する。長文脈のエージェントワークロード向けに、キャッシュをディスクに退避させるオプションの
--ssd-cache-dirフラグを備える - マルチモーダル対応 — 1つのサーバーからテキスト・画像・動画・音声入力を受け付ける。ドキュメント化された互換ビジョンモデルファミリーには、Gemma、Qwen3-VL、Pixtral、Llamaのビジョン系バリアントが含まれる
- 組み込み音声機能 — READMEによれば複数の音声・言語に対応するテキスト読み上げ（TTS）と、Whisperファミリーのモデルによる音声認識（STT）を、同一のサーバープロセス内で実行する
- MCPツール呼び出し — Model Context Protocol対応で、複数のモデルファミリー向けパーサーを備える（READMEにはOpenAI、Anthropic、Gemini、Qwen、DeepSeek、Gemma系のツール呼び出しフォーマットが列挙されている）。加えて、Anthropic互換エンドポイントを通じた明示的なClaude Code互換性も備える
- 推論およびMoE機能 — Qwen3やDeepSeek-R1のようなモデル向けの推論トークン抽出に加え、対応モデルファミリー向けのMixture-of-Expertsルーティングオプションと投機的デコーディングを提供
- 可観測性とベンチマーク — オプションのPrometheus
/metricsエンドポイントと、スループット測定の実行・記録用に組み込まれたvllm-mlx bench-serveコマンド
使用例：vllm-mlxの3つの活用方法
以下は、上記のvllm-mlxのドキュメント化された機能をもとに構成された具体的なワークフローで、プロジェクト自身のREADMEに記載されたコマンドを使用しています。
vllm-mlxのインストール
vllm-mlxはpipまたはuv経由で無料でインストールでき、ソースコードはGitHub上にあります。 開発者向けのCLIツールであるため、OSごとのダウンロード型インストーラーは存在せず、インストールは常にPythonのパッケージツールを通じて行います。
ソース | リンク |
|---|---|
| 公式ドキュメント | vllm-mlx.is-a.dev |
| GitHubリポジトリ（ソースコード、Apache 2.0） | github.com/waybarrios/vllm-mlx |
| PyPIパッケージ | pypi.org/project/vllm-mlx |
| クイックインストール（uv） | uv tool install vllm-mlx |
| クイックインストール（pip） | pip install vllm-mlx |
vllm-mlxには、MLXフレームワークを備えたmacOSが動作するApple Silicon Mac（M1、M2、M3、M4、M5）が必要です——Intel Mac、Windows、Linuxでは動作しません。プロジェクトのREADMEによれば、音声機能には追加で`pip install vllm-mlx[audio]の実行と、英語以外のテキスト読み上げ用のbrew install espeak-ng`が必要です。
vllm-mlxの料金：vllm-mlxは本当に無料か？
はい——vllm-mlxに有料プランはありません。 アカウント登録やライセンスキー、利用上限のない、無料でApache 2.0ライセンスのPyPIパッケージとして配布されています。GitHubリポジトリに料金ページはなく、READMEやドキュメントのどの部分にも商用版やエンタープライズ版の記載はありません。
- vllm-mlx自体のインストールや実行に費用はかからない——
pip install vllm-mlxがすべての取引にあたる - Apache 2.0ライセンスは、ライセンスの標準条件（著作権表示とライセンス通知の保持）に従うことを条件に、商用利用・改変・再配布を許可する
- 実質的なコストは、実行に必要なApple Silicon Macのハードウェアと、Hugging Faceや
mlx-community組織から別途ダウンロードするモデル用のディスク容量のみである - このレビューでは、開発者がホストするクラウド版、ホスト型API、マネージド提供は見つからなかった——vllm-mlxは自分が管理するハードウェア上でのみ動作する
vllm-mlx vs. mlx-lm
vllm-mlxとmlx-lmはどちらもAppleのMLXフレームワーク経由でモデルを実行しますが、解決する課題は異なります。 mlx-lmは、MLXモデルを1リクエストずつ実行・ファインチューニングするための、Apple自身によるより低レイヤーのPythonライブラリおよびCLIです。一方vllm-mlxは、（自身のアーキテクチャ図によれば）mlx-lm、mlx-vlm、mlx-audioなどのライブラリの上に構築された、より高レイヤーのサーバーであり、vLLMで知られる同時リクエスト向けサービング機能を追加します。
メンテナー
- vllm-mlx:
- 独立開発者（Way Barrios氏）
- mlx-lm:
- AppleのMLXチーム
主なユースケース
- vllm-mlx:
- 同時リクエスト対応のAPIサーバー
- mlx-lm:
- 単一リクエストの生成・ファインチューニング用ライブラリ
同時バッチ処理
- vllm-mlx:
- Continuous batching、paged KVキャッシュ
- mlx-lm:
- 主眼ではない。通常は1リクエストずつ処理
APIの範囲
- vllm-mlx:
- OpenAI + Anthropic互換エンドポイント
- mlx-lm:
- Python APIとCLI。Anthropic形式の内蔵サーバーはない
関係性
- vllm-mlx:
- 内部でmlx-lm、mlx-vlm、mlx-audioを利用
- mlx-lm:
- 他のMLXツールが依拠する基盤的な依存関係
これは各プロジェクト自身のドキュメントに基づく事実に基づいた機能比較であり、PromptQuorumが実施したベンチマークではありません。両者は厳密な競合関係にあるわけではなく、vllm-mlxはmlx-lmを置き換えるのではなく、その上に構築されています。
vllm-mlxはどんな人向け？
vllm-mlxは、シングルユーザー向けのチャットアプリではなく、本番運用に近い同時サービングを求めるApple Silicon上の開発者に適しています。
vllm-mlx評価時によくある誤解
vllm-mlxをめぐる混乱の多くは、その名称に由来し、プロジェクト自身が意図していない前提を連想させてしまうことから生じています。
競合・代替ツール
vllm-mlxは、oMLX、Rapid-MLX、mlxcelと同じApple Silicon推論サーバーの領域に位置しています。 これらはいずれも、OpenAI互換またはそれに類するAPI形式でMLX経由でローカルモデルを実行する独立プロジェクトであり、主に言語（PythonかRustか）、機能の重点、キャッシュ戦略で異なります。
ツール | 主な特徴 | リンク |
|---|---|---|
| oMLX | SSDバックのプロンプトキャッシュを備えたApple Silicon推論サーバー | oMLXレビュー |
| Rapid-MLX | サービング速度に重点を置いたネイティブMLX推論サーバー | Rapid-MLXレビュー |
| mlxcel | LLM、VLM、埋め込み、音声向けのRustネイティブMLXランタイム | mlxcelレビュー |
| LoRAX | 1つのベースモデルから1つのGPU上で数千のLoRAアダプターをサービング | LoRAXレビュー |
このリストは、Apple Siliconおよびアダプターサービング推論エンジン分野で一般的に比較されるツールを反映したものであり、PromptQuorumによる独自ランキングではありません——選定前に各ツールの現在の機能セットを確認してください。
よくある質問
vllm-mlxとは何ですか？
vllm-mlx（github.com/waybarrios/vllm-mlx）は、ネイティブMLX経由でApple Silicon Mac上でAIモデルを実行し、OpenAI互換・Anthropic互換の両API エンドポイントを公開する、無料・オープンソース（Apache 2.0）の推論サーバーです。
vllm-mlxはvLLMと同じものですか？
いいえ。vllm-mlxは、vLLMのサービング概念（continuous batching、paged KVキャッシュ）をAppleのMLXフレームワーク向けに適応させた、独立した非公式プロジェクトです。公式のvLLMプロジェクトやチームとは提携しておらず、vLLMの元のコードベースも含まれていません。
vllm-mlxは無料ですか？
はい。pip install vllm-mlxで無料でインストールでき、Apache 2.0ライセンスで、有料プラン、アカウント、利用上限はありません。
vllm-mlxはどうやってインストールしますか？
プロジェクト自身のREADMEに従い、pip install vllm-mlxまたはuv tool install vllm-mlxを実行します。Apple Silicon Macが必要で、Windows、Linux、Intel Macには対応していません。
vllm-mlxはClaude Codeで使えますか？
はい。このプロジェクトは、Anthropic互換の/v1/messagesエンドポイントを公開しているため、ANTHROPIC_BASE_URLをローカルでサービングしているvllm-mlxエンドポイントに向けることで、明示的なClaude Codeサポートをドキュメント化しています。
vllm-mlxにはどのようなハードウェアが必要ですか？
Apple Silicon Mac（M1、M2、M3、M4、またはM5）です。MLX経由でMetalカーネルを使用しており、CPUのみでのフォールバックや、Apple製以外のGPUへの対応はありません。
vllm-mlxを開発したのは誰ですか？
独立開発者のWay Barrios氏（GitHubハンドルwaybarrios）です。このレビューでは、プロジェクトの背後に企業や資金調達ラウンドが存在する証拠は見つかりませんでした。
vllm-mlxはビジョンモデルや音声モデルに対応していますか、それともテキストのみですか？
プロジェクトのREADMEによれば、テキスト、ビジョン（画像/動画）、音声（テキスト読み上げと音声認識）モデルに加え、埋め込みとリランキングにも対応しており、すべて同一のプロセスからサービングされます。
Continuous batchingとは何ですか？
vLLMによって広まったサービング手法で、複数の同時リクエストを1件ずつではなくまとめて処理することで、サーバーが同時に複数のリクエストを処理する際のスループットを向上させます。vllm-mlxはこの概念をApple Silicon上のMLX向けに適応させています。
PromptQuorumはvllm-mlxのベンチマーク主張を独自に検証しましたか？
いいえ。このレビューは、PromptQuorumによる実地ベンチマークではなく、vllm-mlx自身のGitHubリポジトリ、README、ドキュメントサイトに基づいています。プロジェクトのREADMEに記載されているスループット数値は自己申告です。