重要なポイント
- mlxcel（github.com/lablup/mlxcel）は、無料・オープンソースの推論CLIおよびサーバーで、Homebrewまたはソースビルドでインストール
- Backend.AI AIインフラプラットフォームを手がけるLablupが開発
- GitHubリポジトリのLICENSEファイルで確認済みのApache 2.0ライセンス
- 完全ネイティブ実行：RustとMLX C++バインディング、リクエストパスにPythonインタープリタなし、MLX SafeTensors重みの変換ステップなし
- OpenAI、Anthropic、Vertex AI互換のルートに加え、ドキュメント化されバージョン固定された
llama-server互換のルート・フラグ群を提供 - 主要ターゲットはApple Silicon（Metal）。Linux上のNVIDIA CUDAはセカンダリターゲット。Linux上のAMD ROCmは実験的でソースビルドのみ対応
- テキスト生成、視覚言語入力、埋め込み、リランキング、音声（文字起こしと音声合成）を1つのランタイムで処理
- このレビュー時点でGitHubスター467件超
📍 一文で説明
mlxcelは、無料・オープンソース（Apache 2.0）のRustネイティブ推論CLIおよびサーバーで、LLM、視覚言語モデル、埋め込み、リランカー、音声処理に対応し、LablupがApple SiliconとNVIDIA CUDA向けに開発、AMD ROCmの実験的サポートも備えています。
💬 簡潔に説明
mlxcelはPythonではなくRustで書かれたコマンドラインツールおよびサーバーで、ダウンロード済みのファイルからAIモデルを直接読み込み、MacやCUDA搭載のLinuxマシン上で実行します。別途Python環境を用意する必要も、モデル読み込み前の変換ステップも不要です。OpenAIやAnthropicのAPIと同じリクエスト形式を話すため、既存のクライアントコードをそのまま向けられます。
📌補足: このレビューはmlxcelのGitHubリポジトリ、README、および関連ドキュメントに基づいています。mlxcel自身が公開しているmlx-lmやmlx-vlmとの性能比較を独立検証済みの事実としては扱っていません — これらの数値はプロジェクト自身のベンチマーク手法によるもので、PromptQuorumが検証したものではなく、開発元発表の情報として扱うべきです。このレビューは、Local LLM Software Directory内のmlxcelの項目を深掘りする姉妹記事です。
mlxcelとは？
mlxcelは、リクエストパスにPythonインタープリタを挟まずにAIモデルをローカルで実行するための、コマンドラインツールとサーバーを兼ねたネイティブ推論ランタイムです。 公式GitHub READMEでは「Apple SiliconおよびNVIDIA CUDAシステム向けに高性能なLLM、VLM、埋め込み、リランキング、音声推論を提供する」ツールと説明されており、「ネイティブMLX C++バインディング」を通じて実行されます。
- 製品タイプ：Rustネイティブ製のCLI（
mlxcel）とサーバー（mlxcel-server）で、Homebrew経由のコンパイル済みバイナリとして配布されるか、ソースからビルド — Pythonパッケージでもグラフィカルなデスクトップアプリでもない - 開発元：Lablup Inc.。オープンソースのAIインフラ・MLOpsプラットフォームBackend.AIでも知られる企業
- リポジトリ：github.com/lablup/mlxcel、オリジナルプロジェクト — 他のGitHubユーザー名の下に同名のフォークが複数存在し、いずれもこのリポジトリを親として記載
- ライセンス：Apache 2.0、リポジトリのLICENSEファイルで確認済み
- 関連製品：Backend.AI Go。mlxcel自身のREADMEでは、
mlxcel-serverの上に載せられるローカルチャットとモデル管理用のオプションのグラフィカル補助インターフェースとして説明されている
プロジェクトの沿革
mlxcelのREADMEはCHANGELOG経由でバージョン履歴を記録しており、現在のmainブランチをv0.7.0プラス未リリースの作業と説明しています。 プロジェクトは自身のchangelogとREADMEによれば、タグ付きリリースを重ねながらプラットフォーム対応とサービング機能を拡張してきました。
- 1初期リリース（v0.0.28まで）— Apple Silicon優先の推論
Why it matters: プロジェクトのREADMEは、mlxcel 0.0.28で実施された以前のベンチマークキャンペーン（README本文では2026年5月と記載）に言及しており、早期のリリース済みバージョンから既にテキストデコードとプレフィルのベンチマークが機能していたことを示しています。 - 2v0.6.0 — 精度確認ポリシー付き投機的デコーディング
Why it matters: READMEによると、このリリースでは、出力の正しさに関係なく常に最速のカーネルを使うのではなく、より高速な投機的デコーディング経路を有効にする前にgreedyな精度を確認するポリシーが導入されました。 - 3v0.7.0 — 現行リリースの基盤
Why it matters: READMEはこれをこのレビュー時点での最新タグ付きリリースと説明しており、DeepSeek-V4アーキテクチャ対応、llama-serverルート互換性の拡張、複数のモデルファミリーで半精度性能を改善したdtype修正が含まれています。 - 4未リリースの
main— 実験的なAMD ROCmサポート
Why it matters: このレビュー時点で、`--features rocm`によるAMD GPUサポートは`main`ブランチに存在しますが、READMEの「Current main highlights」セクションによれば、まだタグ付きリリースには含まれていません。
mlxcelでできること
mlxcelの機能セットは、幅広いモデルタイプをネイティブに実行することと、本番運用志向のサービング制御を中心としています。以下は、プロジェクト自身のREADMEに基づく各機能の実態です。
- 直接チェックポイント読み込み — Hugging Faceから（
mlx-community組織を含む）MLX SafeTensorsチェックポイントを直接読み込み、多くの標準的なSafeTensors埋め込みチェックポイントも変換ステップなしで読み込み可能 - マルチフォーマットAPI互換性 — OpenAI（Chat Completions、Completions、Responses、Embeddings、Reranking、Audio）、Anthropic Messages、Vertex AI互換ルートに加え、特定の上流リリースに固定された、ドキュメント化されたネイティブの
llama-server互換ルート・フラグ群を提供 - 幅広いアーキテクチャ対応 — 密なトランスフォーマー、スパースなMixture-of-Expertsモデル、ハイブリッド状態空間モデル、視覚言語/OCRモデル、埋め込み、リランカー、音声認識、音声合成に対応し、
mlxcel archコマンドで照会可能 - マルチモデルルーティング — ルーターモードがモデルストアまたはディレクトリからチェックポイントを発見し、必要に応じてロードし、最も長く使われていないものから追い出すLRU方式で常駐セットを制限
- ライブLoRAアダプター — READMEによれば、複数のLoRAアダプターをアンフューズドのまま維持してリクエストごとに切り替えるか、デコードオーバーヘッドゼロのためにフューズすることが可能
- 投機的デコーディング — 複数のモデルファミリー（Gemma、Qwen、GLM-4.7-Flash MTP経路を含む）に対し、測定・精度確認済みの投機的デコーディングを
/v1/internal/mtp-policyエンドポイントで提供 - 運用制御 — APIキーおよびCORS/TLS設定、アイドルモデルのスリープ/ウェイク、GBNF文法、拡張されたサンプリング制御、プロンプト・キャッシュの可観測性
- 再現可能なモデルサージェリー —
--surgeryフラグ経由でYAML定義された読み込み時の重み編集（scale、add、prune、replace、interpolate）により、手作業での重み編集なしに再現可能なチェックポイント修正が可能
使用例：mlxcelの3つの使い方
以下は、上記で解説したmlxcelのドキュメント化された機能を使った具体的なワークフローで、プロジェクト自身のREADMEのコマンドを使用しています。
mlxcelのインストール
mlxcelはmacOSおよびLinux上でHomebrew経由で無料でインストールでき、ソースコードはGitHub上でソースビルド用に公開されています。 開発者向けのCLI・サーバーツールであるため、グラフィカルインストーラーはありません。
ソース | リンク |
|---|---|
| GitHubリポジトリ（ソースコード、Apache 2.0） | github.com/lablup/mlxcel |
| Homebrewインストール | brew tap lablup/tap && brew install mlxcel |
| ソースビルド（Apple Silicon） | cargo build --release --features metal,accelerate |
| ソースビルド（NVIDIA CUDA） | cargo build --release --features cuda |
| ドキュメント | docs/installation.md |
Homebrewフォーミュラは最新のタグ付きリリースをインストールします。最新の未リリース機能（実験的なAMD ROCmサポートなど）や、CUDA・ROCmターゲットには、プロジェクトのREADMEによればソースからのビルドが必要です。Apple Siliconのソースビルドには、Rust、Xcode Command Line Tools、CMake、Metalツールチェーンコンポーネントが必要です。
mlxcelの料金：mlxcelは本当に無料か？
はい — mlxcelに有料プランはありません。 アカウント、ライセンスキー、利用上限のない、無料でApache 2.0ライセンスのオープンソースプロジェクトとして配布されています。GitHubリポジトリに料金ページはありません。
- mlxcel自体のインストールや実行に費用はかかりません — Homebrewフォーミュラもソースビルドもどちらも無料
- Apache 2.0ライセンスは、ライセンスの標準条項（著作権表示とライセンス通知の保持）に従うことを条件に、商用利用、改変、再配布を許可
- 実質的な唯一のコストは実行に必要なハードウェア（Apple SiliconのMacまたはCUDA対応GPU）と、別途ダウンロードするモデル用のディスク容量
- mlxcelを手がけるLablupは、商用AIインフラ製品としてBackend.AIも販売していますが、このレビューではmlxcelの機能がBackend.AIの購入によって制限されているという証拠は見つかりませんでした — オプションの補助アプリBackend.AI Goは、mlxcelのREADMEでは必須ではなく別個のオプションのGUIとして説明されています
mlxcel vs. llama.cpp
mlxcelとllama.cppはどちらもネイティブ（非Python）の推論ランタイムですが、言語、主要な対象プラットフォーム、チェックポイント形式が異なります。 llama.cppはC/C++プロジェクトで、最も広いハードウェア対応と量子化されたGGUF形式のモデルをサポートします。mlxcelはRustプロジェクトで、MLX SafeTensorsチェックポイントに重点を置き、Apple Siliconを主要ターゲットとし、より簡単に置き換えられるようドキュメント化されたllama-serverルート互換性を備えています。
言語
- mlxcel:
- Rust
- llama.cpp:
- C/C++
主要チェックポイント形式
- mlxcel:
- MLX SafeTensors
- llama.cpp:
- GGUF
主要プラットフォーム
- mlxcel:
- Apple Silicon（Metal）、CUDAはセカンダリ
- llama.cpp:
- 最も広いハードウェア対応：CPU、CUDA、Metal、Vulkanなど
メンテナー
- mlxcel:
- Lablup（Backend.AIの企業）
- llama.cpp:
- コミュニティ主導、当初はGeorgi Gerganovが開発
API互換性
- mlxcel:
- OpenAI、Anthropic、Vertex、加えてllama-server互換ルート
- llama.cpp:
- 自身の
llama-serverが、mlxcelが互換性を目指すリファレンス実装
これは各プロジェクト自身のドキュメントに基づく事実ベースの機能比較であり、PromptQuorumがいずれかのツールを対象に実施したベンチマークではありません。mlxcelは自身がドキュメント化したb10621互換性マニフェストに基づき、無関係な代替ツールとしてではなく、明示的にllama.cppのllama-serverルートとの互換性を目指しています。
mlxcelはどんな人向け？
mlxcelは、サービングパスにPython依存を持たない、ネイティブで本番運用志向の推論ランタイムを求める開発者に向いています。
mlxcel評価時によくある誤解
mlxcelに関する混乱の多くは、プラットフォーム対応やチェックポイント形式がドキュメントより広いという思い込みから生じます。
競合・代替ツール
mlxcelは、vllm-mlx、oMLX、Rapid-MLXと同じApple Siliconおよびネイティブランタイム推論サーバーの領域に位置します — これらは、OpenAI互換または類似のAPIレイヤーでローカルモデルを実行する独立プロジェクトであり、主に言語（Rust対Python）、プラットフォームの広さ、機能面での重点が異なります。
ツール | 特徴 | リンク |
|---|---|---|
| vllm-mlx | Apple Silicon向けのvLLM方式継続バッチング、Pythonベース | vllm-mlx Review |
| oMLX | SSDベースのプロンプトキャッシュを備えたApple Silicon推論サーバー | oMLX Review |
| Rapid-MLX | サービング速度に重点を置いたネイティブMLX推論サーバー | Rapid-MLX Review |
| LoRAX | 1つのGPU上で1つのベースモデルから数千のLoRAアダプターを提供 | LoRAX Review |
このリストは、Apple Siliconおよびネイティブランタイム推論エンジン分野で一般的に比較されるツールを反映したものであり、PromptQuorumによる独立したランキングではありません — 選定前に各ツールの現在の機能セットを確認してください。
よくある質問
mlxcelとは何ですか？
mlxcel（github.com/lablup/mlxcel）は、LLM、視覚言語モデル、埋め込み、リランカー、音声向けの無料・オープンソース（Apache 2.0）のRustネイティブ推論CLIおよびサーバーで、Lablupが開発しています。
mlxcelの開発元は？
AIインフラ・MLOpsプラットフォームBackend.AIでも知られるLablup Inc.です。
mlxcelは無料ですか？
はい。Homebrewまたはソースビルド経由で無料でインストールでき、Apache 2.0ライセンスで、有料プラン、アカウント、利用上限はありません。
mlxcelのインストール方法は？
macOSまたはLinuxでbrew tap lablup/tap && brew install mlxcelを実行するか、プロジェクトのREADMEに従って適切な機能フラグ（metal、cuda、または実験的なrocm）を使ってCargoでソースからビルドします。
mlxcelが対応するハードウェアは？
Apple Silicon（Metal）が主要ターゲットです。Linux上のNVIDIA CUDAはセカンダリのサポートターゲットです。Linux上のAMD ROCmは実験的でソースビルドのみ対応です。CPUのみのLinuxビルドも動作しますが、検証済みのリリースターゲットではありません。
mlxcelにPythonは必要ですか？
いいえ。mlxcelはRustで書かれており、リクエストパスにPythonインタープリタを挟まず、ネイティブMLX C++バインディング経由でMLXチェックポイントを実行します。
mlxcelが使用するチェックポイント形式は？
MLX SafeTensorsチェックポイントで、Hugging Faceのmlx-community組織の下で公開されているものも含みます — llama.cppが使うGGUF形式ではありません。
mlxcelはllama.cppのAPIと互換性がありますか？
はい、部分的かつ意図的に：mlxcelは、独自のOpenAI、Anthropic、Vertex互換エンドポイントに加えて、固定されバージョンにピン留めされたllama-serverのルート・フラグ互換性マニフェストをドキュメント化しています。
mlxcelは音声・視覚モデルに対応していますか？
はい。テキスト生成、埋め込み、リランキングに加え、視覚言語入力、音声認識の文字起こし、（Kokoroファミリーのモデルによる）音声合成を処理します。
PromptQuorumはmlxcelのベンチマーク主張を独自に検証しましたか？
いいえ。このレビューはPromptQuorumによる実地ベンチマークではなく、mlxcel自身のGitHubリポジトリとREADMEに基づいています。プロジェクトのREADMEにある性能比較は自己測定によるものです。