重要なポイント
- candle-vllm（github.com/EricLBuehler/candle-vllm）は無料・オープンソースのRustネイティブ推論・サービングエンジン
- 開発者EricLBuehlerによる、Hugging FaceのCandle機械学習フレームワーク上に構築
- リポジトリのライセンス表記で確認済みのMITライセンス
- サービング手法（継続的バッチ処理、効率的なKVキャッシュ処理）はPython製vLLMプロジェクトから、vLLM論文（arxiv.org/abs/2309.06180）を引用する形で踏襲しているが、vLLMのPythonコードの移植ではなく、ゼロから構築されたRustの再実装
- デフォルトで
http://localhost:2000上でOpenAI互換のAPIサーバーを実行し、オプションで組み込みWeb UIあり - 同じコードベースでクロスプラットフォーム対応: Linux上のNVIDIA CUDA 11/12/13、macOS/Apple Silicon上のApple Metal（16GB以上の統合メモリ推奨）、CPUフォールバック
- 本レビュー時点でGitHubスターは約728
📍 一文で説明
candle-vllmは、Hugging FaceのCandleフレームワーク上でネイティブにRustで書かれた無料・オープンソース（MIT）のLLMサービングエンジンで、NVIDIA CUDAとApple Metalの両方でvLLM的なサービング挙動を持つOpenAI互換APIサーバーを提供します。
💬 簡潔に説明
candle-vllmは、自分のコンピューターやサーバー上でAI言語モデルを動かし、他のアプリがOpenAIのAPIと同じリクエスト形式で通信できるようにするプログラムです。そのため、OpenAIのAPI向けに作られたツールも、設定を少し変えるだけで接続できることが多いです。Pythonではなく完全にRustで構築されており、開発者はこれを安全性とネイティブコンパイルの利点として位置づけています。また、有名なPythonプロジェクトであるvLLMのサービング設計を踏襲していますが、そのPythonコードを文字通り再利用しているわけではありません。
📌補足: このレビューはプロジェクト自身のGitHubリポジトリとREADMEに基づいています。PromptQuorumはcandle-vllm自体のハンズオン性能テストを行っていないため、プロジェクトが自己申告するデコード速度のベンチマークを独立検証済みの数値として扱ってはいません。
candle-vllmとは？
candle-vllmは、Pythonではなく完全にRustで書かれ、Hugging FaceのCandle機械学習フレームワーク上に構築された、無料・オープンソースのLLM推論・サービングエンジンです。 EricLBuehlerによって開発され、GitHubで配布されています。
- 製品タイプ: 自分で実行するサービングエンジン/APIサーバーであり、ホスト型サービスやデスクトップチャットアプリではない
- 開発者: EricLBuehler
- 基盤フレームワーク: Hugging FaceのRustネイティブ機械学習フレームワークであるCandle — candle-vllmはその上に構築されているが、Candle自体のフォークやリネームではない
- ライセンス: MIT
- 資金調達: 本レビューでは資金調達ラウンド、投資家、商業的な後ろ盾は確認できず — 独立して維持されているコミュニティ主導のオープンソースプロジェクトとして扱う
- 規模: 本レビュー時点でGitHubスター約728、フォーク約90、直近も活発なコミット履歴あり
candle-vllmは実際に何をするのか？
candle-vllmはオープンなLLMをロードし、OpenAI互換のHTTP API経由で提供します。継続的バッチ処理、アテンションキャッシュの効率的なメモリ管理、量子化サポートなど、Python製vLLMプロジェクトと精神的には近いサービング最適化を、Rustでネイティブに実装しています。
- OpenAI互換APIサーバー: デフォルトで
http://localhost:2000をリッスンするため、OpenAI API形式向けに構築されたクライアントは、ベースURLの変更だけで接続できることが多い - オプションの組み込みWeb UI: プロジェクトのREADMEによれば、APIと並行してChatGPT風のチャットインターフェースを、APIポートとは異なるポートで起動できる
- READMEによる幅広いモデルファミリー対応: Qwen、Llama、Mistral、Phi3/Phi4、DeepSeek（V3/R1を含む）、GLM、Yi、StableLM、Gemma、QwQ、および視覚言語モデル
- プロジェクトドキュメントによるモデル形式対応: SafeTensors、GGUF、GPTQ、AWQ、Marlin、MXFP4、NVFP4
- READMEに記載されている性能関連機能: Flash Attention、FlashInferバックエンドオプション、CUDA Graphs、継続的バッチ処理、プレフィックスキャッシング（リクエスト間でのKVキャッシュ再利用）
- メモリ効率化機能: 「TurboQuant」によるKVキャッシュ圧縮。READMEでは2〜4ビットのキャッシュ量子化バリアントにより、コンテキスト長を大幅に拡張できるとされている
- マルチGPU・マルチノード対応: テンソル並列によるマルチGPU推論（READMEではマルチプロセスモードが推奨）、およびMPI依存なしのTCPベースのマルチノード連携
- ツール連携: Model Context Protocol（MCP）対応とOpenAI互換のツール/関数呼び出しがドキュメント化されている
プラットフォーム、価格、ライセンス
プラットフォーム
- candle-vllmの記載内容:
- コマンドラインまたはRustライブラリとして実行する、セルフホスト型のサーバープロセス。Linux（CUDA 11/12/13）、macOS/Apple Silicon（Metal）、CPUフォールバックの3つで同一コードベースによるクロスプラットフォーム対応。
費用
- candle-vllmの記載内容:
- 無料・オープンソースで、有料プランなし。計算資源は自分で用意し、オープンモデルの重みは別途ダウンロードする（例: Hugging Faceから）。
ライセンス
- candle-vllmの記載内容:
- MITライセンス。
インストール方法
- candle-vllmの記載内容:
- プロジェクトのREADMEによれば、DEB/バイナリインストール用の1行シェルインストーラー、CUDA/Metal/CPUの機能フラグを指定した
cargo installによるソースビルド、または設定可能なCUDA/SMバージョンを持つDockerイメージのいずれか。
コマンドを実行する前に、github.com/EricLBuehler/candle-vllmで現在推奨されているインストール方法とCUDA/ドライバの互換性を確認してください。インストール手順や対応CUDAバージョンはリリースごとに変わる可能性があります。
candle-vllmをインストールする
candle-vllmは、シェルスクリプト、cargo（ソースビルド）、またはDockerで無料でインストールでき、ソースコードはGitHub上にあります。
ソース | Link |
|---|---|
| GitHubリポジトリ（ソースコード、MIT） | github.com/EricLBuehler/candle-vllm |
| Candleフレームワーク（基盤となるMLフレームワーク） | github.com/huggingface/candle |
| Local LLM Software Directoryの掲載ページ | Local LLM Software Directory |
candle-vllmはサーバー/APIコンポーネントでありエンドユーザー向けデスクトップアプリではないため、GUIインストーラーはありません。ターミナルに加えて、ビルド済みバイナリ/Dockerイメージ、またはソースからビルドするためのRustツールチェーン（cargo経由）のいずれかが必要です。
candle-vllm vs. Python版vLLM
candle-vllmは、オリジナルのPython製vLLMプロジェクトのフォークや移植ではありません。継続的バッチ処理や効率的なKVキャッシュ管理といった類似のサービング設計に従い、vLLM論文を参照アプローチとして引用する、独立してゼロから構築されたRust実装です。
言語/ランタイム
- candle-vllm:
- Rust、サーバー実行にPythonランタイムは不要
- Python版vLLM:
- Python、Python環境が必要
基盤フレームワーク
- candle-vllm:
- Hugging Face Candle（Rust製MLフレームワーク）
- Python版vLLM:
- PyTorch
API互換性
- candle-vllm:
- OpenAI互換HTTP API
- Python版vLLM:
- OpenAI互換HTTP API
プラットフォーム対応
- candle-vllm:
- CUDA、Apple Metal、CPU — 同一コードベース
- Python版vLLM:
- 主にCUDA/ROCm中心、ネイティブApple Metalバックエンドなし
エコシステムの成熟度
- candle-vllm:
- より小規模なコミュニティ（約728スター）、比較的新しいプロジェクト
- Python版vLLM:
- 大規模で、LLMサービングスタックの本番環境に広く導入済み
この比較は各プロジェクト自身のドキュメントを反映したものであり、PromptQuorumによる独立したベンチマークではありません。選択前に、各プロジェクトで最新の機能パリティと性能を直接確認してください。
candle-vllmはどんな人向けか？
candle-vllmは、Python依存のないOpenAI互換ローカルサービングエンジンを求め、CUDAとApple Metalで同一コードベースを実行できることに価値を見出す開発者に向いています。
candle-vllmが向いていないケース
candle-vllmは、決定前に最大級の既存統合エコシステム、ターミナル不要のGUIインストーラー、または独立検証済みの性能数値が必要な場合には向いていません。
- 最も成熟したエコシステムではない — 本レビュー時点でPython版vLLMの方がコミュニティがはるかに大きく、サードパーティ連携も本番実績も多い
- GUIやワンクリックのデスクトップインストールではない — シェルスクリプト、cargoビルド、またはDockerでセットアップするサーバー/APIコンポーネント
- Python版vLLM固有のあらゆるプラグインやワークフローの代替にはならない — Python版vLLMの内部構造専用に作られたツールの一部は、ここでは直接対応するRust版が存在しない
- PromptQuorumによる独立ベンチマークは未実施 — このレビューでは、プロジェクトが自己申告するデコード速度の数値を独自のハンズオンテストで確認していない
- 本レビューで確認できる資金調達ラウンドや企業の後ろ盾はない — 独立して維持されているコミュニティ支援プロジェクトとして扱う
candle-vllm評価時のよくある誤解
candle-vllmに関する混乱の多くは、それがvLLMのPythonからRustへの移植版だという思い込みや、名前に「vllm」が含まれることからPythonで書かれていると思い込むことから生じます。
競合と代替ツール
ローカルLLM推論・サービングエンジンの中で、candle-vllmは他のセルフホスト型・OpenAI互換のサービングプラットフォームと最も比較されます。その主な差別化ポイントは、Pythonベースではなくrustネイティブであり、CUDAに加えてApple Metalをネイティブサポートしている点です。
Tool | 主な特徴 | Link |
|---|---|---|
| LMDeploy | InternLMチームによるPythonベースのLLMサービングツールキット。量子化と高スループット推論に強み | LMDeployレビュー |
| NVIDIA Dynamo | 大規模・マルチノードLLMデプロイ向けの分散推論サービングフレームワーク | Dynamoレビュー |
| LoRAX | 1つのベースモデルから多数のファインチューニング済みバリアントを提供する、マルチLoRAアダプターサービングフレームワーク | LoRAXレビュー |
このリストは、推論/サービングエンジン分野でcandle-vllmと一般的に比較されるツールを反映したものであり、PromptQuorumによる独立したランキングではありません。選択前に各ツールの最新機能を確認してください。
よくある質問
candle-vllmとは何ですか？
candle-vllm（github.com/EricLBuehler/candle-vllm）は、Hugging FaceのCandleフレームワーク上に構築された、無料・オープンソースのRustネイティブLLM推論・サービングエンジンで、OpenAI互換のAPIサーバーを提供します。
candle-vllmはPythonで書かれていますか？
いいえ。名前に「vllm」が含まれていますが、candle-vllmはHugging FaceのCandle機械学習フレームワーク上で完全にRustで書かれています。サーバー実行にPythonランタイムは不要です。
candle-vllmはvLLMと同じプロジェクトですか？
いいえ。Python製vLLMプロジェクトと類似のサービング設計（継続的バッチ処理、KVキャッシュ管理）に従い、そのvLLM論文を引用する、独立してゼロから構築されたRust実装であり、vLLMのPythonコードを再利用しているわけではありません。
candle-vllmは無料ですか？
はい、MITライセンスの下で無料・オープンソースであり、有料プランはありません。
candle-vllmはどのプラットフォームに対応していますか？
同じコードベースが、Linux上のNVIDIA CUDA（11/12/13）、macOS/Apple Silicon上のApple Metal（16GB以上の統合メモリ推奨）、フォールバックとしてのCPUで動作します。
candle-vllmはどのようにインストールしますか？
プロジェクトのREADMEによれば、DEB/バイナリインストール用の1行シェルインストーラー、適切なCUDA/Metal/CPU機能フラグを指定したcargo installによるソースビルド、またはDockerイメージのいずれかで行います。
candle-vllmは量子化モデルに対応していますか？
はい。プロジェクトドキュメントによれば、SafeTensors、GGUF、GPTQ、AWQ、Marlin、MXFP4、NVFP4のモデル形式に対応しています。
candle-vllmを作成したのは誰ですか？
開発者EricLBuehlerが、Hugging FaceのCandle機械学習フレームワーク上にcandle-vllmを作成し、維持管理しています。
candle-vllmにはWebインターフェースがありますか？
プロジェクトのREADMEによれば、APIサーバーと並行して、APIポートとは異なるポートで組み込みのChatGPT風Web UIをオプションで起動できます。
PromptQuorumはcandle-vllmの性能に関する主張を独立して検証しましたか？
いいえ。このレビューはプロジェクト自身のGitHubリポジトリとREADMEに基づいており、PromptQuorumによるハンズオンの性能テストには基づいていません。