candle-vllmとは？
candle-vllmは、Pythonではなく完全にRustで書かれ、Hugging FaceのCandle機械学習フレームワーク上に構築された、無料・オープンソースのLLM推論・サービングエンジンです。 EricLBuehlerによって開発され、GitHubで配布されています。
- 製品タイプ: 自分で実行するサービングエンジン/APIサーバーであり、ホスト型サービスやデスクトップチャットアプリではない
- 開発者: EricLBuehler
- 基盤フレームワーク: Hugging FaceのRustネイティブ機械学習フレームワークであるCandle — candle-vllmはその上に構築されているが、Candle自体のフォークやリネームではない
- ライセンス: MIT
- 資金調達: 本レビューでは資金調達ラウンド、投資家、商業的な後ろ盾は確認できず — 独立して維持されているコミュニティ主導のオープンソースプロジェクトとして扱う
- 規模: 本レビュー時点でGitHubスター約728、フォーク約90、直近も活発なコミット履歴あり
candle-vllmは実際に何をするのか？
candle-vllmはオープンなLLMをロードし、OpenAI互換のHTTP API経由で提供します。継続的バッチ処理、アテンションキャッシュの効率的なメモリ管理、量子化サポートなど、Python製vLLMプロジェクトと精神的には近いサービング最適化を、Rustでネイティブに実装しています。
- OpenAI互換APIサーバー: デフォルトで
http://localhost:2000をリッスンするため、OpenAI API形式向けに構築されたクライアントは、ベースURLの変更だけで接続できることが多い - オプションの組み込みWeb UI: プロジェクトのREADMEによれば、APIと並行してChatGPT風のチャットインターフェースを、APIポートとは異なるポートで起動できる
- READMEによる幅広いモデルファミリー対応: Qwen、Llama、Mistral、Phi3/Phi4、DeepSeek（V3/R1を含む）、GLM、Yi、StableLM、Gemma、QwQ、および視覚言語モデル
- プロジェクトドキュメントによるモデル形式対応: SafeTensors、GGUF、GPTQ、AWQ、Marlin、MXFP4、NVFP4
- READMEに記載されている性能関連機能: Flash Attention、FlashInferバックエンドオプション、CUDA Graphs、継続的バッチ処理、プレフィックスキャッシング（リクエスト間でのKVキャッシュ再利用）
- メモリ効率化機能: 「TurboQuant」によるKVキャッシュ圧縮。READMEでは2〜4ビットのキャッシュ量子化バリアントにより、コンテキスト長を大幅に拡張できるとされている
- マルチGPU・マルチノード対応: テンソル並列によるマルチGPU推論（READMEではマルチプロセスモードが推奨）、およびMPI依存なしのTCPベースのマルチノード連携
- ツール連携: Model Context Protocol（MCP）対応とOpenAI互換のツール/関数呼び出しがドキュメント化されている
プラットフォーム、価格、ライセンス
プラットフォーム
- candle-vllmの記載内容:
- コマンドラインまたはRustライブラリとして実行する、セルフホスト型のサーバープロセス。Linux（CUDA 11/12/13）、macOS/Apple Silicon（Metal）、CPUフォールバックの3つで同一コードベースによるクロスプラットフォーム対応。
費用
- candle-vllmの記載内容:
- 無料・オープンソースで、有料プランなし。計算資源は自分で用意し、オープンモデルの重みは別途ダウンロードする（例: Hugging Faceから）。
ライセンス
- candle-vllmの記載内容:
- MITライセンス。
インストール方法
- candle-vllmの記載内容:
- プロジェクトのREADMEによれば、DEB/バイナリインストール用の1行シェルインストーラー、CUDA/Metal/CPUの機能フラグを指定した
cargo installによるソースビルド、または設定可能なCUDA/SMバージョンを持つDockerイメージのいずれか。
コマンドを実行する前に、github.com/EricLBuehler/candle-vllmで現在推奨されているインストール方法とCUDA/ドライバの互換性を確認してください。インストール手順や対応CUDAバージョンはリリースごとに変わる可能性があります。
candle-vllmをインストールする
candle-vllmは、シェルスクリプト、cargo（ソースビルド）、またはDockerで無料でインストールでき、ソースコードはGitHub上にあります。
ソース | Link |
|---|---|
| GitHubリポジトリ（ソースコード、MIT） | github.com/EricLBuehler/candle-vllm |
| Candleフレームワーク（基盤となるMLフレームワーク） | github.com/huggingface/candle |
| Local LLM Software Directoryの掲載ページ | Local LLM Software Directory |
candle-vllmはサーバー/APIコンポーネントでありエンドユーザー向けデスクトップアプリではないため、GUIインストーラーはありません。ターミナルに加えて、ビルド済みバイナリ/Dockerイメージ、またはソースからビルドするためのRustツールチェーン（cargo経由）のいずれかが必要です。
candle-vllm vs. Python版vLLM
candle-vllmは、オリジナルのPython製vLLMプロジェクトのフォークや移植ではありません。継続的バッチ処理や効率的なKVキャッシュ管理といった類似のサービング設計に従い、vLLM論文を参照アプローチとして引用する、独立してゼロから構築されたRust実装です。
言語/ランタイム
- candle-vllm:
- Rust、サーバー実行にPythonランタイムは不要
- Python版vLLM:
- Python、Python環境が必要
基盤フレームワーク
- candle-vllm:
- Hugging Face Candle（Rust製MLフレームワーク）
- Python版vLLM:
- PyTorch
API互換性
- candle-vllm:
- OpenAI互換HTTP API
- Python版vLLM:
- OpenAI互換HTTP API
プラットフォーム対応
- candle-vllm:
- CUDA、Apple Metal、CPU — 同一コードベース
- Python版vLLM:
- 主にCUDA/ROCm中心、ネイティブApple Metalバックエンドなし
エコシステムの成熟度
- candle-vllm:
- より小規模なコミュニティ（約728スター）、比較的新しいプロジェクト
- Python版vLLM:
- 大規模で、LLMサービングスタックの本番環境に広く導入済み
この比較は各プロジェクト自身のドキュメントを反映したものであり、PromptQuorumによる独立したベンチマークではありません。選択前に、各プロジェクトで最新の機能パリティと性能を直接確認してください。
candle-vllmはどんな人向けか？
candle-vllmは、Python依存のないOpenAI互換ローカルサービングエンジンを求め、CUDAとApple Metalで同一コードベースを実行できることに価値を見出す開発者に向いています。
次のような場合にcandle-vllmを使う
- デプロイの簡潔さやネイティブコンパイルの観点から、推論サービング層にPythonランタイム依存を持ちたくない場合
- NVIDIA CUDAサーバーとApple SiliconのMacの両方で、同一のサービングコードベースを実行する必要がある場合
- pipでインストールするPythonパッケージではなく、Rustツール（cargo）やビルド済みバイナリ/Dockerイメージに抵抗がない場合
- Python版vLLMのスタック全体を導入せずに、vLLM的なサービング挙動（継続的バッチ処理、KVキャッシュ再利用）が欲しい場合
- 1つのサービングエンジンで、幅広い量子化形式（GGUF、GPTQ、AWQ、Marlin、MXFP4、NVFP4）への対応が必要な場合
次のような場合は他の選択肢を検討する
- 最大かつ最も成熟したエコシステムとコミュニティサポートが必要な場合 — Python版vLLMは本番導入やサードパーティ連携が大幅に多い
- ターミナル不要のグラフィカルなインストーラーが欲しい場合 — candle-vllmはコマンドラインまたはDockerで設定するサーバー/APIコンポーネント
- Python版vLLM専用の統合やプラグインに依存しており、それに相当するRust/candle-vllm版が存在しない場合
- 導入を決める前に、独立検証済みでハードウェア固有のスループット数値が必要な場合 — このレビューではプロジェクトの自己申告ベンチマークを確定値としては扱っていない
candle-vllmが向いていないケース
candle-vllmは、決定前に最大級の既存統合エコシステム、ターミナル不要のGUIインストーラー、または独立検証済みの性能数値が必要な場合には向いていません。
- 最も成熟したエコシステムではない — 本レビュー時点でPython版vLLMの方がコミュニティがはるかに大きく、サードパーティ連携も本番実績も多い
- GUIやワンクリックのデスクトップインストールではない — シェルスクリプト、cargoビルド、またはDockerでセットアップするサーバー/APIコンポーネント
- Python版vLLM固有のあらゆるプラグインやワークフローの代替にはならない — Python版vLLMの内部構造専用に作られたツールの一部は、ここでは直接対応するRust版が存在しない
- PromptQuorumによる独立ベンチマークは未実施 — このレビューでは、プロジェクトが自己申告するデコード速度の数値を独自のハンズオンテストで確認していない
- 本レビューで確認できる資金調達ラウンドや企業の後ろ盾はない — 独立して維持されているコミュニティ支援プロジェクトとして扱う
candle-vllm評価時のよくある誤解
candle-vllmに関する混乱の多くは、それがvLLMのPythonからRustへの移植版だという思い込みや、名前に「vllm」が含まれることからPythonで書かれていると思い込むことから生じます。
誤解1: candle-vllmはPython版vLLMのRust移植版だという思い込み
実際には、Candleフレームワーク上で類似のサービング設計に従い、vLLM論文を参照として引用する、独立してゼロから構築されたRust実装です。vLLMのPythonコードを再利用したりラップしたりはしていません。
誤解2: Pythonで書かれていると思い込む
名前には「vllm」が含まれていますが、サーバー全体はHugging FaceのCandleフレームワーク上でRustで書かれています。実行にPythonランタイムは不要です。
誤解3: 自己申告のスループット数値を独立検証済みとして扱う
プロジェクトのREADMEには、特定のモデルとハードウェアに対するデコード速度の数値が記載されています。このレビューでは、それらをPromptQuorumが確認したベンチマークとしては扱っていません — 自分の環境に近いハードウェアで最新の数値を確認してください。
誤解4: candle-vllmをCandleフレームワーク自体と混同する
CandleはHugging Faceの汎用Rust製MLフレームワークであり、candle-vllmはその上に構築された別のサービングエンジンプロジェクトで、主要な開発者も異なります（EricLBuehler）。
競合と代替ツール
ローカルLLM推論・サービングエンジンの中で、candle-vllmは他のセルフホスト型・OpenAI互換のサービングプラットフォームと最も比較されます。その主な差別化ポイントは、Pythonベースではなくrustネイティブであり、CUDAに加えてApple Metalをネイティブサポートしている点です。
Tool | 主な特徴 | Link |
|---|---|---|
| LMDeploy | InternLMチームによるPythonベースのLLMサービングツールキット。量子化と高スループット推論に強み | LMDeployレビュー |
| NVIDIA Dynamo | 大規模・マルチノードLLMデプロイ向けの分散推論サービングフレームワーク | Dynamoレビュー |
| LoRAX | 1つのベースモデルから多数のファインチューニング済みバリアントを提供する、マルチLoRAアダプターサービングフレームワーク | LoRAXレビュー |
このリストは、推論/サービングエンジン分野でcandle-vllmと一般的に比較されるツールを反映したものであり、PromptQuorumによる独立したランキングではありません。選択前に各ツールの最新機能を確認してください。
よくある質問
candle-vllmとは何ですか？
candle-vllm（github.com/EricLBuehler/candle-vllm）は、Hugging FaceのCandleフレームワーク上に構築された、無料・オープンソースのRustネイティブLLM推論・サービングエンジンで、OpenAI互換のAPIサーバーを提供します。
candle-vllmはPythonで書かれていますか？
いいえ。名前に「vllm」が含まれていますが、candle-vllmはHugging FaceのCandle機械学習フレームワーク上で完全にRustで書かれています。サーバー実行にPythonランタイムは不要です。
candle-vllmはvLLMと同じプロジェクトですか？
いいえ。Python製vLLMプロジェクトと類似のサービング設計（継続的バッチ処理、KVキャッシュ管理）に従い、そのvLLM論文を引用する、独立してゼロから構築されたRust実装であり、vLLMのPythonコードを再利用しているわけではありません。
candle-vllmは無料ですか？
はい、MITライセンスの下で無料・オープンソースであり、有料プランはありません。
candle-vllmはどのプラットフォームに対応していますか？
同じコードベースが、Linux上のNVIDIA CUDA（11/12/13）、macOS/Apple Silicon上のApple Metal（16GB以上の統合メモリ推奨）、フォールバックとしてのCPUで動作します。
candle-vllmはどのようにインストールしますか？
プロジェクトのREADMEによれば、DEB/バイナリインストール用の1行シェルインストーラー、適切なCUDA/Metal/CPU機能フラグを指定したcargo installによるソースビルド、またはDockerイメージのいずれかで行います。
candle-vllmは量子化モデルに対応していますか？
はい。プロジェクトドキュメントによれば、SafeTensors、GGUF、GPTQ、AWQ、Marlin、MXFP4、NVFP4のモデル形式に対応しています。
candle-vllmを作成したのは誰ですか？
開発者EricLBuehlerが、Hugging FaceのCandle機械学習フレームワーク上にcandle-vllmを作成し、維持管理しています。
candle-vllmにはWebインターフェースがありますか？
プロジェクトのREADMEによれば、APIサーバーと並行して、APIポートとは異なるポートで組み込みのChatGPT風Web UIをオプションで起動できます。
PromptQuorumはcandle-vllmの性能に関する主張を独立して検証しましたか？
いいえ。このレビューはプロジェクト自身のGitHubリポジトリとREADMEに基づいており、PromptQuorumによるハンズオンの性能テストには基づいていません。