エンタープライズLLM推論サーバーとは何か
エンタープライズLLM推論サーバーとは、多数のユーザーやアプリケーションからの同時リクエストを受け付け、共有GPUプール全体に効率的に振り分けるソフトウェア層のことです。 これは、1台のマシン上の1プロセスに1モデルをロードするシングルユーザー向けランタイムとは異なります。
エンタープライズ級のサービングソフトウェアがノートパソコン向けツールと異なる点は3つあります:continuous batching(進行中の複数リクエストを同じGPUパスにまとめる)、マルチGPU並列処理(1モデルを複数GPUやノードに分割する)、そしてプラットフォームチームがKubernetes内で運用できる本番向けAPI表面(ヘルスチェック、メトリクス、オートスケーリングのフック)です。
vLLM、Hugging Face TGI、NVIDIA NIMはいずれも最初からこの3要件を軸に設計されています。llama.cppをベースにしたOllamaは、単一マシンでの可搬性と使いやすさを軸に設計されました -- 別の、それ自体は正当な目標ですが、同じものではありません。「自分のPCに最も簡単にインストールできるのはどれか」が実際の問いならシングルユーザー向けエンジン比較記事をご覧ください -- 本ガイドはその意思決定の反対側を扱います。
機能比較:vLLM対TGI対NVIDIA NIM対Ollama
項目 | vLLM | TGI | NVIDIA NIM | Ollama |
|---|---|---|---|---|
| ライセンス | Apache 2.0 / 無料 | Apache 2.0 / 無料 | NVIDIA AI Enterprise / 有償 | MIT / 無料 |
| 設計思想 | 高スループットGPUサービング | レガシーなHFサービング(保守) | 完成品エンタープライズNVIDIAスタック | シングルユーザー、非マルチテナント |
| マルチGPU | テンソル+パイプライン並列 | テンソル並列 | テンソル並列(プロファイル別) | シングルノード(ドキュメント上) |
| Continuous batching | 対応(PagedAttention) | 対応(Rustルーター) | 対応(エンジン側) | 並列リクエスト(デフォルト1) |
| 量子化 | GPTQ / AWQ / FP8 / INT4 | bitsandbytes / GPTQ / AWQ / EETQ / Marlin / FP8 | モデルプロファイル別 | GGUF Q4-Q8 |
| Kubernetes展開 | Helm / production-stack / KServe | コンテナイメージ / 独自マニフェスト | NIM Operator(公式) | コミュニティChartを記載 |
| サポート体制 | コミュニティ / GitHub | メンテナンスモード / アーカイブ済み | NVIDIAエンタープライズサポート | コミュニティ(ドキュメント上) |
| オブザーバビリティ | Prometheusメトリクス内蔵 | Prometheus + OTelトレース | DCGM / NIM固有メトリクス | メトリクスの記載なし |
vLLMを理解する:高スループットのオープンソースエンジン
vLLMは、マルチGPUの高スループットサービング向けに特化して構築されたオープンソース推論サーバー(Apache 2.0)です。 UC BerkeleyのSky Computing Labを起源とし、本番LLM APIで広く使われているオープンソースエンジンです。
- PagedAttention:KVキャッシュをリクエストごとの連続割り当てではなく固定サイズのブロックで管理し、到達可能なGPUメモリ利用率を高め、より多くの同時リクエストが1つのGPUを共有できるようにします。
- Continuous batching:新しいリクエストが実行中のバッチに合流し、現在のバッチが終わるのを待たないため、変動するトラフィック下でもGPU利用率を高く保てます。
- マルチGPU・マルチノード:テンソル並列は1つのモデルの層を1ノード内の複数GPUに分割し、パイプライン並列は1ノードの合計VRAMに収まらない大きなモデルをノード間で分割します。
- 量子化:GPTQ、AWQ、FP8、INT4形式によりレプリカごとのVRAM消費を削減し、固定GPUフリートが収容できる同時モデルレプリカ数を増やせます。
- OpenAI互換API:
vllm serve <model>はOpenAI Chat Completions APIの直接置き換えを提供し、アプリケーション側の統合作業を最小化します。 - vLLMは公式Helmチャートを提供し、Kubernetesネイティブなモデルサービング向けにKServeとも統合されます。オートスケーリングはリクエストキューの深さやGPU利用率に基づいて駆動できます。
# 4GPUでテンソル並列を使いモデルを提供
pip install vllm
# --api-keyが保護するのは/v1、/v2、/inference、/cohereのパスのみで、それ以外のエンドポイントは開いたままです。ポートを公開する前にファイアウォールかリバースプロキシを前段に置いてください
vllm serve meta-llama/Llama-3.3-70B-Instruct \
--tensor-parallel-size 4 \
--gpu-memory-utilization 0.9 \
--api-key "$VLLM_API_KEY" \
--host 0.0.0.0 --port 8000Hugging Face TGIを理解する:現在はメンテナンスモード
Hugging Face Text Generation Inference(TGI)は、Hugging Face Hub上のモデル向けのオープンソース(Apache 2.0)推論サーバーですが、現在はメンテナンスモードです。GitHubリポジトリは2026年3月にアーカイブ(読み取り専用)され、Hugging Faceは新規デプロイにvLLMとSGLangを推奨しています。 READMEによれば、Hugging Chat、Inference API、Inference Endpointsは引き続きTGIで動いており、既存のデプロイは動き続けますが、新機能は期待できません。
- Rust製のリクエストルーター:キューイングとcontinuous batchingを処理します(TGIのドキュメントによる)。
- Flash AttentionとPaged Attention:TGIのドキュメントは両方を挙げており、vLLMが広めたものと同じメモリ効率化技術です。
- テンソル並列:1モデルを1ノード内の複数GPUに分割します。マルチノードサービングにも対応していますが、vLLMほど自社製のツール群は充実していません。
- 量子化:bitsandbytes、GPTQ、AWQ、EETQ、Marlin、FP8の各形式に対応します。
- Hugging Face Hubとのネイティブ統合:モデルがすでにHubにホストされていれば、モデル・トークナイザー・safetensors重みの取得に手動変換は不要です。
- ライセンスに関する注意:TGIは2023〜2024年に、Hugging Face独自の制限的なライセンス(HFOIL 1.0、TGIライセンスFAQ参照)で一時的に配布された後、Apache 2.0に戻った経緯があります。デプロイマニフェストに固定されたライセンスバージョンを確認してください -- 古いキャッシュ済みイメージには制限付きのタグが残っている場合があります。
- 移行:新規プロジェクトはvLLMまたはSGLangで始めてください。既存のTGIフリートは、アーカイブ済みのコードベースにとどまらず、活発にメンテナンスされているエンジンへの移行を計画してください。TGIの最終リリースは2025年12月のv3.3.7です。
NVIDIA NIMを理解する:ベンダー支援型の選択肢
NVIDIA NIM(NVIDIA Inference Microservices)は、NVIDIA最適化済みのオープンソース推論エンジンを標準化されたAPIの背後にラップした有償のプリビルドコンテナで、NVIDIA AI Enterprise購読の一部として販売されます。 vLLMやTGIの自前構築の手間を、サポート付きで事前最適化されたデプロイと引き換えます。
- NVIDIA最適化済みのエンジンコンテナ:NVIDIAの現行NIM for LLMsドキュメントによれば、各コンテナイメージはNVIDIA最適化済みのオープンソースエンジン(vLLMまたはSGLang)を1つ含みます。同じ概要ページによれば、以前の1.xアーキテクチャは複数のバックエンドを1つのコンテナにまとめていました。セルフホストのvLLMとスループットを比較する前に、使用中のNIMバージョンがどのエンジンを使うか確認してください。
- NVIDIAによるエンタープライズサポート:オープンソースにはない差別化要素で、NVIDIA AI Enterpriseライセンスに基づくベンダーサポート窓口です。SLAや稼働率の正確な条件は契約で確認してください。
- Kubernetes向けNIM Operator:NVIDIAのOperatorは、NIMサービスごとにKubernetesデプロイを作成し、ノードへのモデル事前キャッシュに対応し、DCGMまたはNIM固有のメトリクスによるオートスケールをサポートします。
- モデルカタログ:NVIDIAはオープンウェイトモデルを事前パッケージ化したNIMコンテナの厳選セットを維持しており、自社のファインチューニング済みモデルをパッケージ化する経路も用意しています。
- トレードオフはベンダーロックインとライセンス費用です。NIMはNVIDIA GPU向けに作られており、本番利用にはNVIDIA AI Enterpriseライセンスが必要で、NVIDIAのNIM FAQによればGPUあたり年額4,500ドルからです。NVIDIA Developer Programのメンバーは、最大16 GPUまで研究・開発・実験目的でNIMをセルフホストできます。予算化の前に、NVIDIA AI Enterpriseで最新の条件を確認してください。エンタープライズ向けソフトウェアの価格は、あまり告知されないまま変わることがあります。
Ollamaがエンタープライズ向けサービングエンジンでない理由
Ollamaはエンタープライズのマルチテナント推論サービング向けには作られておらず、これは欠陥ではなく設計上の意図です。 Ollamaはllama.cppをシンプルなREST APIと1コマンドのモデル取得でラップしたもので、1台のマシンで1モデルを動かす開発者向けに最適化されています。
- 同時実行:FAQによれば、OllamaはOLLAMA_NUM_PARALLEL(デフォルト1)とリクエストキュー(OLLAMA_MAX_QUEUE、デフォルト512)で並列リクエストを処理しますが、continuous batchingやPagedAttention型のメモリ管理は文書化されておらず、vLLMやNIMのように多数の同時ユーザーを想定した設計ではありません。
- マルチGPU:Ollamaは1台のマシン内で大きなモデルをGPU間に分割できますが、vLLMに匹敵するテンソル並列やマルチノード分散サービングは、同ドキュメントには記載されていません。
- Kubernetes:GitHubのREADMEに載っているのはコミュニティ管理のHelmチャートのみで、自社製のKubernetes Operatorやオートスケーラー統合はドキュメントに記載がありません。
- 可観測性:Ollamaのドキュメントにはメトリクスのエンドポイントの記載がなく、vLLMやTGIとは異なります。
- エンタープライズ内でもOllamaが適切なツールとなる場面:開発者のノートパソコン、社内トラフィックが少ない部門単位の試作、あるいは1度に1ユーザーしか使わないエアギャップ型エッジデバイスです。トラフィックがマルチテナントの並行処理を必要とするようになったら、vLLM、TGI、NIMへ移行してください -- そのハードウェア面の移行についてはローカルLLMのマルチGPU構成をご覧ください。
シングルノード対マルチノードのアーキテクチャ判断
最初のアーキテクチャ判断はシングルノードかマルチノードかであり、これはトラフィック量だけでなく、モデルが1ノードの合計GPUメモリに収まるかどうかで決まります。
フリートを購入せずにマルチGPUノードが必要なチームは、GPUサーバーホスティング事業者を比較できます。
- シングルノード・マルチGPU:テンソル並列(vLLMの
--tensor-parallel-size、TGIの--num-shard)を使い、1台のサーバー内の複数GPUにモデルの層を分割します。1ノードの合計VRAMに収まるモデルではこれが標準です。 - マルチノード:モデルが1ノードのGPUメモリを超える、あるいはリクエスト量が1ノード内のテンソル並列で処理できる量を超えたら、パイプライン並列を追加します。vLLMはRay経由でこれをサポートし、NIMは独自のマルチノードデプロイテンプレートで対応します。
- ロードバランシング:同一サイズのレプリカにはシンプルなラウンドロビン方式で十分ですが、KVキャッシュを意識したルーティング -- 同じ会話の続きのリクエストを、そのコンテキストを既にキャッシュしているレプリカに戻す方式 -- はチャット型ワークロードのレイテンシを大きく削減します。
- モデルルーティング:コーディング用モデルと汎用チャットモデルなど、複数モデルを運用する企業は通常、共有プールではなくルーティング層の背後にモデルごとの独立したレプリカプールを運用します -- GPUメモリは大きく異なるモデル間で複雑さに見合うほどきれいに時分割できないためです。
- オートスケーリング:従来のKubernetes HPAの既定であるCPUではなく、リクエストキューの深さやGPU利用率でスケールしてください -- GPU推論PodのCPU使用率は負荷が変わってもほとんど動かないことが多いです。カスタムPrometheusメトリクスを用いたKEDAがvLLM/TGIでの一般的なパターンで、NIMのOperatorはこれを製品の一部として組み込んでいます。この背後にあるより広いキャパシティプランニングについてはエンタープライズ向けローカルLLMのスケーリングをご覧ください。
マルチGPU推論スタックの導入手順
エンタープライズ推論スタックの導入は固定された手順を踏みます:SLAを定義し、フリートを見積もり、エンジンを選び、その周囲にデプロイ・ルーティング・オブザーバビリティを配線します。
- 1ハードウェアを選ぶ前に、レイテンシと並行処理のSLAを定義します。
- 2モデルのパラメータ数だけでなく、モデルのVRAM消費量と目標同時リクエスト数からGPUフリートを見積もります。
- 3サービングエンジンを選びます。オープンソースの柔軟性ならvLLM(またはSGLang)、ベンダーサポート付きのターンキー導入ならNIMです。新規プロジェクトをTGIで始めないでください。
- 4エンジンをコンテナ化し、Helm(またはNIM Operator)経由でKubernetesクラスタに展開します。
- 5モデルが必要とする場合、ノード内でテンソル並列を、ノード間でパイプライン並列を設定します。
- 6レプリカプールの手前にKVキャッシュを意識したロードバランシング、またはラウンドロビンを設定します。
- 7オートスケーリングをCPUではなくリクエストキューの深さやGPU利用率に接続します。
- 8Prometheus/OpenTelemetryのオブザーバビリティを追加し、本番稼働前に目標並行数で負荷テストを行います。
ライセンスとサポート体制の比較
ライセンスは、これらの選択肢の総所有コストを最も大きく左右する項目です。 vLLMはApache 2.0ライセンスで、どの規模でも無償で運用でき、TGI(Apache 2.0、現在はアーカイブ済み)も同様です。支払うのは土台となるGPUインフラのみです。NVIDIA NIMは本番利用にNVIDIA AI Enterpriseライセンスが必要で、NVIDIAのFAQによればGPUあたり年額4,500ドルからで、GPU費用に上乗せされます。NVIDIA Developer Programのメンバーは、最大16 GPUでの研究・開発・実験を無償で行えます。予算化の前に、最新の条件をNVIDIAに直接確認してください。OllamaはMITライセンスで無償ですが、サポートはコミュニティのGitHubとDiscordに限られ、ドキュメントに有償のエンタープライズサポート層の記載はありません。
本番システムでは、サポート体制もライセンス費用と同じくらい重要です。vLLMのサポートはGitHub issueとコミュニティチャネルが中心で(人気の課題には速いがSLAなし)、TGIは軽微なメンテナンスのみ、NIMにはNVIDIAのサポート契約が付き、Ollamaのドキュメントにはコミュニティチャネル以外のサポート窓口の記載がありません。
本番サービング向けのオブザーバビリティ接続点
vLLMとTGIはどちらも標準でPrometheus互換の/metricsエンドポイントを公開し、リクエストレイテンシ、キューの深さ、GPUのKVキャッシュ利用率、トークンスループットをカバーします。 既存のPrometheus/Grafanaスタックに接続すれば、独自の計装なしで本番レベルのダッシュボードが得られます。
NVIDIA NIMはDCGMベースのGPUメトリクスとNIM固有のメトリクスに対応し、Operatorがオートスケールにそれらを利用できます。残りのインフラがすでにNVIDIA中心なら、より適しています。
Ollamaの組み込みメトリクスは最小限で、ドキュメントにメトリクスのエンドポイントの記載はありません。シングルユーザー向けという設計思想とは整合しますが、共有インフラとして運用し、多数の同時ユーザーのリクエスト単位のレイテンシを把握したい場合は大きな不足になります。
どの推論サーバーを選ぶべきか
オープンソースの有力な第一候補:vLLM -- 大きなコミュニティ、幅広いハードウェア対応、マルチGPUツール、頻繁なリリース。
すでにHugging Face中心の場合:それでもvLLMまたはSGLangで計画 -- TGIはメンテナンスモードのため、既存デプロイにのみ残してください。
ベンダーサポートが必要な場合の選択肢:NVIDIA NIM -- ベンダー支援付きのターンキー導入で、ライセンス費用がかかります。
本番マルチテナントトラフィックには不向き:Ollama -- 開発者マシンとシングルユーザーのエッジ展開にとどめてください。
- 🧭 多数のチームに共有の社内LLM APIを提供するプラットフォームチーム → Kubernetes上でセルフホストするvLLM。
- 🧭 ベンダーのサポート契約を求める規制業界の企業 → NVIDIA NIM。監査ログは前段に自前で追加します(関連するエンタープライズコンプライアンスのガイドを参照)。
- 🧭 モデルホスティングをすでにHugging Face Hubに標準化しているチーム → Hubのモデルを直接読み込めるvLLM。TGIは既存デプロイにのみ残します。
- 🧭 インフラが整う前にPoCを作る開発者 → Ollamaで始め、同時トラフィックが現実になったらvLLMへ移行します。
- ❌ 同時ユーザーが数人を超えると見込まれるなら、Ollamaは共有の本番エンドポイント向けに設計されていないため、vLLMを使ってください。
- ❌ リクエスト負荷に対するKubernetesネイティブのオートスケールが必要なら、OllamaのドキュメントにはKEDAによるキュー深度スケーリングに相当する機能の記載がないため、vLLMまたはNIMを使ってください。
エンタープライズ推論基盤の見積もりでよくある間違い
- 同時リクエスト数ではなくパラメータ数でGPUを見積もってしまいます。 モデル1コピーがVRAMに収まるだけの規模のGPUフリートには同時ユーザー向けの余裕がありません -- ピーク並行数で見積もり、その上でモデルがまだ収まるか確認してください。
- Ollamaを共有本番ロードバランサーの背後に展開してしまいます。 2ユーザーのデモでは機能しますが、数百人規模の運用を想定した設計ではありません。
- CPU利用率でスケールしてしまいます。 GPU推論PodのCPU使用率は負荷が変わってもほとんど動かないことが多いです -- 代わりにキューの深さやGPU利用率でスケールしてください。
- TGIの古いキャッシュ済みイメージのライセンス確認を怠ってしまいます。 取得したイメージタグがApache 2.0版に対応しているか、キャッシュされたHFOIL 1.0時代のビルドでないか確認してください。
- GPU単位の最新価格をNVIDIAに直接確認せずにNIMの予算を組んでしまいます。 エンタープライズソフトウェアの購読価格は変動します。古い見積もりは予算の根拠にはなりません。
出典
- vLLM公式ドキュメント -- PagedAttention、continuous batching、マルチGPU/マルチノード展開ガイドを含む公式vLLMドキュメント。
- Hugging Face Text Generation Inference(GitHub) -- TGI公式リポジトリ:メンテナンスモードの告知、アーカイブ状況、対応する量子化形式、ライセンス履歴。
- NVIDIA NIM公式ドキュメント -- 対応モデル、vLLMおよびSGLangのエンジンイメージ、Kubernetes向けNIM Operatorを含む公式NIMドキュメント。
- Ollama GitHub -- 並行処理とデプロイの挙動に関して参照した公式Ollamaリポジトリとissueトラッカー。
- NVIDIA AI Enterprise -- NIMが配布されるAI Enterprise購読に関するNVIDIAの製品ページ。
- NVIDIA NIM FAQ -- NIMに関するNVIDIAのライセンス説明:最大16 GPUでのDeveloper Program利用、本番向けのNVIDIA AI Enterpriseライセンス、開始価格。
よくある質問
vLLMとNVIDIA NIMの違いは何ですか?
vLLMは、自分でホストして運用する無償のオープンソース(Apache 2.0)推論サーバーです。NVIDIA NIMはNVIDIAのビルド済みコンテナで、NVIDIAの現行ドキュメントによればNVIDIA最適化済みのvLLMまたはSGLangエンジンをパッケージ化しています。本番利用にはNVIDIA AI Enterpriseライセンスが必要で、ベンダーサポートが付きます。vLLMはチューニングとサポートを自前で行う代わりに制御権とライセンス料ゼロが得られ、NIMはそれをライセンス費用と引き換えにします。PromptQuorumは両者のベンチマーク比較を行っていません。
Ollamaはエンタープライズのマルチユーザー推論サービングに使えますか?
本番のマルチテナントトラフィックには推奨しません。OllamaはOLLAMA_NUM_PARALLEL(デフォルト1)とキューで並列リクエストを処理しますが、continuous batchingやPagedAttention型のメモリ管理は文書化されておらず、Kubernetesネイティブのオートスケールもドキュメントに記載がありません。開発者のマシン、シングルユーザーのエッジデバイス、低トラフィックの社内プロトタイプには適しています。
NVIDIA NIMはオープンソースのvLLMやTGIに対してライセンス費用に見合う価値がありますか?
ベンダーサポート契約とNVIDIAのパッケージ化がライセンス費用に見合うか、それともインフラを無償に保って自分で運用するか次第です。ベンダーのサポート契約を求める規制対象の企業は費用を正当化することが多く(監査ログは別途追加する必要があります)、社内にMLインフラの専門知識があるチームはライセンス費用なしでvLLMを運用することが多いです。
複数のGPUとノードにわたってLLM推論をどうスケールしますか?
テンソル並列で1つのモデルの層を1ノード内のGPUに分割し、モデルが1ノードのGPUメモリ合計を超える場合はパイプライン並列で複数ノードに分割します。vLLMは両方に対応し(マルチノードはRayまたはmultiprocessing)、TGIはテンソル並列に対応しますが公式のマルチノードツールは少なくメンテナンスモードです。NIMはモデルプロファイルでマルチGPUモデルをデプロイし、NIM OperatorでKubernetes上で動作します。
各推論サーバーはどの量子化形式に対応していますか?
vLLMはGPTQ、AWQ、FP8、INT4に対応します。TGIはbitsandbytes、GPTQ、AWQ、EETQ、Marlin、FP8を挙げています。NVIDIA NIMはモデルプロファイルとGPUごとに精度を選びます。OllamaはQ4〜Q8精度のGGUF形式を使い、マルチテナントのスループットではなく単一マシンでのメモリ節約が目的です。
vLLMやTGIをKubernetesに展開するにはどうしますか?
vLLMはHelmチャート、KServe、vllm-projectのproduction-stackなど、複数のKubernetes導入方法を文書化しています。TGIはコンテナイメージを提供しており、独自のマニフェストで包んで使います。GPU割り当てに合わせたリソース要求を設定し、CPUではなくリクエストキュー深度またはGPU使用率でオートスケールし、メトリクスのエンドポイントを収集するPrometheus ServiceMonitorを追加してください。
Continuous batchingとは何で、なぜエンタープライズサービングで重要ですか?
Continuous batchingは、現在のバッチの終了を待たずに、すでに実行中のGPUバッチに新しいリクエストを加えられる仕組みです。不均一な実運用のトラフィックでもGPU使用率を高く保つため、vLLM、TGI、NIM内のエンジンで標準となっており、Ollamaのようなシングルユーザー向けツールとの最大の違いの一つです。
どの推論サーバーが最もオブザーバビリティに優れていますか?
vLLMは/metricsエンドポイントでメトリクスを公開し、TGIはPrometheusメトリクスとOpenTelemetryトレースを提供します。既存のPrometheus/Grafana構成にそのまま適合します。NVIDIA NIMはOperator経由でDCGMおよびNIM固有のメトリクスに対応し、NVIDIA中心のインフラに適しています。Ollamaのドキュメントにはメトリクスのエンドポイントの記載がありません。
複数モデルには別々のGPUフリートが必要ですか、それとも1つのプールを共有できますか?
実務上、複数モデルを運用する企業は通常、1つのプールを共有するのではなく、モデルごとに独立したレプリカプールを運用します。GPUメモリはサイズの大きく異なるモデル間できれいに時分割できないためです。複数モデルを同じGPUレプリカに同居させようとするより、アプリケーション層やゲートウェイ層で適切なプールへリクエストをルーティングしてください。
vLLM、TGI、NVIDIA NIMでライセンスはどう異なりますか?
vLLMとHugging Face TGIはどちらもApache 2.0ライセンスで、どの規模でも無償です。支払うのは基盤のGPUインフラのみです。NVIDIA NIMは本番利用にNVIDIA AI Enterpriseライセンスが必要で、NVIDIAのFAQによればGPUあたり年額4,500ドルからで、GPUハードウェア費用に上乗せされます。Developer Programのメンバーは最大16 GPUで研究・開発向けにNIMをセルフホストできます。最新の価格はNVIDIAに直接確認してください。OllamaはMITライセンスで無償、サポートはコミュニティのみです。
Hugging Face TGIはまだメンテナンスされていますか?
TGIはメンテナンスモードです。READMEによれば、Hugging Faceは軽微なバグ修正、ドキュメント改善、軽量なメンテナンスのみを受け付けており、GitHubリポジトリは2026年3月にアーカイブ(読み取り専用)されました。最終リリースは2025年12月のv3.3.7で、Hugging Faceは新規デプロイにvLLMとSGLangを推奨しています。既存のTGIデプロイは動き続けますが、移行を計画してください。
vLLMとTensorRT-LLMはどう違いますか?
vLLMは、Hugging Face形式のモデルを直接読み込み、NVIDIAとAMDのGPUやその他のハードウェアで動く汎用のサービングエンジンです。TensorRT-LLMは、NVIDIA GPU向けのNVIDIAの推論ライブラリです。以前のバージョンは、モデルを事前にGPU固有のTensorRTエンジンへコンパイルしていました。NVIDIAの現行ドキュメントは、TensorRTエンジンバックエンドが削除されたPyTorchベースのワークフローを説明しているため、導入するバージョンを確認してください。vLLMは通常、導入が簡単でハードウェアとモデルの対応範囲が広く、TensorRT-LLMはNVIDIA GPUに専念するチームに向きます。TensorRT-LLMの解説を参照してください。