重要なポイント
- GitHub（BerriAI/litellm）でオープンソース公開。本レビュー時点で約58,663スター、11,415フォーク
- コアリポジトリはリポジトリ自身のLICENSEファイルによればMITライセンス。別のライセンスが
enterprise/サブディレクトリにのみ適用される — 本レビューではLICENSEファイルを直接確認して検証 - 2つの製品：コードから直接プロバイダーを呼び出すPython SDKの
litellm（pip install litellm）と、管理ダッシュボード付きのセルフホスト型ゲートウェイであるLiteLLM Proxy Server（`pip install 'litellm[proxy]'`またはDocker） - プロジェクト自身のREADMEによれば、100以上のプロバイダーAPI（OpenAI、Anthropic、Google Gemini、AWS Bedrock、Azure OpenAI、Ollamaなど）を単一のリクエスト/レスポンス形式の背後に統合
- READMEとドキュメントサイトに記載された機能：ロードバランシング、ルーティング、フォールバック/フェイルオーバー、キー単位・ユーザー単位の予算、レート制限、リクエストキャッシュ、支出ロギング
- GPU不要 — LiteLLMはモデルの重みを実行するのではなくリクエストを転送する。プロキシの本番デプロイにはPostgreSQL（キー、支出データ）とRedis（インスタンス間のレート制限）が必要で、GPUは不要
- Docker（
docker.litellm.ai/berriai/litellm）、Helmチャート、公式のAWS ECS Fargate Terraformモジュール、公式のGoogle Cloud Run Terraformモジュール、またはRender/Railwayのワンクリックボタン経由でデプロイ可能 - litellm.ai/enterpriseには、SSO、優先機能リクエスト、専任サポートをカバーする別の有償Enterpriseティアが存在する — オープンソースのSDKとプロキシは、それなしでも完全に利用可能
📍 一文で説明
LiteLLMは、アプリケーションが単一のOpenAI互換インターフェースで100以上のLLMプロバイダーAPIを呼び出せるようにするオープンソースのゲートウェイで、Python SDKとして、またはルーティング・フォールバック・コスト追跡・レート制限を備えたセルフホスト型プロキシサーバーとして利用できます。
💬 簡潔に説明
アプリが今日はOpenAIと話し、明日はAnthropicやローカルのOllamaモデルと話す必要がある場合、通常はそれぞれ統合コードを書き直すことになります。LiteLLMはその間に入り、各プロバイダーのAPIを同じOpenAI風の形式に変換するので、コード側は1つの形式だけ覚えればよく、プロキシ版ではさらに誰が何にいくら使っているかを見るダッシュボードが付きます。
📌補足: 本レビューは、ローカルLLMソフトウェアディレクトリにあるLiteLLMのエントリーを深掘りする姉妹記事です — LiteLLMが他の数十のローカルAIツールと比べてどう位置づけられるかは、そちらのページで一覧できます。
LiteLLMとは何か？
LiteLLMは、単一のOpenAI互換リクエスト形式を100以上の異なるLLMプロバイダーAPIへの呼び出しに変換するゲートウェイです。 自身のGitHub READMEでは「最速・最軽量のAIゲートウェイ」と説明されており、Rustコアの上にPython SDKを載せた構成になっています — これはプロジェクト初期の純Python実装からの変化です。OpenAI API、Anthropic API、ローカルのOllamaサーバーそれぞれに個別のクライアントコードを書く代わりに、アプリケーションはLiteLLMを一度呼び出すだけで、LiteLLMがそのモデル名に設定されたプロバイダーへリクエストを転送します。
- 中核機能：OpenAIの
chat/completions形式（または対象プロバイダーのネイティブ形式）でリクエストを受け取り、設定済みのプロバイダーに転送し、正規化されたレスポンスを返す - 2つのアクセス方法：アプリケーションのコードに直接インポートするPython SDK
litellmと、他のアプリケーションがHTTP経由で呼び出す独立サービスのLiteLLM Proxy Server - 開発元：github.com/BerriAI/litellmリポジトリを運営する組織BerriAI
- モデルランタイムではない：LiteLLM自体はモデルの重みを読み込んだり推論を実行したりせず、クラウドAPIやOllama・vLLMのようなローカルサーバーなど、それを行うプロバイダーへリクエストをルーティングする
- ドキュメントによる本番向け機能：仮想APIキー、キー単位・ユーザー単位の支出予算、レート制限、同一モデルの複数デプロイ間でのロードバランシング、プロバイダーがエラーを返した際の自動フォールバック
LiteLLMで何ができるか？
LiteLLMの機能セットは、リクエストルーティング、コスト管理、信頼性という、プロバイダーとユーザーが増えるほど難しくなるLLMアプリケーション運用の部分をカバーしています。LiteLLM自身のドキュメントによる内容は次のとおりです。
- 統一されたAPI表面 — OpenAI形式でリクエストを送信すると、LiteLLMが対象モデルのプロバイダーが要求するネイティブ形式に変換し、レスポンスを正規化して返す
- ルーティングとロードバランシング — 単一障害点やレート制限の上限を避けるため、同一モデルの複数デプロイ（例：複数のAzure OpenAIリージョン）にトラフィックを分散
- フォールバックとリトライロジック — エラーをエンドユーザーに表示する代わりに、失敗したリクエストを別のプロバイダーやモデルデプロイに対して自動的に再試行
- コスト追跡と予算 — APIキー、ユーザー、チーム単位で支出を記録し、上限を超えると以降のリクエストをブロックする厳格な予算上限を設定
- レート制限 — キーまたはユーザーごとに分あたり/トークンあたりのリクエストを制限し、Redis経由で複数のプロキシインスタンス間でも一貫して適用
- ガードレールとロギング — コンテンツモデレーションやオブザーバビリティ統合向けのフック、および監査用の構造化されたリクエスト/レスポンスロギング
- 管理ダッシュボード — 設定ファイルを直接編集せずに仮想キーの管理、支出の確認、モデルの設定を行えるWeb UI（プロキシの
/uiで提供） - ローカルランタイムでも動作 — OpenAIやAnthropicを呼び出すのと同じルーティング層が、ローカルのOllamaやvLLMエンドポイントも同様に指せるため、1つのゲートウェイでクラウドモデルとローカルモデルを混在させられる
利用例：LiteLLMを使う2つの方法
これらは上記で説明したLiteLLMのインストール経路に基づく具体的なワークフローであり、仮定の話ではありません。
LiteLLMのインストール：SDK、プロキシ、Docker
LiteLLMはフレームワーク兼セルフホスト型ゲートウェイであり、エンドユーザー向けのダウンロード可能なアプリではありません — アプリストアから「入手」するインストーラーは存在しません。 以下は、LiteLLM自身のドキュメントおよびDockerクイックスタートに基づく実際のインストール・クイックスタートコマンドです。正確なフラグやイメージタグはリリースごとに変わる可能性があるため、デプロイ前には必ずドキュメントを直接確認してください。
Python SDK
- コマンド:
pip install litellm（またはuv add litellm）
Proxy Server（pip）
- コマンド:
- `pip install 'litellm[proxy]'
の後litellm --model gpt-4o`
Proxy Server（Docker）
- コマンド:
docker run -v $(pwd)/config.yaml:/app/config.yaml -e OPENAI_API_KEY=<key> -e LITELLM_MASTER_KEY=sk-1234 -p 4000:4000 docker.litellm.ai/berriai/litellm:latest --config /app/config.yaml
Helm（Kubernetes）
- コマンド:
helm install litellm oci://ghcr.io/berriai/litellm-helm -f values.yaml
AWS ECS Fargate
- コマンド:
- 公式Terraformモジュール
BerriAI/litellm/aws（VPC、Aurora PostgreSQL、ElastiCache Redis、ALB、ECSをプロビジョニング）
Google Cloud Run
- コマンド:
- 公式Terraformモジュール
BerriAI/litellm/google（Cloud SQL、Memorystore Redis、GCS、HTTPSロードバランサーをプロビジョニング）
プロキシはデフォルトでポート4000を使用し、管理ダッシュボードはhttp://localhost:4000/uiにあります（デフォルトログイン：ユーザー名admin、パスワードはLITELLM_MASTER_KEYと同じ）。最小限のconfig.yamlには、model_nameをlitellm_params（実際のプロバイダーのモデル文字列とそのAPIキー）にマッピングするmodel_list配列が必要です — 完全な例はプロキシクイックスタートを参照してください。LiteLLMのデプロイドキュメントによると、RenderとRailwayもプロキシ用のワンクリックデプロイボタンを提供しています。
LiteLLMの料金：本当に無料か？
オープンソースのSDKとProxy Serverは無料です — LiteLLM経由でルーティングする基盤プロバイダーAPI呼び出しの費用と、自身のホスティング費用だけを支払います。 LiteLLM自体は、オープンソース経路についてリクエストごとやトークンごとの課金を行いません。プロジェクト自身のサイトによると、litellm.ai/enterpriseには、SSO、優先機能リクエスト、専任サポートをカバーする別の有償LiteLLM Enterpriseティアが存在します — 本レビューでは公開されたEnterprise料金は見つからず、見積もりについてはLiteLLMに直接問い合わせることを推奨します。
- オープンソースのSDKとProxy Server：ライセンス料なし、コアリポジトリはMITライセンス（下のライセンスに関する注記を参照）
- ルーティング先のプロバイダーへの支払いは引き続き発生する — LiteLLMはOpenAI、Anthropic、Bedrockの料金を下げるわけではなく、統合し記録するだけ
- プロキシのセルフホストには独自のインフラコストがかかる：サーバーまたはコンテナホスト、加えて本番利用にはPostgreSQLとRedis
- litellm.ai/enterpriseによれば、LiteLLM Enterpriseは同じオープンソースコアの上にSSO、優先サポート、その他のビジネス機能を追加する — 料金は公開されておらず、企業への問い合わせが必要
LiteLLM vs. vLLM vs. LocalAI
LiteLLM、vLLM、LocalAIは異なる問題を解決していますが、3つともOpenAI互換APIを公開しているため混同されがちです。 LiteLLMは他所で動いているモデルへリクエストをルーティングし、vLLMとLocalAIは自らモデルの重みを実行します。
観点 | LiteLLM | vLLM | LocalAI |
|---|---|---|---|
| 何をするか | プロバイダーへリクエストをルーティング | 自らモデルを提供 | 自らモデルを提供 |
| モデルの重みを実行するか | しない | する | する |
| ライセンス | MIT（+ enterprise例外） | Apache-2.0 | MIT |
| GPUの要否 | 不要（ルーターのみ） | リアルタイム提供には必要 | モデル次第 |
| 最適な用途 | マルチプロバイダーのルーティングと支出追跡 | 高スループットのセルフホスト提供 | 単一のセルフホスト型OpenAI互換API |
これらのツールは代替品としてではなく、一緒に使われることが一般的です。LiteLLMはvLLMやLocalAIのデプロイの手前にルーティング・コスト追跡層として配置でき、実際のモデル推論はvLLMやLocalAIが行います。この2つの詳細については、専用記事のvLLM解説とLocalAI解説を参照してください。
LiteLLMは誰に向いているか？
LiteLLMが合うかどうかは、あなたのアプリケーションがすでに複数のLLMプロバイダーを呼び出している、あるいは呼び出す予定があるかどうかによります — 単一プロバイダーのアプリはルーティング層の恩恵が少なくなります。
LiteLLM vs. 他のゲートウェイとフレームワーク
本レビュー時点で、LiteLLMはPromptQuorumのローカルLLMソフトウェアディレクトリにおいて専用レビューを持つ最初のルーター/ゲートウェイカテゴリーのツールです — 直接比較できる同一セグメント（ルーター/ゲートウェイ）の2つ目のツールはまだありません。代わりに、ディレクトリ内の同じ「Run & Serve」区分にある近接ツール、そしてディレクトリ外のよく知られたホスト型代替サービスが、最も有用な比較対象になります。
- vLLM — 実際にモデルの重みを提供するセルフホスト型推論エンジン（GPU必須）。LiteLLMと競合するというより組み合わせて使われることが多く、LiteLLMが1つ以上のvLLMデプロイの手前でルーティング層として機能する。
- LocalAI — オープンモデルをローカルで実行するための、セルフホスト型でOpenAI互換のAPIサーバー。LiteLLMとは異なる問題（提供 vs. ルーティング）を解決するが、似たOpenAI形式のAPIを公開しており、両者の混同の一般的な原因となっている。
- LangChain — チェーン、エージェント、メモリなどLLM搭載アプリを構築するためのアプリケーションフレームワーク。LiteLLMが行うことを置き換えるのではなく、モデルアクセス層としてLiteLLM（または任意のプロバイダーを直接）を呼び出せる。
- OpenRouter（外部、PromptQuorumのディレクトリには非掲載） — LiteLLMのプロキシと似たマルチプロバイダーのユースケースをカバーするホスト型・マネージドのルーティングサービスだが、自分でホストするインフラではなく呼び出すサードパーティサービスである。自前のプロキシを運用する代わりにゼロ運用のルーティングを求めるなら直接比較する価値がある。
LiteLLM評価時のよくある誤解
LiteLLMに関する混乱の多くは、モデル提供エンジンと混同すること、またはライセンスを単純化しすぎることから生じます。
よくある質問
LiteLLMとは何ですか？
LiteLLM（github.com/BerriAI/litellm）は、アプリケーションが単一のOpenAI互換インターフェースで100以上のLLMプロバイダーAPIを呼び出せるようにするオープンソースのゲートウェイで、Python SDKとして、またはルーティング・コスト追跡・レート制限を備えたセルフホスト型プロキシサーバーとして利用できます。
LiteLLMは無料ですか？
オープンソースのSDKとProxy Serverは無料です — 基盤プロバイダーAPI呼び出しの費用と自身のホスティング費用のみ支払います。別途有償のLiteLLM EnterpriseティアがSSOと専任サポートを追加しますが、料金は公開されておらず、LiteLLMへの直接問い合わせが必要です。
LiteLLMはどのライセンスを使っていますか？
コアリポジトリは、リポジトリ自身のLICENSEファイルによればMITライセンスです。enterprise/サブディレクトリにのみ別のライセンスがenterprise/LICENSEの下で適用されます — 本レビューではリポジトリのLICENSEファイルを直接確認して検証しました。
LiteLLMにGPUは必要ですか？
いいえ。LiteLLMはモデル推論エンジンではなくリクエストルーターです — 自らモデルの重みを実行するのではなく、プロバイダー（クラウドAPIやOllamaのようなローカルランタイム）へ呼び出しを転送するため、CPUのみのハードウェアでも問題なく動作します。
LiteLLMのインストール方法は？
Python SDKの場合：pip install litellm。セルフホスト型プロキシの場合：`pip install 'litellm[proxy]'の後litellm --model gpt-4oを実行するか、config.yamlをマウントしてDockerイメージdocker.litellm.ai/berriai/litellm:latest`を実行します。Helm、AWS ECS Fargate、Google Cloud Runのオプションは上のインストール表を参照してください。
LiteLLMプロキシにはデータベースが必要ですか？
本番利用でははい — LiteLLM自身のデプロイドキュメントによれば、PostgreSQLが仮想キーと支出データを永続化し、Redisが複数のプロキシインスタンス間でレート制限を一貫させます。簡単なローカルテストであればどちらもなしで動作しますが、それらの機能は失われます。
LiteLLMはローカルにホストされたモデルへルーティングできますか？
はい。OpenAIやAnthropicを指すconfig.yamlの同じmodel_listが、ローカルのOllamaやvLLMエンドポイントを同様に指すことができ、1つのゲートウェイでクラウドモデルとローカルモデルを混在させられます。
LiteLLMはOpenRouterとどう比較されますか？
どちらも複数のLLMプロバイダーを単一インターフェースの背後に統合します。LiteLLMは自分で運用するセルフホスト型インフラ（オープンソースのプロキシまたはSDK）であり、OpenRouterは自前で運用する代わりに呼び出すサードパーティのホスト型ルーティングサービスです。ゼロ運用（OpenRouter）を望むか、ルータープロバイダーによるリクエストあたりのマークアップなしの完全な制御（セルフホスト型LiteLLM）を望むかで選択します。
LiteLLMは誰が開発していますか？
github.com/BerriAI/litellmリポジトリを運営する組織BerriAIです。本レビュー時点で約58,663スター、11,415フォークを示しています。