重要なポイント
- OlliteRT(github.com/NightMean/OlliteRT)は、LLMをローカルで実行しHTTP経由で提供する無料・オープンソースのAndroidアプリで、チャットアプリではない
- 開発者NightMeanが作成。リポジトリは2026年4月6日に作成された
- Apache-2.0ライセンス、GitHubリポジトリのライセンスメタデータで確認済み
- GoogleのLiteRT-LMランタイム経由で完全にオンデバイスで動作し、
.litertlmモデルファイルのみを使用 — GGUFには非対応 - OpenAI互換のHTTP API(チャット補完、補完)に加えてAnthropic Messages API互換エンドポイントを公開し、ローカルネットワーク上の他のデバイスが呼び出せる
- このレビュー時点でGitHubスター350超、フォーク47。最新のタグ付きリリースはv0.9.6-beta.1(2026年6月6日)で、プロジェクトはまだ1.0リリースに達していない
📍 一文で説明
OlliteRTは、開発者NightMeanが作った無料・オープンソース(Apache-2.0)のAndroidアプリで、GoogleのLiteRT-LMランタイムを使い、スマートフォンを完全にローカルなOpenAI互換LLM推論サーバーに変え、このレビュー時点でGitHubスター350超を獲得している。
💬 簡潔に説明
スマートフォン上でチャットアプリを動かす代わりに、OlliteRTはスマートフォン自体を小さなサーバーに変えます。モデルを読み込ませてサーバーを起動すれば、家庭内ネットワーク上の他のデバイス — ノートPC、スクリプト、ホームオートメーションツール — がテキストを送って応答を受け取れます。OpenAIのAPIと話すのと同じ要領で、すべてがスマートフォン上で動くだけです。
📌補足: このレビューはOlliteRT自身のGitHubリポジトリ、README、リリース履歴に基づいています。特定のスマートフォン機種でPromptQuorumが実際にスループットやバッテリー消費のベンチマークを行ったとは主張していません。
OlliteRTとは?
OlliteRTは、実行しているスマートフォンをローカルLLM推論サーバーに変えるAndroidアプリケーションで、GitHubリポジトリ自身の説明では「Androidスマートフォンを、完全にローカルでプライベート、オープンソースなOpenAI互換LLM推論サーバーに変える」ことができるとされています。 それ自体の組み込みチャットウィンドウは持たず、目的は推論を実行し、他のソフトウェアからのHTTPリクエストに応答することです。
- 製品タイプ:Androidのバックエンドサーバーアプリケーションであり、チャットクライアントではない — チャットUIは一切含まれない
- 作成者:開発者NightMean。GitHubリポジトリはgithub.com/NightMean/OlliteRTでホストされている
- GitHubのリポジトリメタデータによると、リポジトリは2026年4月6日に作成された — このレビュー時点では若いプロジェクト
- ライセンス:Apache-2.0、GitHubリポジトリのライセンスメタデータで確認済み
- 推論エンジン:GoogleのLiteRT-LMオンデバイスランタイム。Google自身のAndroidツールのオンデバイスAI機能で使われているのと同じ基盤技術
- 規模:このレビュー時点でGitHubスター350超、フォーク47
プロジェクトの歴史とバージョンの節目
OlliteRTのGitHubリポジトリは2026年4月6日に作成され、それ以降3つのタグ付きプレ1.0リリースを出荷しており、いずれもまだベータと表示されています。
- 12026年4月6日:リポジトリ作成
Why it matters: GitHubのリポジトリメタデータによると、プロジェクトの開始を示す。 - 2v0.9.0-beta.1 — 2026年4月24日
Why it matters: プロジェクトのGitHubリリースページで見つかった最初のタグ付きリリース。 - 3v0.9.5-beta.1 — 2026年4月30日
Why it matters: 最初のタグからおよそ1週間後に続いたベータリリース。 - 4v0.9.6-beta.1 — 2026年6月6日
Why it matters: このレビュー時点で最新のタグ付きリリース。プロジェクトはまだ1.0を出荷していない。
OlliteRTは実際に何をするのか?
OlliteRTはスマートフォン上で.litertlmモデルファイルを読み込み、GoogleのLiteRT-LMランタイムを通じてスマートフォン自身のCPUとGPUを使って推論を実行し、同じネットワーク上の他のデバイスが呼び出せるOpenAI互換のHTTP API経由で結果を提供します。
- オンデバイス推論:GoogleのLiteRT-LMランタイムのみを使用 — クラウドフォールバックや他のバックエンドエンジンはない
- モデル形式:
.litertlmファイルのみ。llama.cppベースのツールが使うGGUFには非対応 - モデル取得:プロジェクトのREADMEによると、対応モデルはHuggingFaceからワンタップでダウンロード可能
- API互換性:OpenAI互換のチャット補完・補完エンドポイントに加え、Anthropic Messages API互換エンドポイントをローカルネットワーク上でHTTP経由で公開
- マルチモーダル対応:READMEによると、基盤となるモデル自体がそのモードに対応していれば、視覚、音声、「思考」(推論)モデルに対応
- ハードウェアアクセラレーション:モデルごとに設定可能なGPUまたはCPUアクセラレーション設定
- 運用ツール:組み込みのベンチマークツール、JSONハイライト付きのアクティビティログ、サーバー監視ダッシュボード、Prometheusメトリクス統合、Home Assistant REST API統合
- 単一モデル・逐次処理設計:READMEでは、一度に読み込まれるモデルは1つのみで、リクエストは並列ではなく逐次処理されると記載されている
使用例:OlliteRTの2つの使い方
以下は、上記のプロジェクトが文書化した機能をもとにした具体的なワークフローです。
OlliteRTのインストール
OlliteRTはGitHubリリースからAPKとして無料でインストールでき、ソースコードはGitHubにあります。
ソース | リンク |
|---|---|
| GitHubリリース(APKダウンロード) | github.com/NightMean/OlliteRT/releases |
| GitHubリポジトリ(ソースコード、Apache-2.0) | github.com/NightMean/OlliteRT |
このレビュー時点で、OlliteRTはGitHubリリースからの直接APKダウンロードのみで配布されています — このレビューではGoogle PlayやF-Droidへの掲載は見つかりませんでした。Android 12以降のarm64-v8aデバイスが必要です。Google Play以外からAPKをインストールするには、Androidの設定で「不明なソースからのインストール」を有効にする必要があります。APKは必ず公式のGitHubリリースページからのみダウンロードしてください。
プラットフォーム、料金、ライセンス
プラットフォーム
- OlliteRTの記載内容:
- Androidのみ(arm64-v8aデバイス、Android 12以上)。iOS、デスクトップ、Web版はない。
料金
- OlliteRTの記載内容:
- 無料・オープンソース。READMEにアカウント、サブスクリプション、アプリ内課金の記載は見当たらない。
ライセンス
- OlliteRTの記載内容:
- Apache-2.0、GitHubリポジトリのライセンスメタデータで確認済み。
ハードウェア最小要件
- OlliteRTの記載内容:
- READMEによると最小6GB RAM。8GB以上推奨。Gemma 4 E4B(12GB RAM必要)のような大規模またはマルチモーダルモデルにはさらに多く必要。
インストール方法
- OlliteRTの記載内容:
- GitHubリリースページからの直接APKダウンロード。このレビュー時点でGoogle PlayやF-Droidへの掲載は見つからない。
プロジェクトはまだ1.0未満で発展途上のため、スマートフォンやモデルを選ぶ前に、現在のハードウェア推奨事項と対応モデル一覧をGitHubで直接確認してください。両方とも変わる可能性があります。
OlliteRT vs. PocketPal AI
OlliteRTとPocketPal AIはどちらもスマートフォン上でLLMをローカル実行しますが、目的が異なります。OlliteRTは他のデバイスが話しかけるヘッドレスサーバーであり、PocketPal AIはスマートフォン本体で直接使うチャットアプリです。
項目 | OlliteRT | PocketPal AI |
|---|---|---|
| 主な用途 | ネットワーク上の他のデバイス向けのヘッドレス推論サーバー | スマートフォン上で直接使うオンデバイスチャットアプリ |
| チャットインターフェース | 含まれない | 組み込みチャットUIあり |
| 推論エンジン | Google LiteRT-LM | llama.cppベース(GGUFモデル) |
| モデル形式 | .litertlmのみ | GGUF |
| プラットフォーム | Androidのみ | AndroidとiOS |
| APIサーバー | OpenAI互換HTTP API、中核機能 | 中核機能ではない |
ノートPC、スクリプト、スマートホームハブからサーバー役のスマートフォンにリクエストを送りたいなら、OlliteRTはそのために作られています。スマートフォン自体の画面で直接ローカルモデルとチャットしたいなら、PocketPal AIのようなチャット優先のアプリの方が向いています。詳細はPocketPal AIレビューを参照してください。
OlliteRTは誰に向いているか?
OlliteRTは、スマートフォン上のモデルとチャットするのではなく、Androidスマートフォンを他のデバイス向けの専用の完全ローカルLLMサーバーとして再利用したい開発者やホビイストに向いています。
OlliteRTが向いていないケース
OlliteRTは、チャットインターフェース、GGUFモデル対応、並列リクエスト処理、または長く確立された安定したリリース履歴が必要な場合には向いていません。
- チャットアプリではない — 組み込みのチャットウィンドウを持たず、他のソフトウェアからのHTTP APIリクエストにのみ応答する
- GGUF非対応 —
.litertlmモデルファイルのみで動作するため、別途変換手順なしにはllama.cpp、Ollama、その他ほとんどのローカルLLMツールが使うGGUFモデルを読み込めない - 同時負荷向けに作られていない — READMEには、読み込まれるモデルは1つで逐次処理されると記載されており、マルチユーザーや高スループットのサーバーとしては設計されていない
- iOS非対応 — Androidのみ、それもarm64-v8aデバイスに限定
- 成熟した1.0リリースではない — このレビュー時点でリポジトリはおよそ5か月しか経っておらず、最新のタグ付きバージョン(v0.9.6-beta.1)もまだベータラベル付き
OlliteRT評価時のよくある誤解
OlliteRTに関する混乱の多くは、チャットアプリだと思い込んだり、そのモデル形式をGGUFと混同したり、若いプロジェクトであることを見落とすことから生じます。
競合と代替案
OlliteRTは、他のAndroid/モバイル向けローカルLLMアプリと比較されることが最も多く、その主な差別化要因は、スマートフォン上のチャットクライアントではなく、ヘッドレスでOpenAI互換のサーバーであることです。
ツール | 主な特徴 | リンク |
|---|---|---|
| PocketPal AI | AndroidとiOS向けのオンデバイスチャットアプリ、llama.cpp経由のGGUFモデル | PocketPal AIレビュー |
| Layla | ローカルで検閲なしのロールプレイとアシスタント用途に特化したAndroidチャットアプリ | Laylaレビュー |
| Google AI Edge Gallery | LiteRT/MediaPipe経由のオンデバイスモデルのためのGoogle自身のショーケースアプリ | Google AI Edge Galleryレビュー |
| MLC Chat | MLC LLMコンパイラスタック上に構築されたクロスプラットフォーム(Android/iOS)のローカルチャットアプリ | MLC Chatレビュー |
このリストは、モバイル/オンデバイスLLM分野でOlliteRTとよく比較されるツールを反映したものであり、PromptQuorumの独自ランキングではありません。選ぶ前に各ツールの現在の機能と対応モデル形式を確認してください。
よくある質問
OlliteRTとは何ですか?
OlliteRT(github.com/NightMean/OlliteRT)は、開発者NightMeanが作った無料・オープンソース(Apache-2.0)のAndroidアプリで、GoogleのLiteRT-LMランタイムを使い、スマートフォンを完全にローカルなOpenAI互換LLM推論サーバーに変えます。
OlliteRTにチャットインターフェースはありますか?
いいえ。OlliteRTには組み込みのチャットウィンドウがありません。ヘッドレスサーバーであり、アプリに直接入力するのではなく、別のデバイスやアプリケーションからそのHTTP API経由でやり取りします。
OlliteRTは無料ですか?
はい、OlliteRTはApache-2.0ライセンスの下で無料・オープンソースです。このレビューではアカウント、サブスクリプション、アプリ内課金の要件は見つかりませんでした。
OlliteRTはどのモデル形式を使いますか?
OlliteRTはGoogleのLiteRT-LMオンデバイスランタイム向けの.litertlmモデルファイルのみを使用します。llama.cppベースのツールが使うGGUFには対応していません。
OlliteRTのハードウェア要件は何ですか?
Android 12以降のarm64-v8aデバイスで、最小6GB RAM(8GB以上推奨)です。プロジェクトのREADMEによると、Gemma 4 E4Bのような大規模またはマルチモーダルモデルには12GB以上のRAMが必要です。
OlliteRTはインターネット接続なしで動作しますか?
モデルをダウンロードすれば、推論自体は完全にオンデバイスで動作するため、そのためのインターネット接続は不要です。他のデバイスがスマートフォンのAPIサーバーに到達するにはローカルネットワーク接続が必要で、HuggingFaceから最初にモデルをダウンロードするにはインターネットアクセスが必要です。
OlliteRTは複数のリクエストを同時に処理できますか?
いいえ。プロジェクトのREADMEには、一度に読み込まれるモデルは1つで、リクエストは並列ではなく逐次処理されると記載されています — 同時・マルチユーザー負荷向けには設計されていません。
OlliteRTはiOSで使えますか?
いいえ、OlliteRTはAndroid専用で、特にAndroid 12以降のarm64-v8aデバイスが必要です。
OlliteRTのインストール方法は?
GitHubリリースページからAPKを直接ダウンロードしてください。このレビュー時点で、Google PlayやF-Droidには掲載されていません。
OlliteRTは成熟した安定したプロジェクトですか?
まだではありません。GitHubリポジトリは2026年4月に作成され、最新のタグ付きリリース(v0.9.6-beta.1、2026年6月)もまだベータラベル付きです — 積極的に開発中の1.0前のプロジェクトとして扱ってください。