跳转到主要内容
PromptQuorum为人类设计。 为AI结构化。
主页/本地LLM进阶
Mobile & Edge LLMs

2026年安卓本地AI：能做什么、不能做什么，以及我们收录的应用

·阅读约45分钟 作者 · PromptQuorum创始人 · 开放权重与开源AI发现引擎

可以：较新的安卓手机能离线运行实用的本地AI，但只能是小模型。 6至8 GB 内存可期待10亿到40亿参数，12至16 GB 内存在低比特量化下可达70亿到80亿。聊天、拍照提问、语音听写、文档问答和翻译都能用；前沿模型的质量、超长上下文、持续的高速度以及常驻后台的助手则做不到。与 iPhone 相比，安卓在某些方面选择更多或更容易：可以从应用商店之外安装应用、使用 Termux，还能让手机充当本地 API 服务器。

关键要点

  • 安卓上的本地AI是真实可用的，可以离线运行，但它是小模型AI。 6至8 GB 内存的手机可处理10亿到40亿参数的模型；12至16 GB 内存的手机在低比特量化下可容纳70亿到80亿参数。云端级别的回答、长文档和又快又长的回复都够不着。
  • 内存决定能装下什么；内存带宽、发热和芯片决定速度有多快。 模型必须装进安卓系统之外的剩余可用内存，而生成速度的上限取决于手机每生成一个 token 时从内存读取模型的速度。
  • 几乎所有应用背后都是四大引擎之一： llama.cpp（GGUF 文件，CPU，有时支持 GPU）、Google LiteRT-LM（Gemma 及其他模型，GPU，并日益支持 NPU）、MLC（预编译模型，OpenCL GPU）以及搭载 Gemini Nano 的 Google AICore（系统模型，仅限受支持的手机，应用通过 ML Kit 调用）。
  • NPU 是手机上最难触及的部分。 Google、Qualcomm 和 MediaTek 通过 LiteRT 和 Qualcomm GenieX 公布了 NPU 路径，但它们需要按芯片分别编译模型。通用的侧载 GGUF 应用通常只会用 CPU 或 GPU 运行。
  • 安卓在几个方面比 iPhone 更自由： 可以从 Google Play 之外安装应用，Termux 让手机拥有 Linux 终端，手机可以向您的笔记本电脑提供兼容 OpenAI 的 API，GGUF 模型导入也是常规功能。代价是碎片化：结果会因品牌、芯片和电池设置而异。
  • 我们目录中的大多数安卓应用都在本指南里对应到了具体任务： 聊天、视觉、语音、文档、翻译、图像生成、照片、笔记、智能家居与智能体、开发者工具，以及连接您自有服务器的远程客户端。
  • “零遥测”是一种声明，而不是保证。 设备端推理让提示词不经过服务器，但应用仍可能带有分析、广告或崩溃报告。请把“数据安全”卡片和隐私政策对照着看；两者不一致的情况比您预想的更常见。
  • 目前做不到： 离线达到前沿模型的质量、700亿参数的模型、百万 token 的上下文、不会被安卓杀掉的常驻后台助手，以及让任意应用在任意手机上访问 Gemini Nano。
选择语言:
🇺🇸en🇩🇪de🇫🇷fr🇯🇵ja🇨🇳zh🇪🇸es🇧🇷pt🇸🇦ar🇰🇷ko

2026年的安卓手机可以离线运行本地AI：聊天、拍照提问、语音听写、文档问答和翻译，都能用约10亿到40亿参数的模型完成；12至16 GB 内存的手机可以运行70亿到80亿参数的模型。本指南梳理主要能力、硬性限制以及芯片和内存的实际情况，并把我们目录中的安卓应用对应到各自最擅长的任务。

2026年安卓本地AI：能做什么、不能做什么，以及我们收录的应用

从这里开始：先装这三款应用

时间不多？从下面三款中装一款，下载一个与您手机内存相匹配的模型，并在飞行模式下测试一次。 这些推荐来自本指南的各章节和评测，而非基准测试；指南的其余部分会解释每个选择。

其他不错的起点： 在 AICore 支持 Gemini Nano 的手机上（例如 Pixel 9 或 10），可以试试 PAIOS，它使用 Google 的系统模型，无需下载；想用摄像头提问或使用 Gemma 模型，可用 Google AI Edge Gallery；想从手机运行更大的模型，可通过 LocalMind 连接到您自己电脑上的 Ollama 或 LM Studio。

📍 简单一句话

新手可以从 PocketPal AI 开始，进阶用户可以用 Maid 搭配更大的 GGUF 模型，开发者可以用 ML Kit Prompt API 或 LiteRT-LM；无论哪种情况，模型大小都取决于手机的内存。

💬 简单来说

一款应用，一个与内存匹配的模型，一次飞行模式测试。

新手

安装或使用:
PocketPal AI
首个模型:
4 至 6 GB 内存选 1 至 2B；8 GB 选 3 至 4B
选择理由:
免费，采用 MIT 许可，无需账号。模型由您自己选择，过大的模型只是无法加载；若出现这种情况，请换小一档。

进阶

安装或使用:
Maid
首个模型:
12 GB 选 4 至 8B；16 GB 选 7 至 8B，上下文要短
选择理由:
一款 GGUF 运行器，用于运行手机能容纳的最大模型。请预期手机会更慢、更热，并保持较短的上下文。

开发者

安装或使用:
ML Kit Prompt API 或 LiteRT-LM
首个模型:
Google 系统模型，或您自己的模型
选择理由:
Prompt API 用系统模型处理小型文本任务；LiteRT-LM 用于您自己的模型。其他路线在“开发者路径”一章中对比。

安装前的六个快速解答

这是读者最先问的六个问题；每个解答都指向详细说明它的章节。

📍 简单一句话

内存决定模型大小，3 至 6 GB 的可用存储可以放下首个模型，飞行模式测试能说明应用能否离线工作。

💬 简单来说

内存选模型，存储放模型，飞行模式来验证。

  • 该下载哪个模型？ 按内存选择：4 至 6 GB 选 1 至 2B，8 GB 选 3 至 4B，12 至 16 GB 选 4 至 8B，其中 7 至 8B 只有在上下文较短时才装得下。拿不准时，选小的那个。参见下文“内存档位”。
  • 需要多少存储空间？ 为首个模型留出 3 至 6 GB 的可用空间，因为模型文件以 GB 计。参见“15分钟上手”。
  • 运行速度如何？ PromptQuorum 没有为本指南进行新的速度测试。速度受内存带宽限制，因此模型越小回答越快；请留意首次提问时文字出现的快慢，并以此作为您的基准。参见“芯片”一章。
  • 哪款应用是私密的？ 不能默认任何一款是私密的。设备端推理会让您的提示词不经过厂商的推理服务器，但应用仍可能发送分析数据。请查看 Data safety 卡片、隐私政策和权限，并做飞行模式测试；PocketPal AI 这类开源应用可以审计，而闭源应用的说法则依赖信任。参见“隐私与遥测的实际情况”。
  • 没有网络能做什么？ 根据本指南的能力地图，聊天、摄像头提问、听写、文档提问和翻译在下载后配合合适的模型可以离线工作；图像生成和大模型则很慢，或需要服务器。参见“能力地图”。
  • 接下来读什么？ 按“15分钟上手”操作，把“汇总：手机档位、应用、模型大小”当作一页表格速查，如果您有具体的用途，再打开“决策路径”。

快速事实

  • 实用的模型大小： 4至6 GB 内存对应10亿到20亿参数；8 GB 对应30亿到40亿；12至16 GB 在低比特量化下对应70亿到80亿。这些是根据文件大小推算的经验法则，不是基准测试结果。
  • 通过 ML Kit GenAI 使用 Gemini Nano： Prompt API 接受文本和最多10张图片，输入约在4,000 token 以内，并且仅在调用它的应用处于前台时才能工作（Google）。
  • Gemma 4 E2B 和 E4B： Google 称它们是 Gemini Nano 4 的基础，并称 E2B 的速度最高可达 E4B 的3倍；AICore 开发者预览版于2026年4月2日开放（Android Developers Blog）。
  • NPU 路径： LiteRT 提供 Qualcomm 和 MediaTek 的 NPU 加速器；Google 报告称，在 Dimensity 9500 的 NPU 上（Vivo X300 Pro，Google 提供的数据，4K 上下文），Gemma 3n E2B 的预填充超过1,600 token/秒，解码为28 token/秒。
  • 面向开发者的 Pixel TPU： Tensor SDK 于2026年5月19日进入测试版，并列出了 Pixel 10、10 Pro、10 Pro XL 和 10 Pro Fold。
  • 安卓版本： Google AI Edge Gallery 需要 Android 12 或更高版本；LiteRT 的 NPU 文档要求 API 级别 31 或更高；AppFunctions 需要 Android 16 或更高版本。
  • Termux： 请从 F-Droid 或 GitHub 安装；Termux 维护者将 Google Play 版本标注为实验性，混用不同来源会导致无法更新。
  • 收录的应用： PromptQuorum 目录中我们依据公开资料审阅过的安卓应用，每款在合适之处链接到各自的评测一次；完整列表请见目录。
  • iPhone 读者？ 请参阅姊妹篇指南iPhone 上的本地AI。

能力地图：能做、部分能做、做不到

大多数日常AI任务在安卓手机上无需联网即可完成；需要大规模算力或持续后台运行的任务则不行。 下表给出每项能力的结论、一款起步应用以及硬性限制。下面各章会列出我们为该任务收录的应用。

“可行”表示小型设备端模型目前能较好地完成任务。“部分可行”表示需要借助服务器、只有一款应用支持，或质量上有明显限制。“不可行”表示限制来自物理条件或平台规则，而不是缺少应用。

📍 简单一句话

2026年在安卓上，聊天、拍照提问、语音听写、翻译和短文档问答可以用小模型离线运行，而大模型、长上下文和常驻助手则做不到。

💬 简单来说

可以把设备端模型想象成一位桌子很小的得力实习生：快速、私密、可离线，但装不下整座图书馆，在难题上也比不上云端模型。

能力
手机上能做吗？
起步选择
硬性限制
离线聊天可行PocketPal AI只能用小模型
拍照与图像提问可行Google AI Edge Gallery需要支持视觉的模型
语音听写（语音转文字）可行Private Mind准确率因语言而异
朗读回复可行ToolNeuron音质因应用而异
离线语音助手部分可行Home Assistant Assist安卓可能杀掉后台监听进程
文档与 PDF 提问可行AnythingLLM Mobile小模型的上下文窗口有限
翻译可行LLM Hub小语种较弱
图像生成部分可行TokForge比桌面 GPU 慢
照片搜索部分可行Ente Photos常在服务器或电脑上运行
笔记与书签中的AI部分可行KarakeepAI 通常运行在您的服务器上
智能家居中枢部分可行Scrypted手机是客户端，不是大脑
操控手机的智能体早期阶段Kai 9000系统接口仍在预览阶段
手机作为瘦客户端可行LocalMind您的服务器必须开机
在自己的应用中集成AI可行RunAnywhereNPU 需要按芯片分别构建
700亿参数的模型不可行改用服务器内存
离线达到云端级别的回答不可行改用服务器模型大小

💡提示: 如果某项任务标注为“部分可行”，通常的解决办法是远程模式：手机充当屏幕和麦克风，由电脑或家用服务器运行更大的模型。请参阅远程模式一章。

本指南是如何完成的

这是一份案头调研式的地图，而不是基准测试报告。 它由 Hans Kuepper 根据2026年11月阅读的 Google、Qualcomm、MediaTek 和 Termux 文档，以及各章中链接的 PromptQuorum 单独评测撰写而成。PromptQuorum 没有为本指南进行新的速度测试。

许多被链接的评测都说明，它们依据的是应用商店页面、隐私政策和开发者文档，PromptQuorum 并未运行该应用。凡是来自开发者或 Google 的说法，文中都会注明。凡是我们无法对照一手来源确认的内容，文中会写“不确定”或直接略去。

只有在有明确来源公布了速度数字并注明设备时，文中才会出现速度数字。模型大小、内存档位和“每秒 token 上限”都是推算，并已标明。

📍 简单一句话

本指南把官方平台文档与 PromptQuorum 的应用评测结合起来，没有进行新的基准测试，因此每个数字要么有来源，要么标明是推算。

💬 简单来说

如果一句话写明了速度、设备和来源，那就是该来源公布的；如果没有来源，那就是经验法则。

内存档位：您的手机能装下多大的模型

内存是第一道筛选：模型必须装进安卓系统和其他应用之外的可用内存。 4-bit 量化的模型，每10亿参数的权重大约需要 0.5 到 0.6 GB，另外还有随上下文长度增长的工作内存。安卓系统、启动器和后台服务通常会占用手机内存的好几个 GB，所以12 GB 的手机并不会给一款应用12 GB。

速度取决于内存带宽。生成一个 token 意味着要从内存中读取模型的大部分内容，因此上限大约是带宽除以模型大小。我们的Galaxy S26 设备端AI指南就是这样推算的：85.6 GB/s 的带宽配合3.5 GB 的 4-bit 模型，理论上限接近每秒24个 token。真实应用会低于这个上限，手机发热时还会更低。

请把下表当作起点。我们审阅的若干应用没有公布固定的内存下限，并表示所需内存取决于您加载的模型；也有应用自行设定了限制。Ensu 会在内存低于 4 GB 的手机上禁用聊天，而 Private Mind 的 Google Play 页面建议，运行较大的模型时手机应有 4 GB 或更多内存。

📍 简单一句话

6至8 GB 内存的手机在 4-bit 量化下可容纳约10亿到40亿参数的模型，12至16 GB 的手机可容纳70亿到80亿参数。

💬 简单来说

量化是用更少的比特存储每个权重来缩小模型；4-bit 模型的大小大约是16-bit 模型的四分之一，质量只有小幅损失。

手机内存
模型大小（4-bit）
示例模型
预期表现
4 GB0.5 至 1BQwen3 0.6B, Gemma 3 1B回答简短，适合简单任务
6 GB1 至 2BQwen3 1.7B, SmolLM2 1.7B可用的聊天，基础摘要
8 GB3 至 4BPhi-4 Mini, Qwen3 4B多数手机上的最佳平衡
12 GB4 至 8B（吃紧）Gemma 4 E4B, Llama 3.2 3B7 至 8B 只能配小上下文
16 GB 及以上7 至 8B7 至 8B 指令模型更慢、更烫、等待更久

⚠️警告: 在我们阅读的资料中，Google 自己的页面没有公布 Gemma 4 E2B 或 E4B 的内存下限。请把内存需求视为不确定，并在手机上查看应用的模型列表。

💡提示: 模型加载失败时，原因通常是可用内存不足，而不是总内存不足。请先关闭其他应用、重启手机，并改选更小一档的模型，再去怪应用。

芯片：Snapdragon、Tensor、Dimensity、Exynos

当前的旗舰芯片都带有 NPU，但侧载的聊天应用很少能用到它。 现有的 NPU 路径由芯片厂商和 Google 公布，并且需要针对该芯片准备好的模型。基于通用 llama.cpp 构建的应用大多在 CPU 上运行，有时用 GPU。

Snapdragon。 Qualcomm 的 GenieX 支持 Snapdragon 8 Elite 和 8 Elite Gen 5 上的安卓，通过带 Hexagon 后端的 llama.cpp 运行 GGUF 模型，并建议 NPU 路径使用 Q4_0 量化；该页面没有说明发布状态。Google 的 LiteRT Qualcomm 加速器报告称，FastVLM-0.5B 在 Snapdragon 8 Elite Gen 5 的 NPU 上首个 token 用时0.12秒，解码超过每秒100个 token（小米 17 Pro Max，Google 提供的数据）。这些目前都是开发者路径，而不是聊天应用里的一个按钮。

Google Tensor。 Pixel 9 通过 AICore 和 ML Kit 运行 Gemini Nano；搭载 Tensor G5 的 Pixel 10 被列为支持 Gemini Nano 4。对于您自己的模型，Google 的 Tensor SDK 于2026年5月19日面向 Pixel 10 系列进入测试版，并通过 LiteRT 在 TPU 上运行模型。某款第三方聊天应用是否已经用上它，需要逐个应用去核实。

MediaTek Dimensity。 Google 和 MediaTek 发布了带预编译模型（Qwen3 0.6B、Gemma 3 270M、Gemma 3 1B、Gemma 3n E2B、EmbeddingGemma 300M）的 LiteRT NeuroPilot 加速器。基准芯片是 Vivo X300 Pro 中的 Dimensity 9500，Google 报告称在4K 上下文下，Gemma 3n E2B 的预填充超过每秒1,600个 token，解码为每秒28个 token。为 MediaTek NPU 转换自定义 Gemma 模型的功能被标注为“即将推出”。

Samsung Exynos。 据我们的 Galaxy S26 文章，S26 和 S26+ 在欧洲、韩国及大多数其他市场使用 Exynos 2600，在美国、中国和日本使用 Snapdragon，而 S26 Ultra 在各地都使用 Snapdragon 8 Elite Gen 5。我们没有找到关于 Exynos 上面向第三方语言模型应用的开放 NPU 路径的一手文档，因此侧载应用请按 CPU 或 GPU 来预期。Samsung 自家的 EdgeFusion 图像生成在 Exynos 2600 NPU 上运行，是 Samsung 与 Nota AI 的流水线，通用应用无法直接继承。

📍 简单一句话

Snapdragon、Tensor 和 Dimensity 都有通过 LiteRT 或厂商 SDK 公布的 NPU 或 TPU 路径，但通用的侧载 GGUF 应用通常在 CPU 或 GPU 上运行，而 Exynos 没有面向第三方语言模型的文档化开放路径。

💬 简单来说

NPU 是一条快车道，但需要为每种芯片重新构建模型；只提供一个通用模型文件的应用无法使用它。

芯片系列
开放的 NPU 或 TPU 路径
文档来源
状态
Snapdragon 8 Elite / Gen 5有，需按芯片构建LiteRT, Qualcomm GenieX开发者路径
Tensor G5 (Pixel 10)有，通过 Tensor SDKGoogle Developers Blog测试版（2026年5月）
Tensor G4 (Pixel 9)通过 ML Kit 使用 Gemini NanoML Kit GenAI受支持设备
Dimensity 9500有，NeuroPilotGoogle Developers Blog预编译模型
Exynos 2600LLM 方面没有文档未找到按 CPU 或 GPU 预期
较旧或中端芯片很少各不相同CPU，小模型

⚠️警告: 不要根据 NPU 的“TOPS”数字来挑选做本地AI的手机。NPU 的峰值吞吐量，对一款根本不用 NPU 的聊天应用几乎说明不了什么。内存大小、内存带宽和散热才决定了大部分实际结果。

安卓AI应用背后的四大引擎

本指南中几乎所有应用，都是四大引擎之一的前端，而引擎比应用的宣传更能解释它的优势和局限。 知道了引擎，就知道哪些模型文件能用、能否使用 NPU，以及数据流向哪里。

📍 简单一句话

大多数安卓设备端AI应用运行在四大引擎之一：处理 GGUF 文件的 llama.cpp、面向 Gemma 类模型的 LiteRT-LM、面向预编译模型的 MLC，或面向系统 Gemini Nano 模型的 Google AICore。

💬 简单来说

引擎决定您能加载哪些模型文件以及能用上多少芯片能力；应用决定用起来是否顺手。

llama.cpp

运行内容:
来自 Hugging Face 的 GGUF 文件；模型选择最广，大多数应用允许导入您自己的文件。
加速方式:
默认使用 CPU；部分应用增加了 GPU。Qualcomm GenieX 中有 Hexagon 后端。
示例应用:
PocketPal AI、Maid、LM Playground、KernelAI
关于llama.cpp的文章（9篇）

另有180篇未显示

LiteRT-LM

运行内容:
Google 面向 Gemma 及其他模型的边缘运行时，使用 .litertlm 文件，支持视觉和音频输入以及函数调用。Google 列出了 Gemma 4、Gemma 3n、Llama、Phi-4 和 Qwen 系列。
加速方式:
GPU 和 NPU 路径；Python、Kotlin 和 C++ API 被标注为稳定。
示例应用:
Google AI Edge Gallery、OlliteRT、MemoryAI

MLC LLM

运行内容:
针对单一目标提前编译的模型；您得到的是精选模型库，而不是任意文件。
加速方式:
安卓上使用 OpenCL GPU；据报道各手机的支持程度不一（见 MLC Chat 评测）。
示例应用:
MLC Chat、MLC LLM
关于MLC LLM的文章（7篇）

其他提及：

搭载 Gemini Nano 的 AICore

运行内容:
Google 的系统模型，由安卓管理和更新；应用通过 ML Kit GenAI 访问它，所以应用内无需下载任何内容。
加速方式:
取决于受支持手机提供的硬件；应用无法自选硬件。
示例应用:
PAIOS

💡提示: 还有其他引擎。Private Mind 运行在 React Native ExecuTorch 库上，Ensu 和 Atomic Chat 则自带技术栈。上面四个已涵盖您会安装的大部分应用。

安卓比 iPhone 更自由的地方

就应用可以加载自己的模型和引擎而言，安卓是对本地AI更开放的平台：您可以从应用商店之外安装应用、运行 Linux 用户空间，还能把手机变成服务器。 代价是碎片化。在 Galaxy 旗舰上可行的方案，换成其他品牌的中端手机可能就失败，而且我们没有找到任何厂商中立的统一兼容性列表。

下面每项对比中苹果一侧的情况，请阅读iPhone 上的本地AI。两大生态的并排对比，请见Galaxy 与 iPhone 设备端AI对比。

📍 简单一句话

与 iOS 相比，安卓更自由地允许侧载 APK、Termux、F-Droid 和由手机托管的 API 服务器，代价是不同品牌和芯片之间的结果参差不齐。

💬 简单来说

安卓让您可以折腾得更深；iPhone 则在更少的设备上给出更可预测的结果。

  • 侧载与第三方应用商店。 MLC Chat 以 APK 形式发布在开发者的 GitHub Releases 上，而 Google AI Edge Gallery 为没有 Google Play 的用户提供 APK。同一款应用可能出现在多个渠道，所以每款应用请只认定一个来源。
  • Termux。 手机上的真实终端，可从 F-Droid 或 GitHub 安装，无需 root 即可编译并运行 llama.cpp。这也是安卓后台限制影响最大的地方（见电池一章）。
  • 手机即服务器。 OlliteRT、Mobile LM Server、Ollama Local AI 和 ToolNeuron 会开放 OpenAI 风格的端点，让网络中的其他设备使用手机上的模型。
  • 模型选择。 GGUF 导入是安卓应用的常规功能，所以您几乎可以加载开发者发布的任何小型开放权重模型，而不仅限于精选列表。
  • 硬件多样性。 内存 16 GB 或更多、带主动散热的游戏手机，可以比我们对比的 iPhone 提供更大的余量。反过来，只有 4 GB 内存的廉价手机也很常见，它们并不适合做本地AI。
  • iPhone 更简单的地方。 单一厂商、每个模型级别对应单一的内存预算，以及更少的电池优化意外，让 iPhone 的结果更容易预测。如果可预测性比灵活性更重要，姊妹篇指南可能更适合您。

我们目录中的聊天助手（按类型）

离线聊天是我们目录中安卓上支持最广泛的任务，选哪款应用主要是在权衡取舍：开源还是闭源，任意 GGUF 文件还是精选列表，免费还是付费。 下面每一条都说明了应用能做什么，以及坦率的局限。更适合某项具体任务的应用，会在该任务的章节里再次出现。

想看最知名应用的速度与配置对比，请阅读安卓最佳本地LLM应用。关于模型选择，请阅读移动端LLM模型：Phi-4、Gemma 和 SmolLM以及移动端本地LLM概览。平板用户还可以加看在平板上运行AI。

📍 简单一句话

有几十款安卓应用可以在手机上运行聊天模型；开源 GGUF 运行器的模型选择最广，闭源应用提供引导式下载，而 Google AI Edge Gallery 是 Google 自家面向 Gemma 类模型的前端。

💬 简单来说

想自己挑选模型，就选开源运行器；想五分钟内用起来，就选引导式应用。

开源与开发者自建的运行器（从这里开始）

  • PocketPal AI：免费、MIT 许可的 GGUF 运行器，支持安卓和 iPhone，无需账户；可选的社区市场出售高级预设。局限：模型由您自己挑选，应用没有固定的内存下限，所以过大的模型只会加载失败。
  • Google AI Edge Gallery：Google 基于 LiteRT 的免费设备端模型展示应用，提供聊天、图像提问、音频转录和提示词测试。需要 Android 12 或更高版本，可从 Google Play 安装或以 APK 安装。局限：Google 将该应用标注为实验性测试版。据我们对 iPhone 版本的评测，其 App Store 隐私标签列出了一些设备诊断信息；在把它当作零遥测之前，请先查看安卓版的“数据安全”卡片。
  • Maid：MIT 许可；通过 llama.cpp 运行 GGUF 模型，或使用您自己的密钥连接远程提供商。代码库在 3.0.0 版本中用 React Native 重写，目前仅作为安卓应用发布。局限：旧的 iOS 和桌面版本已经下线，所以旧教程可能对不上。
  • Off Grid AI：免费、MIT 许可、无需账户，支持 Android、iOS、macOS 和 Windows。局限：开发者网站上的下载量数字是自行报告的，无法与应用商店交叉核对。
  • Private Mind：MIT 许可，来自 Software Mansion，通过 React Native ExecuTorch 运行模型，带有文档问答、Whisper 听写和内置速度基准测试。局限：自 1.3.0 版本起，可选的 Web 开关会从互联网获取页面，所以严格离线使用时请保持关闭。
  • Atomic Chat：Apache-2.0；可浏览1,000多个 Hugging Face 模型，开放本地兼容 OpenAI 的 API，并支持智能体。局限：内置了可选的云端提供商，所以如果只想离线使用，请确认没有开启任何一个。
  • Ensu：AGPL-3.0，来自 Ente Labs 团队，支持图像输入、本地语音听写，无需账户。局限：在内存低于 4 GB 的手机上聊天被禁用，并且 PromptQuorum 没有对它做过上手测试。
  • Llamatik：MIT 许可的离线聊天机器人，同时也是开发者 Kotlin Multiplatform SDK 的展示应用；安卓版本于2025年11月登陆 Google Play。局限：只有一位独立开发者，且应用还很年轻。
  • LM Playground：MIT 许可的 GGUF 运行器，带有文档问答、面向视觉模型的照片输入、推理过程显示和可选工具。局限：独立开发者；该评测依据的是应用商店页面、网站和代码仓库。
  • MLC Chat：基于 MLC 编译器的 Apache-2.0 应用，支持 GPU 加速推理。它是开发者 GitHub Releases 上的 APK，而不是 Google Play 上的应用。局限：精选模型库、各手机上参差不齐的 OpenCL 支持，以及距离上次更新已经很久（见沉寂应用一章）。

免费的消费级应用，闭源

  • KernelAI：下载开放模型（据开发者称共53个，大小从 112 MB 到 3.11 GB），并通过 llama.cpp 运行，支持文档和视觉。局限：由单一发布者提供的闭源应用，所以相关说法依据的是它自己的页面。
  • MemoryAI：通过 llama.cpp 和 Google LiteRT 运行模型，带有文档问答、可编辑的 Agent Memory、免提语音和 PIN 锁定的儿童模式。局限：闭源，只有一位独立开发者。
  • Loci AI：按模型选择 llama.cpp 或 MLX，管理手机温度，并在不同对话间同步记忆；可以连接桌面电脑以使用更大的模型。局限：闭源；“私密”的承诺可能取决于应用在设置完成后是否保持离线。
  • On Device LLM：免费的离线聊天，支持 GGUF 导入和可选的本地兼容 OpenAI 的 API。局限：新应用，闭源；Google Play 上的名称是“Local LLM”，它并不是名字相近的那些 iPhone 应用。
  • LocalAI: Offline AI Chat LLM：基于 llama.cpp 的聊天应用，带可选的高级套餐、文档聊天、视觉和结构化输出。局限：闭源，我们没有找到公开的代码仓库。
  • Chatty-mini：来自独立开发者、以竖屏为先的 GGUF 聊天应用。局限：公开文档稀少，且许可证未得到确认。
  • Caelum：免费的聊天和文档助手，称其在手机上运行，可选通过 Brave 进行网页搜索。局限：自2025年8月以来没有更新；见沉寂应用一章。

陪伴类、付费应用与公司支持的应用

  • Layla：付费应用（一次性购买加应用内套餐），围绕在本地运行的角色与角色扮演陪伴打造。局限：闭源且需要付费；它首先是陪伴应用，其次才是实用工具。
  • Laria：付费的安卓助手，带有可下载的设备端模型、自定义AI身份、图像工具和可选的云端提供商。局限：闭源，并且据我们的评测，开发者页面上有露骨的示例内容；请先阅读年龄分级说明。
  • Secret AI：自定义角色、Skills 和 MCP 工具，运行 GGUF、MNN 和 MLX 模型。局限：闭源；还有其他产品同名，所以安装前请核对发布者。
  • CompactifAI APP：来自 Multiverse Computing，提供可离线使用的压缩模型，并通过开发者的云端 API 提供更大的模型。局限：云端路径是产品的一部分，所以离线只是您选择的一种方式。
  • Liquid Apollo：Liquid AI 的应用，在设备上运行其小型 LFM2 模型，另有 OpenRouter 和自定义后端。局限：并非纯本地；云端和自定义服务器模式会把提示词发出手机。
  • TokForge：角色扮演角色、图像生成、语音和文档问答，附带可发布到公开排行榜的速度基准测试。局限：专有软件，且 iPhone 版本是公开测试版。

系统模型：通过 AICore 使用 Gemini Nano

  • PAIOS：免费、开源的 Gemini Nano 聊天前端，通过 AICore 运行，应用内无需下载模型。局限：只能在 AICore 支持 Gemini Nano 的手机上使用，Pixel 9 和 10 是点名的例子，并且该项目自称处于 alpha 阶段。

💡提示: 装两款应用，而不是十款：一款用于挑选模型的开源 GGUF 运行器（PocketPal AI 或 Maid），再加上用于 Gemma 系列模型的 Google AI Edge Gallery。只有在某项任务上更出色时，才再添加其他应用。

⚠️警告: 上面有若干应用是新应用、闭源，且只依据应用商店页面审阅。它们的功能列表是开发者的说法；PromptQuorum 的评测会说明哪些没有经过上手测试。

视觉与拍照提问

把摄像头对准某样东西并提问，如今已经可以在设备端完成，但前提是使用支持视觉的模型。 纯文本模型会悄悄忽略或拒绝图像。下面的应用会加载视觉模型或接受图像输入的模型；决定质量的是模型，而不是应用。

Google 的 ML Kit 也提供系统级选项：Prompt API 接受文本加最多10张图片，另有专用的 Image Description API 可为图像生成简短说明。两者都在受支持手机上的 Gemini Nano 上运行。Google 还称 Gemma 4 改进了图表读取和手写识别这类 OCR 任务；我们没有找到独立的准确率数字，所以请在您自己的文档上测试。

📍 简单一句话

在安卓上，拍照提问可以通过 Google AI Edge Gallery、LM Playground 和 Private Mind 等应用中支持视觉的模型离线运行，也可以在受支持的手机上通过 Gemini Nano 实现。

💬 简单来说

视觉模型能直接读懂图片；纯文本模型根本看不到图片，所以您选的模型比应用更重要。

  • Google AI Edge Gallery：其 Ask Image 功能可以识别物体、解答视觉谜题，并描述来自摄像头或图库的图像。局限：需要支持视觉的 Gemma 模型，且 README 没有给出任何准确率数字。
  • LM Playground：为 GGUF 格式的视觉模型提供照片输入。局限：您必须自己找到并下载支持视觉的 GGUF 及其 projector 文件；应用不会替您完成。
  • Private Mind：把支持视觉的模型和文本模型一同列出。局限：较大的视觉模型所需内存，可能超过其页面为较大模型建议的 4 GB。
  • LocalAI: Offline AI Chat LLM：据其 Google Play 页面，支持视觉模型。局限：闭源，PromptQuorum 的评测依据的是应用商店页面。
  • KernelAI：在功能中列出了视觉。局限：相关说法依据的是开发者的页面。
  • Ensu：聊天中接受图像输入。局限：图像支持取决于您选择的模型。

⚠️警告: 凡是看错会造成后果的场合，如药品标签、法律文本、安全标志，请不要使用设备端视觉模型。小型视觉模型可能会读错文字和数字，而且没有经过验证的准确率数字可以依靠。

语音：听写、转录、朗读、助手

离线听写和转录是安卓上最成熟的语音任务；始终监听的离线助手则最不成熟。 前两者在手机上运行 Whisper 之类的语音模型，由您主动触发。后者需要一个安卓随时可以杀掉的后台服务。

Google 的 ML Kit 语音识别有一个基础模式，其文档称大多数 API 级别 31 或更高的安卓设备都可用，另有一个高级模式在 Pixel 10 手机上提供，更多设备正在开发中。ML Kit 还列出了语音翻译和文字转语音；概览页面没有说明这些功能的设备要求，所以请查看各功能页面。

关于完整的离线语音方案，请参阅移动端离线语音助手、本地 Whisper 语音转文字对比、本地语音与音频工具对比和构建本地语音助手。

📍 简单一句话

在安卓上，离线听写和录音转录可以通过 Private Mind、Ensu 和 LLM Hub 等应用中的 Whisper 类模型实现，而离线的常驻语音助手仍受安卓后台规则限制。

💬 简单来说

由您点按启动的语音可以离线使用；需要整天监听的语音则会撞上电池限制和应用查杀机制。

Private Mind

语音功能:
在手机上用 Whisper 听写
实际限制:
语言和准确率取决于您加载的 Whisper 模型。
关于Private Mind的文章（3篇）

其他提及：

另有11篇未显示

Ensu

语音功能:
把本地语音听写输入到聊天中
实际限制:
PromptQuorum 没有做过上手测试；没有准确率数据。
关于Ensu的文章（2篇）

其他提及：

LM Playground

语音功能:
语音听写
实际限制:
只有听写；没有列出语音回复。
关于LM Playground的文章（1篇）

LLM Hub

语音功能:
在聊天、图像和翻译之外提供 Whisper 转录
实际限制:
在非商业许可下源码可用；Premium 套餐需付费。
关于LLM Hub的文章（2篇）

其他提及：

MemoryAI

语音功能:
免提语音对话
实际限制:
闭源；请在隐私政策中核实识别是否在设备端进行。
关于MemoryAI的文章（4篇）

ToolNeuron

语音功能:
语音输入与输出，外加加密存储
实际限制:
超过三个月没有更新；见沉寂应用。
关于ToolNeuron的文章（4篇）

其他提及：

TokForge

语音功能:
带声音克隆的文字转语音
实际限制:
专有软件；声音克隆会引发同意和冒充方面的问题。
关于TokForge的文章（2篇）

RunAnywhere

语音功能:
可在您自己的应用中使用的语音转文字、文字转语音和语音活动检测 SDK
实际限制:
面向开发者的库，而不是应用；适用商业条款。
关于RunAnywhere的文章（1篇）

其他提及：

Home Assistant Assist

语音功能:
在您自己的硬件上用 Whisper 和 Piper 语音控制您的家
实际限制:
语音模型运行在家用服务器上，而不是手机上。
关于Home Assistant Assist的文章（2篇）

AquaVoice

语音功能:
快速听写，直接输入到当前应用中
实际限制:
云服务。列在这里是为了避免您把它误认为本地应用。
关于AquaVoice的文章（2篇）

其他提及：

⚠️警告: 声音克隆和常驻录音不只是功能，更涉及隐私和同意问题。请只克隆您自己的声音，或您已获得书面许可使用的声音，并在录制他人时告知对方。

文档、PDF 与 RAG

安卓上的文档问答，做法是把文件切分成块，找出相关的块，只把这些块交给小模型。 这就是检索增强生成（RAG）。它比把整份 PDF 贴进小模型要好，因为小模型的上下文窗口放不下整份 PDF。

Gemini Nano Prompt API 把输入限制在约4,000 token 以内，大致相当于3,000个英文单词，所以系统级的文档提问同样需要分块。关于该方法的深入介绍，请阅读在您的 PDF 上逐步搭建本地 RAG和最佳本地 RAG 工具。

📍 简单一句话

AnythingLLM Mobile、Private Mind、LM Playground 和 Honey LLM 等安卓应用，通过为小模型检索相关片段，在手机上回答关于您文件的问题。

💬 简单来说

应用会在您的文档中找出合适的段落，只把这些段落交给模型，所以小模型也能回答关于长文件的问题。

  • AnythingLLM Mobile：MIT 许可，仅限安卓。独立模式在手机上运行小模型和本地向量数据库；连接模式通过二维码与 AnythingLLM Desktop 或 Cloud 配对，以获得完整功能。局限：独立模式的质量取决于小模型；配对才是获得更好效果的办法。
  • Private Mind：带来源引用的设备端文档问答。局限：引用显示的是答案出自哪里，而不是答案正确。
  • LM Playground：免费 MIT 应用中的设备端文档问答。局限：独立开发者；在依赖它之前，请查看评测中支持的文件类型。
  • Honey LLM：回答关于 PDF、DOCX、TXT 和 Markdown 文件的问题，并保留一个加密的本地保险库。局限：2026年3月才登陆 Google Play 的新应用；我们的评测依据的是应用商店页面。
  • LocalAI: Offline AI Chat LLM：使用设备端向量检索，对 PDF、Word、Excel 和 CSV 进行文档聊天。局限：闭源；评测依据的是应用商店页面。
  • ToolNeuron：带加密存储、语音、本地 HTTP 服务器和插件的文档 RAG。局限：超过三个月没有更新。
  • MemoryAI：文档问答，外加可以编辑的 Agent Memory。局限：闭源。
  • Caelum：可选网页搜索的文档提问。局限：自2025年8月以来没有更新，且网页搜索选项会把查询发送到网上。

💡提示: 对于大型档案，不要在手机上建立索引。请在电脑或服务器上运行索引，把手机当作客户端，就像远程模式一章所描述的那样。

翻译

安卓上的离线翻译用小模型即可处理常见语言对，而小语种和长文本的质量会下降。 Google 称 Gemma 4 原生支持超过140种语言，并把语音翻译列入 ML Kit GenAI API；这两项说法都没有附带我们能核实的准确率数字，所以在依赖它之前，请测试您自己的语言对。

📍 简单一句话

LLM Hub 和 Google AI Edge Gallery 等安卓应用可以在手机上翻译文本和录音，而 ML Kit 还在受支持的设备上提供语音翻译。

💬 简单来说

小模型翻译日常句子不错，但在小语种、习语和法律措辞上会吃力。

  • LLM Hub：在聊天之外提供设备端翻译、带 MCP 服务器的智能体、图像和音乐生成以及 Whisper 转录。局限：在非商业许可下源码可用，并有付费的 Premium 套餐。
  • Google AI Edge Gallery：其 Audio Scribe 功能可在设备端转录并翻译语音录音。局限：实验性测试版。
  • Local AI Mail：一款安卓邮件客户端，用设备端模型总结、翻译邮件并起草回复，也可以使用您自己的密钥切换到 Gemini。局限：非常早期的版本；可选的 Gemini 模式会把邮件文本发送给 Google。

⚠️警告: 合同、医疗文本，或任何误译会带来后果的内容，不要依赖小型本地模型。把它用于了解大意和起草初稿，然后再核实。

图像生成与编辑

在手机上生成图像是可行的，但与桌面 GPU 相比很慢，也是最需要针对芯片调优的任务。 Samsung 和 Nota AI 介绍了 EdgeFusion，这是一个 Stable Diffusion 变体，在 Exynos 2600 的 NPU 上生成 512 x 512 图像用时不到一秒（Samsung 及合作方的说法，引自我们的Galaxy S26 指南）。那是厂商调优过的流水线；对于下面这些侧载应用，我们没有找到经过验证的速度，所以不给出任何数字。

关于云端与本地的总体取舍，请参阅本地AI图像生成与云端对比。局部重绘之类的编辑工具在手机上比文生图更少见。

📍 简单一句话

TokForge、Local AI by GeetMark、Laria 和 LLM Hub 等安卓应用用设备端模型生成图像，但我们找到的来源都没有公布它们经过验证的生成时间。

💬 简单来说

您的手机无需联网就能画一幅图，但要做好心理准备，等待时间会比配有显卡的电脑长得多。

  • Local AI: Offline Chat and Image：免费，可用20多个模型聊天，提供 Stable Diffusion 图像和15个提示词工具包。局限：含广告，源代码和许可证未公开。
  • TokForge：角色扮演角色，附带设备端图像生成、语音和文档问答。局限：专有软件；速度结果可发布到公开排行榜，所以请查看基准测试会分享什么内容。
  • Laria：在本地和云端聊天之外提供图像工具。局限：付费；部分图像工具可能使用云端提供商，所以请逐个工具核实。
  • LLM Hub：在聊天和翻译所在的同一款应用中提供图像和音乐生成。局限：非商业的源码可用许可。

💡提示: 发热是实际的限制。连续生成几张图就可能让手机热到降速。请分小批量生成，并让手机冷却。

笔记、知识库与书签

笔记和书签应用为您提供一个移动客户端，用来访问存放在您服务器或纯文件中的知识，而AI功能则运行在您指定的位置。 下面没有一款应用在安卓应用本身内部运行语言模型。它们连接到您选择的AI提供商，可以是您网络中的本地 Ollama 服务器，也可以是云服务。这意味着它们在存储上是本地优先的，但推理不一定是。

📍 简单一句话

Karakeep、Linkwarden、Blinko、Logseq、SiYuan 和 Hillnote 的安卓客户端让笔记和书签由您掌控，而它们的AI功能则运行在您配置的服务器或提供商上。

💬 简单来说

这些应用把您的知识存放在本地；为其打标签或做摘要的AI模型也可以是本地的，但前提是您自己这样设置。

  • Karakeep：AGPL-3.0，通过 Docker 自托管，保存链接、笔记、图片和 PDF，并用AI为它们打标签、做摘要和建立索引。提供安卓和 iOS 应用以及浏览器扩展。局限：AI 标签功能需要您配置模型端点。
  • Linkwarden：AGPL-3.0 的书签管理器，会保存每个页面的副本，并可以用本地 Ollama 模型或云端提供商为链接打标签。局限：Cloud 版需付费；自托管则要靠您自己。
  • Blinko：GPL-3.0，自托管的笔记应用，以 Docker 容器方式运行，可对您自己的笔记进行由 RAG 驱动的自然语言搜索。局限：RAG 搜索使用您所连接的AI提供商。
  • Logseq：AGPL-3.0，本地优先的大纲笔记，提供安卓和 iOS 应用。它没有内置模型；数据库版本的测试版增加了一个可选的 MCP 服务器，让外部AI客户端可以读取和编辑图谱。局限：AI 需自备，且 MCP 服务器处于测试阶段。
  • SiYuan：AGPL-3.0 的块级知识工作区，提供安卓和 iOS 应用，并内置AI智能体协作。局限：加密云同步是付费附加功能；在假定其AI功能是本地运行之前，请先核实它们在哪里运行。
  • Hillnote：面向 Mac、Windows、iPhone、iPad 和 Android 的 Markdown 笔记工作区，文件存放在您的磁盘上。其设备端AI列为 Ollama 和 Apple Intelligence，二者都无法在安卓手机上运行，所以购买前请先核实安卓应用实际提供了哪些AI功能。

💡提示: 一种好的模式：在家用服务器上自托管笔记应用和一个小型 Ollama 模型，让安卓应用充当采集和搜索的客户端。

智能家居与智能体

对智能家居来说，手机是遥控器和麦克风；对智能体来说，手机既是运行智能体的地方，也越来越多地成为智能体所操控的对象。 智能家居的AI应该放在家用服务器上，因为手机会休眠、会移动、还会被系统杀掉。安卓上的智能体分为三类：使用工具的助手、运行在服务器上并把手机当作客户端的智能体，以及操作手机本身的智能体。

关于智能家居方面的深入内容，请参阅 PromptQuorum 的智能家居专题；本章只讲手机所承担的部分。

📍 简单一句话

安卓手机可以作为智能家居AI（Home Assistant Assist、Scrypted、EverShelf、LocalGhost）的客户端，也能运行使用工具的智能体（Kai 9000、PicoClaw、Aori），但对其他应用的系统级控制仍处于预览阶段。

💬 简单来说

让家用服务器当大脑，让手机当遥控器和麦克风。

手机作为智能家居客户端

  • Home Assistant Assist：Home Assistant 内置的语音助手。它可以完全在您的硬件上运行，通过 Wyoming 协议使用 Whisper 或 Speech-to-Phrase 做识别、使用 Piper 做语音，并可把请求交给 Ollama 等提供的LLM。安卓应用充当麦克风和屏幕。局限：语音和语言模型运行在您的家用服务器上，而不是手机上。
  • Scrypted：开源的摄像头和 NVR 平台，提供安卓和 iOS 查看应用，另可通过服务器上的 llama.cpp 提供可选的本地LLM摘要。局限：NVR 组件需付费，且AI运行在 Scrypted 所在的地方。
  • EverShelf：自托管的食品储藏管理器，带条码扫描、保质期跟踪和购物清单；AI 功能是可选的，使用 Gemini、OpenAI 或您自己的 Llama 服务器。局限：它不是聊天或LLM应用，且可选的云端提供商会看到您发送的内容。
  • LocalGhost：MIT 许可的个人AI系统，运行在您自己的 Debian 机器上，以安卓应用作为唯一客户端，用本地模型读取照片、笔记、语音备忘和健康数据。局限：非常早期（评测的版本是 v0.0.7），而且健康数据很敏感，所以请把它当作实验。

使用工具的智能体

  • Kai 9000：Apache-2.0 的助手，具备持久记忆和工具，支持 Android、iOS、桌面和网页。它默认连接云端提供商，也可以选择在设备上运行下载的模型，包括 Gemma 4。局限：默认是云端，所以请有意识地切换到设备端。
  • PicoClaw：来自 Sipeed 的 MIT 许可智能体，是一个单一的 Go 程序，适用于小型开发板、安卓手机和桌面电脑，会把请求转发给您所配置的模型（云端提供商，或您的 Ollama 或 vLLM 服务器）。局限：模型不在手机上。
  • Aori：免费测试版的个人智能体，带持久记忆、人设和定时例程，支持桌面和安卓。局限：安卓应用会把提示词发送给您所连接的提供商，并且已有三个多月没有更新（见沉寂应用）。
  • Atomic Bot：对开源 OpenClaw 智能体栈的一键打包，可本地运行，也可使用开发者的付费云。局限：目录里列有移动端，但我们的评测没有在开发者网站上找到有文档记载的安卓版本，所以在围绕它做计划之前请先核实。

操控手机的智能体

  • Android AppFunctions 让应用可以开放函数，供 Gemini 等智能体调用。Google 将其记录为带 Jetpack 库、适用于 Android 16 及更高版本的平台 API；我们阅读的来源对它处于有限预览还是私有预览说法不一，所以请把它视为尚未全面可用。它是 MCP 工具在设备端的对应物，并且需要应用开发者主动加入。
  • ML Kit AgentRunner 在 Gemini Nano Prompt API 之上为开发者提供多步骤的工具调用循环，使应用可以完全在手机上运行一个小型智能体。它与 Prompt API 有相同的限制：仅限前台、仅限受支持的手机。
  • Open-AutoGLM 是来自智谱团队的开源手机智能体框架（zai-org/Open-AutoGLM），运行在电脑上，通过 ADB 操作安卓手机，并由视觉语言模型读取屏幕。模型可以是远程 API 或本地部署的模型，而智能体本身不在手机上。请自行核实它的许可证和模型卡；我们的来源说法不一。

⚠️警告: 一个能点按、输入并读取您屏幕的智能体，同样可能泄露它所看到的内容。请在测试手机或工作资料中运行操控手机的智能体，不要在存放您银行类应用的手机上运行。

开发者路径

安卓通往设备端AI的路线很多，选哪条取决于您需要系统集成、模型选择还是 NPU。 下表对比这些路线；表后的说明给出最容易让人耗费时间的注意事项。

📍 简单一句话

开发者可以选择 Google ML Kit GenAI 与 Gemini Nano、LiteRT 与 LiteRT-LM、通过 Termux 或 NDK 使用 llama.cpp、MLC LLM、ExecuTorch、Qualcomm GenieX，或 RunAnywhere、Llamatik 等 SDK 来面向安卓开发。

💬 简单来说

够用时就用 Google 的系统模型，需要 NPU 时用 Google 或 Qualcomm 的运行时，想用任意 GGUF 模型时用 llama.cpp。

已评测的开发者工具

  • RunAnywhere：在设备上运行的LLM、语音转文字、文字转语音、语音活动检测、视觉语言模型和嵌入的 SDK，适用于 iOS、Android、Flutter 和 React Native 应用。局限：基于 Apache-2.0 的许可证，附带商业条款。
  • Llamatik：同名离线聊天机器人背后的 Kotlin Multiplatform SDK。局限：只有一位独立开发者。
  • Foundry Local：微软的设备端运行时，带 C#、JavaScript、Rust 和 Python 的 SDK。局限：评测记载了桌面端 SDK，没有安卓版本。
  • MLC LLM：MLC Chat 背后的编译器和运行时，面向 iPhone、Android、浏览器（WebGPU）和桌面 GPU。局限：每个模型和目标都需要一次编译步骤。
  • OlliteRT：基于 Google LiteRT-LM 把安卓手机变成兼容 OpenAI 的服务器，本身没有聊天界面。局限：它需要 .litertlm 模型文件，而不是 GGUF。
  • Mobile LM Server：运行 GGUF 和 LiteRT-LM 模型，并通过兼容 OpenAI 和 Ollama 的端点提供服务。局限：含广告和应用内购买；我们的评测依据的是应用商店页面，并且据该评测，其隐私政策与“数据安全”卡片在位置信息上说法不一。
  • Ollama Local AI：通过内嵌的 llama.cpp 引擎运行 GGUF 模型，并在您的 Wi-Fi 上开放兼容 OpenAI 的 API，使 Cursor 等工具可以使用手机。局限：它不是 Ollama 项目的应用，且免费但含应用内购买。

ML Kit GenAI 与 Gemini Nano (AICore)

最适合:
摘要、改写、图像描述，以及一个在会替您更新的系统模型上的 Prompt API。包括 AgentRunner 和 Embedding API。Prompt API 的输入保持在约4,000 token 以内。
主要限制:
仅限前台使用；每个应用有配额；仅限受支持的手机；Bootloader 已解锁时不受支持（Prompt API）。

搭载 Gemma 4 的 AICore 开发者预览版

最适合:
通过 ML Kit Prompt API 试用 Gemma 4 E2B 和 E4B；现在编写的代码有望沿用到 Gemini Nano 4 设备上。
主要限制:
预览版；Google 表示工具调用、结构化输出、系统提示词和思考模式仍在添加中。

LiteRT 与 LiteRT-LM

最适合:
在您自己的应用中使用 Gemma、Llama、Phi-4 或 Qwen 系列，GPU 和 NPU 加速，视觉和音频输入，函数调用。
主要限制:
NPU 需要按芯片编译的模型；Swift 和 JavaScript 仍是早期预览。

Qualcomm AI Hub 与 GenieX

最适合:
Snapdragon 8 Elite 和 8 Elite Gen 5，通过带 Hexagon 后端的 llama.cpp 使用 GGUF，或通过 AI Engine Direct 使用预编译的 AI Hub 包。
主要限制:
仅限 Snapdragon；在 AI Hub 路径上，安卓运行时会拒绝非默认的 GPU 层数和上下文设置。

通过 LiteRT 使用 MediaTek NeuroPilot

最适合:
使用预编译 Gemma 和 Qwen3 模型的 Dimensity NPU。
主要限制:
针对 MediaTek 的自定义 Gemma 转换尚不可用。

Google Tensor SDK

最适合:
通过 LiteRT 使用 Pixel 10 的 TPU，附带有100多个模型的 Model Garden。
主要限制:
测试版；仅限 Pixel 10 系列。

Termux 或 NDK 中的 llama.cpp

最适合:
CPU 上的任意 GGUF 模型，无需 root；一次性原型或命令行工具。
主要限制:
安卓进程限制和发热；请从接近4096的上下文开始，否则终端可能被杀掉。

MLC LLM

最适合:
为单一目标编译模型，并获得 GPU 加速。
主要限制:
需要编译工具链；OpenCL 支持因手机而异。
关于MLC LLM的文章（7篇）

其他提及：

ExecuTorch

最适合:
从 PyTorch 导出到安卓，被列为涵盖 LLM 以及 CPU、GPU、NPU 和 DSP 后端。
主要限制:
我们无法从概览页面确认确切的后端列表或状态。

SDK：RunAnywhere、Llamatik、Foundry Local

最适合:
在您自己的应用中使用语音、视觉和LLM功能（RunAnywhere）；Kotlin Multiplatform（Llamatik）；带 C#、JavaScript、Rust 和 Python SDK 的微软运行时（Foundry Local）。
主要限制:
Foundry Local 在目录中列为支持安卓，但其评测没有记载任何安卓版本；使用前请先确认。

💡提示: 请阅读开发者页面：ML Kit GenAI 概览、Gemini Nano 与 AICore、LiteRT-LM、Qualcomm AI Hub、Termux，以及 llama.cpp 的安卓指南。

远程模式：把手机当作瘦客户端

最强大的“安卓本地AI”方案，往往是让手机与您自己电脑上的模型通信。 模型运行在您的 Ollama 或 LM Studio 机器上；手机只是界面。流量保留在您的网络（或 VPN）内，所以隐私得到保障，而且无需占用手机内存，就能使用70亿到700亿参数级别的模型。

有三点需要注意。第一，服务器必须开机且可访问，所以离开家之后，除非加上 WireGuard 或 Tailscale 这类 VPN，否则这套方案就会失效。第二，Ollama 默认只监听本机，而把它暴露给您的网络（例如通过设置其主机地址），会让该网络中的任何人都能访问它，因为它没有内置登录；请使用带认证的反向代理或 VPN。第三，同一款应用里的云端 API 密钥是另一条数据路径，所以请把本地和云端配置清楚地分开。

📍 简单一句话

LocalMind、PocketLLM Lite、AnythingLLM Mobile、AnyLLM 和 RikkaHub 等安卓应用，让手机充当您网络中自有 Ollama 或 LM Studio 服务器的客户端。

💬 简单来说

手机是屏幕和键盘；繁重的思考发生在您家里的电脑上。

  • LocalMind：免费、MIT 许可的聊天应用，支持安卓和 iPhone，把提示词发送给手机上的模型，或发送给 Ollama、LM Studio、OpenRouter 或任何兼容 OpenAI 的端点，并带有 MCP 工具。局限：独立开发者；远程路径会把文本发送给您选择的任意端点。
  • PocketLLM Lite：MIT 许可的安卓应用，在手机上运行 Cactus 格式的模型，或连接到您自己的 Ollama 或兼容 OpenAI 的服务器。局限：没有署名开发者，且 PromptQuorum 没有安装过它。
  • AnythingLLM Mobile：连接模式通过二维码在本地网络上与 AnythingLLM Desktop 或 Cloud 配对。局限：仅限安卓。
  • AnyLLM：使用您自己 API 密钥（OpenAI、Anthropic、Google、Groq）的安卓客户端，也能连接 Ollama 服务器，带有 MCP 工具和AI对AI辩论。局限：闭源，且云端密钥意味着提示词会离开您的网络。
  • RikkaHub：开源的安卓云端提供商客户端，可通过自定义端点字段连接自托管的 Ollama 或 LM Studio 服务器。局限：它不在手机上运行模型，所以它本身不是离线应用。
  • Chapper：一款精致的 Ollama 和 LM Studio 客户端，但仅限苹果平台（iPhone、iPad、Mac）。局限：没有安卓版本，所以安卓用户应使用上面的某款应用。

💡提示: 手机也可以当服务器。OlliteRT、Mobile LM Server 和 Ollama Local AI 会把它们的模型提供给您 Wi-Fi 上的其他设备，这对测试和快速脚本有用，但不能取代真正的服务器。

隐私与遥测的实际情况

设备端推理让您的提示词不经过厂商的推理服务器；但它本身并不能阻止应用把数据发往别处。 “零遥测”可能意味着没有分析 SDK、没有崩溃报告、没有广告、模型下载后没有网络调用，也可能只做到其中一部分。各个应用不尽相同，除非您自行核实，否则这个说法只是开发者的一面之词。

有三处可以检查。Google Play 的“数据安全”卡片列出了开发者自称收集或共享的内容；它是开发者自行声明的。隐私政策说明公司如何处理数据；在依据应用商店页面撰写的 Mobile LM Server 评测中，我们注意到政策与卡片在位置信息上说法不一。网络行为本身：用防火墙或网络监控工具查看模型下载后的连接，是最直接的检验。

Google 的 AICore 设计是一个有用的参照点：Google 记录称，AICore 没有直接的互联网访问权限，模型下载经由开源的 Private Compute Services 伴随组件进行，并且在处理之后不会存储输入或输出。这是 Google 对自家系统的描述，而不是独立审计。基于其他引擎的应用则各自做出承诺：例如，ToolNeuron 在其 README 中把“无遥测”表述为设计目标，而对 Google AI Edge Gallery 的 iPhone 版本评测则在隐私标签中发现了诊断信息。

📍 简单一句话

离线推理让提示词留在手机上，但“零遥测”必须对照“数据安全”卡片、隐私政策和应用实际的网络流量来核实。

💬 简单来说

在手机上运行模型，保护的是您输入的内容；它并不保证应用从不联网。

“数据安全”卡片

位置:
Google Play 页面
能揭示什么:
开发者自行声明的数据收集与共享情况，可能不完整或已过时。

隐私政策

位置:
开发者网站
能揭示什么:
数据保留、第三方、司法管辖区，以及政策是否与卡片一致。

权限

位置:
安卓设置，应用信息
能揭示什么:
纯本地应用不应需要的麦克风、摄像头、存储或网络访问权限。

可选的云端功能

位置:
应用设置
能揭示什么:
悄悄扩大数据路径的网页搜索、云端提供商和同步开关。

网络流量

位置:
飞行模式测试或防火墙应用
能揭示什么:
下载完成后，在屏蔽所有网络访问的情况下聊天是否仍然可用。

源代码

位置:
GitHub 或 F-Droid
能揭示什么:
这些说法是否可以被审计；闭源应用的说法只能靠信任。

💡提示: 飞行模式测试简单而诚实：在 Wi-Fi 下下载模型，开启飞行模式，然后聊天。如果应用拒绝工作，说明它需要网络。如果能用，它之前仍可能发送过数据，所以请结合权限和政策检查。

⚠️警告: Obscurify 提供安卓版并主打隐私，但它是一项云服务：通过随机账户号访问200多个云端模型，另有可选的本地模式，可在浏览器中运行 GGUF 模型。匿名云不是本地AI，而 AquaVoice 是云端听写。请弄清每款工具位于界线的哪一侧。

电池、发热与后台查杀

在模型本身成为瓶颈之前，手机上的本地AI会先受到三件事限制：发热、电池，以及安卓杀掉后台任务的习惯。 模型越大、使用时间越长，这三者就越严重，而且规格表上一个也看不到。

📍 简单一句话

在安卓上，持续的本地推理会让手机发热并消耗电量，而系统或品牌的电池管理器可能在回答中途杀掉应用，除非您把它加入豁免。

💬 简单来说

运行模型就像玩游戏：手机会变热，为了保护自己而降速，并且如果它认为应用在浪费电，还可能把应用关掉。

  • 发热。 手机无法长时间保持峰值速度。它会为了保持凉爽而自行降速，所以第一个回答通常比第十个更快。我们没有带来源的降频数据，也不给出任何数字；请在您自己的手机上跑十分钟来测试。取下手机壳，生成时避免充电，长时间使用时优先选择更小的模型。
  • 电池。 生成会让 CPU、GPU 或 NPU 持续忙碌，所以请预期明显的耗电。Google 称，AICore 上的 Gemma 4 比此前版本最多省电60%，运行速度最高快4倍（Google 对其自有模型和手机的说法）。这些数字不适用于侧载的 GGUF 应用。
  • Google 系统模型的前台规则。 Google 记录称，ML Kit GenAI 推理仅在调用它的应用位于最上层前台时才被允许，后台使用会报错，并且对快速或长时间的使用设有每个应用的配额。使用 Gemini Nano 的应用无法在后台做摘要。
  • 进程限制。 Android 12 引入了对后台子进程的限制，这就是 Termux 会打印“signal 9”并停止的原因。Termux 维护者警告称，它在 Android 12 及更高版本上可能不稳定。在较新的版本上，有指南介绍了名为“Disable child process restrictions”的开发者选项开关，以及在 Android 12 至 13 上的一项 ADB 设置；细节因品牌和版本而异，所以在依赖其中任何一项之前，请在您的手机上核实。
  • 品牌电池管理器。 Samsung、Xiaomi、OnePlus 等厂商会加入各自的休眠应用列表。请把您的AI应用从电池优化中豁免，在最近任务视图中锁定它，并在较长的回答期间保持屏幕常亮。
  • 存储。 模型是很大的文件。请把它们存放在应用期望的位置，保留几个 GB 的可用空间，并删除不再使用的模型。
  • 上下文大小。 更大的上下文窗口会占用更多内存。llama.cpp 安卓指南建议从接近4096开始，因为更大的值可能导致内存激增并杀掉终端。

⚠️警告: 不要让手机在枕头下或炎热的车里持续生成图像或长回答。高温会缩短电池寿命，而被降频的手机就是慢手机。

做不到，或暂时做不到

这些是目前任何应用都无法解决的限制，按原因分组。 了解它们，可以省下数小时去尝试那些不会有用的设置。

📍 简单一句话

安卓上的本地AI在难题上无法与云端模型相比，无法容纳700亿参数的模型或很长的上下文，也无法成为安卓不会杀掉的常驻助手。

💬 简单来说

手机的内存小、电池小、机身又热又密闭；这三点决定了上限。

离线达到前沿模型的质量

原因:
手机模型是10亿到80亿参数；云端旗舰模型要大得多。小模型在困难推理和冗长而精确的回答上更弱。
替代做法:
把本地用于私密、简单或离线的任务；困难的任务用服务器或云端。

700亿参数的模型

原因:
在 4-bit 下，仅权重就需要几十 GB；大多数手机总共只有 8 至 16 GB。
替代做法:
在电脑上运行，并使用远程模式。

一次性处理很长的文档

原因:
上下文窗口很小，内存随上下文增长；Gemini Nano Prompt API 保持在约4,000 token 以内。
替代做法:
用 RAG 分块；在服务器上建立索引。

长输出下的快速回复

原因:
速度受内存带宽限制，发热会让持续运行降速。
替代做法:
选用更小的模型；要求简短回答。

可靠的常驻后台助手

原因:
安卓限制后台工作，品牌电池管理器会杀掉应用；Google 的系统模型仅限前台。
替代做法:
把助手放在家用服务器上；让手机当客户端。

任何侧载模型都能获得 NPU 速度

原因:
NPU 路径需要按芯片编译的模型；只支持部分运算，其余的会回退到 CPU 或 GPU。
替代做法:
使用 LiteRT、GenieX 或 NeuroPilot 就绪的模型，或接受 CPU 和 GPU 的速度。

任意应用在任意手机上使用 Gemini Nano

原因:
访问取决于 AICore、设备和芯片组支持，以及 Prompt API 要求 Bootloader 处于锁定状态。
替代做法:
使用您可控的引擎，如 llama.cpp 或 LiteRT-LM。

在手机上训练或微调

原因:
内存、算力和散热预算都太小，只够做极小的实验。
替代做法:
在电脑上微调，然后加载结果。

小型视觉和 OCR 模型的经验证准确率

原因:
对于这些应用所运行的模型，我们没有找到独立的准确率数字。
替代做法:
在您自己的样本上测试；切勿盲目信任。

有保证的零遥测

原因:
应用可以在本地运行，却仍然收集分析数据；这个说法只是开发者的一面之词。
替代做法:
检查“数据安全”卡片、政策、权限和流量。

一套适用于所有安卓手机的方案

原因:
芯片、内存、系统版本和电池管理器因品牌和型号而异。
替代做法:
先测试一个小模型，再逐步加大。

💡提示: 这些限制有几项正在变化。在我们阅读的来源中，Gemini Nano 4 上的 Gemma 4、更广泛的 LiteRT NPU 支持和 AppFunctions 都处于预览或测试阶段。请在下一次更新时重新核实，而不要认为今天的限制是永久的。

依赖前需要核实的沉寂应用

目录中有些应用已超过三个月没有上游更新。 这并不是说项目已经死亡或不安全；而是提醒您，在围绕这款应用建立日常使用习惯之前，先查看开发者页面、应用商店页面和问题追踪页。这些日期来自目录条目，它们记录的是从一手来源读取的最新发布或最近一次实质性提交。

📍 简单一句话

目录中若干列为支持安卓的应用，包括 MLC Chat、Caelum、ToolNeuron、PAIOS、Aori 和 Atomic Bot，在撰写时已超过三个月没有上游更新。

💬 简单来说

沉寂的应用可能仍然能用，但短期内可能没人修复漏洞或安全问题。

  • MLC Chat：目录中最后记录的更新是2024年9月；请到开发者的 GitHub Releases 查看是否有更新的构建。MLC LLM 运行时本身仍在持续更新（MLC LLM），所以做当前的工作时，请改为基于运行时来构建。
  • Caelum：自2025年8月以来没有更新，已超过一年。
  • ToolNeuron：已沉寂数月；各方面很合适（MIT 许可、加密存储），但请查看近期的活跃情况。
  • PAIOS：评测的版本发布于2026年春季，且项目自称处于 alpha 阶段；请确认您的手机仍受 AICore 支持。
  • Aori：没有近期发布的免费测试版；安卓应用会把提示词发送给您所连接的云端提供商。
  • Atomic Bot：没有近期发布，并且在我们的评测中没有找到有文档记载的安卓版本。

决策路径：我有这款手机，想做这件事

请从您的内存和目标出发，而不是从应用的热门程度出发。 先找到与您手机相符的一行，再找到目标，然后点击链接。

📍 简单一句话

先把手机的内存和芯片对应到一个模型大小，再把目标对应到一章：聊天用 PocketPal AI，拍照与 Gemma 用 Google AI Edge Gallery，文档用 AnythingLLM Mobile，而大模型则通过远程客户端使用服务器。

💬 简单来说

小手机配小模型；大任务配大服务器。

  • 4至6 GB，想要简单私密的聊天： 用 PocketPal AI 搭配10亿到20亿参数的模型；如果内存至少有 4 GB，也可用 Ensu。
  • 8 GB，想要最佳的日常平衡： 用 PocketPal AI 或 Google AI Edge Gallery 搭配30亿到40亿参数的模型。
  • 12至16 GB，想要装得下的最大模型： 在 Maid 这类 GGUF 运行器中使用低比特量化的70亿到80亿参数模型，并配短上下文。
  • Pixel 9 或 Pixel 10： 通过 PAIOS 试用 Google 的系统模型，并用 Google AI Edge Gallery 运行 Gemma 模型。
  • Galaxy S25 或 S26： 请先阅读Galaxy S26 设备端AI，因为 Galaxy AI 是混合式的，芯片则取决于型号和地区。
  • Snapdragon 8 Elite 旗舰，想要最高速度： 开发者可以使用 LiteRT 和 GenieX；作为用户，请从 Google AI Edge Gallery 开始，并与一款 llama.cpp 应用对比。
  • 想就我的文件提问： 在手机上用 AnythingLLM Mobile 或 Private Mind；大型档案则用家用服务器。
  • 想离线翻译或听写： LLM Hub、Private Mind 或 Ensu，请先测试您的语言。
  • 想画图： Local AI by GeetMark 或 TokForge，需要耐心和一部凉爽的手机。
  • 想让我的家用上它： 用 Home Assistant Assist 搭配家用服务器，手机当遥控器。
  • 有一台带 GPU 的电脑： 在上面运行 Ollama 或 LM Studio，并用 LocalMind 或 AnythingLLM Mobile 作为手机客户端。
  • 开发者： 从开发者路径表中选择；如果只需要小型文本任务，就从 ML Kit Prompt API 开始，需要自己的模型则用 LiteRT-LM。

15分钟上手

您大约15分钟就能拥有一个可用的离线助手，其中大部分时间花在模型下载上。 本演练以 PocketPal AI 为例；步骤在任何 GGUF 运行器中都一样。下载时请使用 Wi-Fi 并接上充电器。

📍 简单一句话

安装一款应用，在 Wi-Fi 下下载一个与内存相匹配的模型，运行一条提示词，然后在飞行模式下再测试一次，以确认回答可以离线完成。

💬 简单来说

联网下载一次，然后关掉网络，看它是否还能回答。

  1. 1
    检查存储和内存（1分钟）
    Why it matters: 模型以 GB 计；3 至 6 GB 的可用存储足够放下第一个模型，而内存决定模型的大小。请查看“设置”中的“关于手机”。
  2. 2
    安装一款应用（2分钟）
    Why it matters: 从 Google Play 使用 [PocketPal AI](/zh/power-local-llm/pocketpal-ai-review) 或 [Google AI Edge Gallery](/zh/power-local-llm/google-ai-edge-gallery-review)。一次一款应用，便于保持结果可比。
  3. 3
    连上 Wi-Fi 并插上电源（1分钟）
    Why it matters: 下载量很大，边充电边发热是可以接受的；移动数据可能又慢又贵。
  4. 4
    按内存选择模型（1分钟）
    Why it matters: 4至6 GB：1至2B。8 GB：3至4B。12至16 GB：4至8B。拿不准时，选更小的那个。
  5. 5
    下载并加载模型（5至7分钟）
    Why it matters: 所需时间取决于您的网络和文件大小；在完成之前请保持屏幕常亮。
  6. 6
    发送第一条提示词（1分钟）
    Why it matters: 问一个简单的问题。留意文字出现的速度；这是您的基准。
  7. 7
    在飞行模式下测试（1分钟）
    Why it matters: 开启飞行模式再问一次。如果它能回答，说明对于这个模型和应用，推理是本地进行的。
  8. 8
    把应用从电池优化中豁免（1分钟）
    Why it matters: 这可以减少在电池管理激进的品牌上回答中途被杀掉的情况。
  9. 9
    试试本指南中的一项任务（时间随您）
    Why it matters: 语音听写、文档提问或图像提问，能让您很快看出这部手机是否合适。

💡提示: 如果第一个模型感觉很慢或崩溃，请先降一档模型，再考虑换应用。如果感觉能力不足，就升一档，或使用远程模式。

汇总：手机档位、应用、模型大小

一张值得截图的表。 这些是基于上面的内存推算以及各应用自身文档给出的起点，而不是基准测试结果。

📍 简单一句话

4至6 GB 的手机使用10亿到20亿参数的模型，8 GB 的手机使用30亿到40亿，12至16 GB 的手机使用70亿到80亿，更大的则交给服务器。

💬 简单来说

先让模型与内存匹配，再为任务选择应用。

手机档位
推荐首选应用
模型大小
最适合
4 至 6 GB，入门级PocketPal AI1 至 2B简短聊天，简单改写
8 GB，中端Google AI Edge Gallery3 至 4B日常聊天，拍照提问
12 GB，旗舰Maid4 至 8B更好的回答，短上下文
16 GB，游戏手机LM Playground7 至 8B更大的本地模型
Pixel 9 或 10PAIOSGemini Nano系统模型，无需下载
任意手机 + 家用服务器LocalMind服务器上 7 至 70B大模型，在家保护隐私
任意档位的文档任务AnythingLLM Mobile小模型 + RAG就您的文件提问

常见错误

大多数失败的首次尝试，都源于同样的几个错误。

  • 选了超出可用内存的模型。 应用崩溃或手机卡死。请降一档。
  • 以为会用到 NPU。 大多数侧载应用在 CPU 或 GPU 上运行，所以一颗“50 TOPS”的芯片并不会让它们更快。
  • 把“离线”当成“私密”。 离线推理只是其中一层；分析、广告和云端开关是另一层。请检查“数据安全”卡片和政策。
  • 从多个来源安装 Termux。 混用 Google Play、F-Droid 和 GitHub 的构建会破坏签名和更新。选定一个并坚持使用。
  • 用纯文本模型做视觉任务。 图像需要支持视觉的模型，在某些应用中还需要额外的 projector 文件。
  • 指望后台助手。 安卓和品牌电池管理器会杀掉空闲的应用；请把常驻任务放到服务器上。
  • 凭第一个回答评判模型。 冷启动的手机最快；在做决定之前请先跑十分钟测试。
  • 安装仅限苹果的应用。 Chapper 没有安卓版本。请改用安卓客户端。
  • 信任小模型处理高风险文本。 翻译、OCR 和摘要都可能出错；请在行动前核实。

来源

平台和芯片方面的事实来自下面这些开发者页面，阅读于2026年11月。产品方面的事实来自所链接的 PromptQuorum 评测和目录条目，它们会引用各自的一手来源。

常见问题

我可以在没有网络的情况下在安卓上运行本地AI吗？

可以。在 Wi-Fi 下下载 PocketPal AI 或 Google AI Edge Gallery 这类设备端应用以及一个10亿到40亿参数的模型，然后在飞行模式下使用。第一次下载需要联网；之后聊天、语音听写、翻译和文档提问都可以离线进行，只是质量低于云端AI。

在安卓手机上运行LLM需要多少内存？

按经验法则，4至6 GB 可容纳10亿到20亿参数的模型，8 GB 可容纳30亿到40亿，12至16 GB 在低比特量化下可容纳70亿到80亿。安卓和其他应用会占用好几个 GB，所以可用内存比包装盒上的数字更重要。应用可能设有各自的下限。

安卓应用会用 NPU 运行本地LLM吗？

通常不会。通用的 GGUF 应用在 CPU 上运行，有时用 GPU。通过 Google LiteRT、Qualcomm GenieX 和 MediaTek NeuroPilot 确实存在 NPU 路径，但它们需要为特定芯片准备好的模型。Google 报告称其自家示例大幅提速，例如 Dimensity 9500 NPU 上的 Gemma 3n E2B，但这些都是开发者路径。

Gemini Nano 是什么？任何应用都能使用它吗？

Gemini Nano 是 Google 的设备端模型，由安卓的 AICore 服务管理。应用在受支持的手机上通过 ML Kit GenAI 访问它，例如 Pixel 9 和 10 以及较新的 Galaxy 和 Xiaomi 机型。Google 表示它仅在应用处于前台时运行，并且 Bootloader 已解锁时不支持 Prompt API。

安卓上最好的本地AI应用是什么？

没有唯一的最佳。PocketPal AI 是免费、开源的 GGUF 运行器，模型选择广泛；Google AI Edge Gallery 是 Google 自家面向 Gemma 系列模型的应用；AnythingLLM Mobile 适合文档提问；LocalMind 适合与您自己服务器通信的手机。我们的安卓综述对比了最知名的几个选项。

安卓上的本地AI真的私密吗？

当应用在手机上运行模型时，就该步骤而言，提示词不会发送到AI厂商的推理服务器。应用仍可能收集分析数据或使用云端功能。请检查“数据安全”卡片、隐私政策、权限，以及模型下载后开启飞行模式时应用是否仍能工作。

我可以在安卓手机上运行 Ollama 吗？

Ollama 没有官方的安卓应用。社区的做法是在 Termux 中用 CPU 运行它，您也可以直接在 Termux 中运行 llama.cpp，或使用模拟兼容 Ollama 的 API 的安卓应用，例如 Mobile LM Server 或 Ollama Local AI（并非 Ollama 项目所制作）。大多数人在电脑上运行 Ollama、再用手机客户端，效果会更好。

安卓允许在后台运行本地AI吗？

只能部分允许。安卓限制后台进程，品牌电池管理器还会增加各自的限制，而 Google 的 Gemini Nano API 只能在前台工作。请把应用从电池优化中豁免，并在较长的回答期间保持屏幕常亮；把常驻助手放到家用服务器上。

手机能运行700亿参数的模型吗？

现实中不行。在 4-bit 下，仅权重就需要几十 GB，而手机通常总共只有 8 至 16 GB。请在电脑上运行此类模型，并通过 LocalMind 或 AnythingLLM Mobile 之类的应用把手机当作客户端。

如何在安卓上用本地AI离线翻译文本？

使用带翻译功能的应用，例如 LLM Hub，或用 Google AI Edge Gallery 的 Audio Scribe 处理录音。小模型处理常见语言对还算不错，但在小语种和法律措辞上会吃力，所以请测试您的语言对，并核实重要文本。

对文档或标签使用设备端视觉模型安全吗？

用于高风险的阅读并不安全。小型视觉模型可能会读错文字和数字，而且对于这些应用所运行的模型，我们没有找到独立的准确率数字。可以用它了解大意，然后对照原件核实。

iPhone 上有什么不同？

两者都很强，但取舍不同。iPhone 只有一个厂商、设备型号更少，所以结果往往更可预测。安卓让您有更大的空间从应用商店之外安装应用，并使用 Termux，而 Termux 是一款安卓应用。苹果对从 App Store 之外安装应用的规定因地区而异，并且会随时间变化，所以请查看 Apple 针对您所在国家或地区的最新政策。我们的姊妹篇指南《iPhone 上的本地AI》涵盖苹果一侧，而《Galaxy 与 iPhone 设备端AI对比》则对比了这两个生态。

← 返回 本地LLM进阶

MCP