关键要点
- 通过llama.cpp(GGUF)和MLX两个本地引擎运行200多种可下载的开放权重模型
- 免费下载,提供可选的应用内购买(3.99美元-99.99美元)以及需要自备API密钥的可选云端提供商
- 附加功能:带说话人识别的语音转录、文档/RSS知识库、多智能体团队、设备端文本转语音、Siri快捷指令自动化、原生Vision Pro支持
- 需要iPhone 14+、iPad mini(第7代)+、Apple芯片Mac或Apple Vision Pro
- 开发者:Zijie Deng,独立开发者——并非公开披露规模或融资情况的公司
- 与开发者Eduardo Dominguez Menendez推出的独立付费应用"AI on Device"是不同产品——参见名称区分部分
- 本评测是本地LLM软件目录中On Device AI条目的配套文章
📍 简单一句话
On Device AI是开发者Zijie Deng为iPhone、iPad、Apple芯片Mac和Apple Vision Pro打造的免费应用,通过llama.cpp(GGUF)和MLX完全在设备端运行200多种可下载的开放权重AI模型,并配有语音转录、文档库、多智能体工作流和可选的云端提供商连接。
💬 简单来说
On Device AI不是内置单一固定AI模型,而更像是本地模型的应用商店:你可以浏览超过200个开放模型的库,下载适合自己设备的模型,然后用设备自身的芯片而非远程服务器进行对话。它还能转录语音录音、朗读你的文档和RSS源,并能让一小组AI智能体协同工作——只要模型下载完成,这些功能均无需联网。
📌注: 本评测介绍的是On Device AI在ondevice-ai.app及App Store页面上对自身的描述。PromptQuorum尚未独立测试其在200多种支持模型上的设备端推理速度,也未独立验证其在本地处理期间不收集数据的说法——这些是开发者所述的设计特性,而非经第三方审计的保证。
On Device AI是什么?
On Device AI是一款适用于iPhone、iPad、Apple芯片Mac和Apple Vision Pro的应用,直接在设备上运行AI模型,而不是将对话发送到云端服务器。它没有捆绑单一模型,而是提供一个包含200多种开放权重模型的库供浏览和下载,因此你运行哪种模型是根据设备存储和内存做出的选择,而不是开发者替你固定好的决定。
- 模型选择:200多种可浏览和下载的开放权重模型,包括Llama 3、Gemma 3、Qwen 3、DeepSeek、Phi-4和Mistral系列
- 设备端执行:模型通过llama.cpp或MLX使用设备自身算力运行,而非调用云端API
- 自定义模型:除内置库外,支持从Hugging Face导入兼容的GGUF模型
- 平台范围:iPhone、iPad、Apple芯片Mac和Apple Vision Pro——纯Apple应用,没有Android或Windows版本
- 开发者:Zijie Deng,独立开发者,并非公开披露规模或融资情况的公司
不要与"AI on Device"混淆
On Device AI(本评测主题,ondevice-ai.app)与AI on Device(另一款单独评测的应用)是两款名称容易混淆但完全不同的产品。两者都在Apple设备上本地运行模型,但来自不同的开发者,在模型选择和定价上采取了截然相反的方式。
方面 | On Device AI(本评测) | AI on Device(独立应用) |
|---|---|---|
| 开发者 | Zijie Deng | Eduardo Dominguez Menendez |
| 模型选择 | 200多种可下载模型(GGUF+MLX) | 单一固定3B模型(2位量化) |
| 定价 | 免费+可选应用内购买(3.99美元-99.99美元) | 一次性4.99美元 |
| 硬件要求 | iPhone 14+/iPad mini 7+/Apple芯片Mac/Vision Pro | 仅限支持Apple Intelligence的设备(iOS/macOS 26+) |
| App Store ID | id6497060890 | id6753206463 |
如果你是通过链接、搜索结果或App Store搜索想找另一款应用而来到这里,请改为阅读专门的AI on Device评测——这两款应用互不相关,本评测不涉及那款固定模型、仅限Apple Intelligence的应用。
本地推理的工作原理:llama.cpp与MLX
On Device AI通过两个独立的本地推理引擎运行模型,根据模型格式选择:llama.cpp用于GGUF格式模型,MLX用于针对Apple芯片优化的模型。两个引擎都使用设备自身的芯片而非远程服务器来执行模型,因此模型下载完成后,任何请求都无需离开设备。
- 第1步:浏览模型库(200多个选项),选择一个适合设备存储和内存的模型
- 第2步:将模型文件下载到设备(仅此步骤需要联网)
- 第3步:使用下载的模型进行聊天、转录或运行智能体工作流——从此刻起,本地处理无需联网
- 第4步:如果内置库无法满足特定需求,可选择从Hugging Face导入自定义GGUF模型
On Device AI还能做什么?
除了运行选定的本地模型进行聊天,On Device AI还将语音转录、文档和RSS导入、多智能体工作流、设备端文本转语音以及自动化接口集成在同一款应用中。这些功能将它从单纯的模型聊天客户端扩展为更广泛的设备端生产力工作空间。
- 带说话人识别的语音转录:录制音频并识别谁说了什么
- 知识库:导入PDF、笔记、转录文本、图像和网页截图,进行AI驱动的文档分析
- Listen Library与RSS源:将文档和RSS源转换为带播放控制的阅读/收听队列
- 多智能体团队:部署专门化的AI智能体(例如研究员、分析师、写作者角色)协作完成一项任务
- 设备端文本转语音:三种引擎,包括Apple Voices、Kokoro和PocketTTS
- AI搜索与工具调用:提供引用来源的网络搜索,以及针对兼容模型的工具调用
- 自动化:与Siri快捷指令、小组件、日历和提醒事项集成
- 原生支持Apple Vision Pro,集成空间计算
- Mac专属附加功能:菜单栏访问、全局快捷键、即时通讯集成(Discord、Slack、Telegram)以及远程推理服务器功能
获取On Device AI:要求与下载
On Device AI仅通过Apple App Store分发——没有直接下载、Android版本或Windows版本。设备要求因硬件类型而异,下载前请对照下表检查你的具体设备。
设备 | 最低要求 |
|---|---|
| iPhone | iPhone 14或更新机型,iOS 18+——在App Store获取 |
| iPad | iPad mini(第7代)、iPad Air(第5代)、iPad Pro(第3代)或iPad(第11代)及以上,iPadOS 18+——在App Store获取 |
| Mac | 仅限Apple芯片,macOS 15+——在App Store获取 |
| Vision Pro | visionOS 2.0+——在App Store获取 |
On Device AI自身页面建议设备内存达到6GB或以上以获得最佳性能。目前没有Android或Windows版本——如果你需要跨平台方案,可查看本地LLM软件目录,了解覆盖这些平台的本地模型应用。
On Device AI定价:免费、Pro与云端提供商
On Device AI的核心本地工作流可免费下载和使用,在此基础上叠加了可选的应用内购买和可选的云端提供商连接。App Store页面显示Pro功能的应用内购买价格范围为3.99美元到99.99美元;本评测所参考的信息来源中未详细列出各价格档位对应的具体功能限制。
- 免费层级:核心本地模型聊天与工作流,无需账户
- Pro功能:可选的应用内购买,根据App Store页面为3.99美元-99.99美元——本评测所依据的信息来源未公布各档位的具体功能限制
- 云端提供商:可选,需要你自己在OpenAI、Anthropic、Google Gemini、Groq、OpenRouter、Nvidia、LM Studio或Ollama等提供商处开设账户/获取API密钥——这些不属于免费或Pro层级,任何使用费用均由该提供商直接收取,而非On Device AI
- 分发渠道:仅限Apple App Store
On Device AI的隐私性到底如何?
On Device AI声称本地AI处理不涉及账户、分析或遥测,且在处理期间,对话、文档和录音不会离开设备。这是关于应用设计的说法,而非经过独立验证的合规认证——请将其视为开发者所述的隐私立场,而非经第三方审计的保证。
- 本地使用无需账户,消除了将使用行为与身份关联的一种常见方式
- 本地模型的设备端处理从设计上意味着,生成响应无需将对话内容传出设备
- 本评测未独立测试网络流量,也未审计On Device AI的代码来确认本地处理期间不收集数据的说法
- 连接可选的云端提供商是一个独立的、需主动选择的步骤,会按该提供商自身的条款向其发送数据,与On Device AI关于本地处理的说法无关
谁适合尝试On Device AI?
On Device AI是否适合你,取决于你是想要广泛的本地模型选择加上更广泛的生产力工具集,还是只想要一个简单的单一聊天应用。
竞品与替代方案
On Device AI与一小批同样在Apple设备上本地运行开放权重模型的应用相互竞争。以下是它与最接近的几个选项的比较——完整目录请参见本地LLM软件目录。
- Enclave AI — 由另一位独立开发者打造的免费iPhone/iPad/Mac应用,提供数百种可下载的开源模型,并配有个性化助手、文档交互以及Siri/快捷指令自动化;与下方的固定模型应用相比,它在功能上与On Device AI更为接近。
- Noema — 另一款面向Apple平台的设备端模型聊天应用;具体模型库和功能集请参见专门评测。
- Solair AI — 另一款单独评测的设备端AI应用;可将其模型选择和定价与On Device AI 3.99美元-99.99美元的应用内购买范围进行比较。
- "AI on Device" — 尽管名称几乎相同,但与本评测的主题并非同一款应用。它是另一位开发者(Eduardo Dominguez Menendez)推出的一次性4.99美元应用,运行一个经2位量化的固定30亿参数模型,并要求支持Apple Intelligence的设备,而不是提供200多种模型的模型库。
评估On Device AI时的常见误区
关于On Device AI的大多数混淆,都源于将其与名称相似的应用"AI on Device"混为一谈,或误以为其可选的云端功能会改变其本地处理的隐私说法。
常见问题
On Device AI是什么?
On Device AI(ondevice-ai.app)是开发者Zijie Deng为iPhone、iPad、Apple芯片Mac和Apple Vision Pro打造的免费应用,使用llama.cpp运行GGUF模型、MLX运行Apple芯片模型,在本地运行200多种可下载的开放权重AI模型。
On Device AI和"AI on Device"是同一款应用吗?
不是。On Device AI(本评测主题)与AI on Device是不同开发者推出的两款独立应用。On Device AI免费提供200多种可下载模型,并有可选的应用内购买;AI on Device是开发者Eduardo Dominguez Menendez推出的一次性4.99美元应用,捆绑单一固定3B模型,并要求支持Apple Intelligence的设备。如果你要找的是那款应用,请参见专门的AI on Device评测。
On Device AI支持多少种模型?
超过200种可下载的开放权重模型,包括Llama 3、Gemma 3、Qwen 3、DeepSeek、Phi-4和Mistral系列,通过两个本地引擎运行:llama.cpp用于GGUF格式模型,MLX用于针对Apple芯片优化的模型。
On Device AI免费吗?
On Device AI可从App Store免费下载,并可免费使用核心本地模型工作流。它为Pro功能提供3.99美元到99.99美元的可选应用内购买,以及需要你自备API密钥的可选云端提供商连接。
On Device AI支持哪些设备?
iPhone 14或更新机型(iOS 18+)、iPad mini(第7代)或更新机型及其他近期iPad(iPadOS 18+)、任何Apple芯片Mac(macOS 15+),以及Apple Vision Pro(visionOS 2.0+)。它不支持Android、Windows或Intel Mac。
On Device AI能在没有网络连接的情况下运行吗?
模型下载完成后,本地聊天和其他设备端处理无需联网即可运行。下载模型以及使用可选的云端提供商连接均需要联网。
On Device AI会收集我的数据吗?
根据On Device AI自身官网的说法,本地AI处理不涉及账户、分析或遥测,处理期间对话、文档和录音不会离开设备。本评测未独立审计这一说法——这是开发者所述的设计特性,而非经第三方验证的保证。
On Device AI能导入自定义模型吗?
可以。除内置的200多种模型库外,On Device AI支持从Hugging Face导入兼容的GGUF模型。
On Device AI支持语音功能吗?
支持。它包含带说话人识别的语音转录,以及通过Apple Voices、Kokoro和PocketTTS三种引擎实现的设备端文本转语音。
On Device AI由谁开发?
根据App Store页面,On Device AI由独立开发者Zijie Deng开发——并非公开披露规模或融资情况的公司。
On Device AI支持Apple Vision Pro吗?
支持。On Device AI提供原生visionOS集成及空间计算支持,需要visionOS 2.0或更新版本。