Skip to main content
PromptQuorum
主页/本地LLM进阶/ToolNeuron评测(2026):用于端侧加密AI的开源Android应用
Mobile & Edge LLMs

ToolNeuron评测(2026):用于端侧加密AI的开源Android应用

·9分钟阅读·Hans Kuepper 作者 · PromptQuorum创始人,多模型AI调度工具 · PromptQuorum

ToolNeuron是一款免费开源(MIT)的Android应用,通过llama.cpp在设备端完整运行GGUF语言模型,并配备文档RAG、语音输入输出和兼容OpenAI的本地HTTP服务器——根据该项目自身的README,没有云端组件,没有遥测。 由开发者Siddhesh Sonar打造,该应用使用基于Android Keystore的AES-256-GCM加密和Argon2id身份验证来保护本地存储,并要求Android 12(API 31)或更高版本。希望寻找比较对象的读者也可以阅读Layla评测RikkaHub评测

ToolNeuron由开发者Siddhesh Sonar开发,并以MIT许可证开源发布,是一款免费的Android应用,通过llama.cpp在设备端运行GGUF语言模型,并配备文档RAG、语音输入输出、兼容OpenAI的本地HTTP服务器,以及构建在其上的插件系统。根据该项目自身的README,"无需Google Play服务、无遥测、无云端"是应用的核心设计目标,并通过基于Android Keystore的AES-256-GCM加密和Argon2id身份验证来保护存储数据。本评测基于该项目公开的GitHub代码库和Play商店页面,而非独立的实机测试,探讨这款应用能做什么、需要什么,以及它与Layla、RikkaHub等其他Android端侧聊天应用相比处于什么位置。

ToolNeuron评测(2026):用于端侧加密AI的开源Android应用

关键要点

  • 价格:下载和使用均免费;在MIT许可证下开源,代码库中未记录任何应用内购买。
  • 开发者:Siddhesh Sonar
  • 引擎:用于GGUF聊天模型的llama.cpp,加上用于语音的sherpa-onnx,全部在设备端运行。
  • 聊天之外的功能:根据该项目的README,包括文档RAG(PDF、DOCX、XLSX、PPTX、EPUB等)、语音输入输出、本地兼容OpenAI的HTTP服务器、Hugging Face模型浏览器,以及沙盒化的插件系统。
  • 安全性:根据该项目自身的文档,本地数据通过Android Keystore AES-256-GCM和Argon2id身份验证加密。
  • 要求:根据该项目的构建配置,需要arm64-v8a或x86_64硬件上的Android 12(API 31)或更高版本。
  • 开源状态:MIT许可证,源代码发布在GitHub上——与闭源替代方案不同,可独立审计。
  • 分发方式:可通过Google Play获取,也可从GitHub Releases直接下载APK。

📍 简单一句话

ToolNeuron是开发者Siddhesh Sonar打造的一款免费开源(MIT)Android应用,通过llama.cpp在设备端运行GGUF语言模型,并增加了加密本地存储、文档RAG、语音输入输出、本地兼容OpenAI的HTTP服务器和插件系统;根据该项目自身的README,没有云端组件或遥测。

💬 简单来说

可以把它想象成一款免费开源的Android聊天应用,还能让你与自己的文档对话并使用语音功能,一切都在你的手机上运行,具备安全意识项目应有的加密水平——而不是简单包裹云端API的外壳。

获取ToolNeuron

ToolNeuron可通过Google Play获取,也可从其GitHub Releases页面直接下载APK。 两个分发渠道提供的是同一款开源应用。

本评测是PromptQuorum本地LLM软件目录的姊妹篇,该目录收录了跨平台的本地AI工具,其中也包括ToolNeuron自身的条目。

渠道
获取方式
Google PlayGoogle Play上的ToolNeuron
GitHub(APK)GitHub上的ToolNeuron发行版

无论哪种方式,应用本身都是免费的——GitHub上还托管了完整的源代码,供希望自行审计或构建的读者使用。

ToolNeuron是什么

ToolNeuron是一款Android应用,通过llama.cpp直接在设备端运行GGUF格式的语言模型,没有服务器端组件。 根据该项目自身的描述,其目标是成为"面向Android的端侧AI。无需Google Play服务、无遥测、无云端"——模型、聊天记录、用于检索的文档以及加密密钥材料都被设计为保留在手机上。

除了纯聊天之外,该应用还集成了针对常见文件格式的文档检索(RAG)、通过sherpa-onnx语音引擎实现的语音输入输出、一个向其他应用暴露兼容OpenAI API的本地HTTP服务器、内置的Hugging Face模型浏览器,以及用于安装额外功能的沙盒化插件系统。

本评测依赖于该项目公开的GitHub代码库——其README、许可证文件和代码库元数据——以及Google Play页面,而非独立的代码审计或实机基准测试。

开发者是谁

ToolNeuron由开发者Siddhesh Sonar构建和维护,他在MIT许可证下公开地将项目发布在GitHub上。 该代码库展现了活跃而细致的开发状态:有文档记录的安全架构、划分为应用、推理、加密和网络组件的模块化代码库,以及面向用户和贡献者的公开Discord社区。

由于源代码是公开发布而非闭源的,关于该应用对本地数据做了什么、没做什么的说法,可以直接对照代码进行核实,而不必仅仅依赖开发者自身的描述。

入门指南

设置ToolNeuron只需几个步骤,且无需创建账户。 从安装到首次离线响应的整个过程,除了所选模型的下载时间外,只需几分钟。

  1. 1
    安装应用
    Why it matters: 从[Google Play获取ToolNeuron](https://play.google.com/store/apps/details?id=com.dark.tool_neuron),或直接从[GitHub Releases](https://github.com/Siddhesh2377/ToolNeuron/releases)下载APK。无论哪种方式,应用本身都是免费的。
  2. 2
    设置本地加密
    Why it matters: 根据该项目的安全文档,应用会在首次运行时设置基于Android Keystore的加密和6位PIN码,然后才会存储聊天数据。
  3. 3
    浏览并下载一个GGUF模型
    Why it matters: 使用内置的Hugging Face浏览器查找兼容的GGUF模型,或提供自己的模型。此步骤需要互联网连接;之后的聊天则不需要。
  4. 4
    聊天,或添加文档以用于RAG
    Why it matters: 模型下载完成后,聊天将通过llama.cpp完全在设备端运行。为对话附加一份受支持的文档(PDF、DOCX等),模型即可基于该文档作答。
  5. 5
    可选:启用语音或本地API服务器
    Why it matters: 语音输入输出和兼容OpenAI的本地HTTP服务器都是在纯聊天基础上添加的可选功能——使用该应用并不需要它们中的任何一个。

支持的模型与功能

ToolNeuron通过llama.cpp运行任何兼容的GGUF格式模型,包括Llama、Mistral、Gemma等常见系列。 内置的Hugging Face浏览器让读者可以在下载前按流水线标签、参数量、量化方式和许可证筛选可用模型。

除聊天之外,该项目自身的README列出了以下功能:覆盖PDF、DOCX、XLSX、PPTX、ODT、EPUB、RTF、Markdown、HTML、JSON、XML、CSV和纯文本的文档RAG;通过sherpa-onnx引擎实现的语音输入输出(VITS、Piper和Whisper语音);根据该项目的更新日志,于2026年5月加入应用的本地图像生成;一个暴露兼容OpenAI API并配有自身Web UI的本地HTTP服务器;以及用于安装社区构建扩展的沙盒化插件系统。

这是一个比单一用途聊天客户端更广泛的功能集,根据该项目的文档,每项功能都通过同一个端侧引擎运行,而非调用云服务。

要求

根据该项目公开的构建配置,ToolNeuron要求在arm64-v8a或x86_64硬件上运行Android 12(API级别31)或更高版本。 与任何端侧LLM应用一样,实际的硬件下限更多取决于所加载的GGUF模型——其参数量和量化方式——而非单一固定规格;一个经过量化的小模型所需的内存,远少于一个大模型。

使用较旧Android版本或纯32位设备的读者应预料到应用无法安装,因为最低SDK和ABI过滤器是由Android软件包本身强制执行的,而不仅仅是一项软性建议。

隐私与安全

根据该项目自身的README,ToolNeuron声明的设计目标是避免任何云端依赖:无需Google Play服务,没有遥测,其核心聊天和RAG功能也没有服务器端组件。 支撑这一点的,是一套异常详尽、公开记录的安全架构,而非一句简单的隐私声明。

根据该项目的安全文档,本地数据——包括加密密钥材料本身——通过基于Android Keystore的AES-256-GCM密钥(在设备支持时优先使用StrongBox)和基于Argon2id的PIN身份验证加以保护。同一份文档还描述了在多次PIN输入失败后逐步升级的锁定机制,以及一项可选的"紧急PIN"功能,可用于清除本地应用数据。

  • 无需账户。 应用可以在不创建个人资料或登录的情况下安装和使用。
  • 核心功能没有云端组件。 根据该项目的README,聊天、RAG和语音功能都被设计为在设备端运行。
  • 加密的本地存储。 根据该项目的文档,聊天记录、文档和加密密钥都通过Android Keystore AES-256-GCM和Argon2id身份验证加以保护。
  • 开源代码。 由于该应用的源代码在MIT许可证下发布,其架构和数据处理方面的说法可以直接对照代码进行核实,而不必仅仅依赖开发者的陈述。

权衡:优势与局限

免费且开源(MIT)

在实际使用中意味着什么:
无需付费,完整源代码可在GitHub上供审计。
局限/注意事项:
开源本身并不能保证已经进行过独立的安全审计。

比纯聊天更广泛的功能集

在实际使用中意味着什么:
文档RAG、语音、本地API服务器和插件全部内置,无需管理多个独立应用。
局限/注意事项:
比单一用途聊天应用有更多活动部件;本评测未对每项功能的可靠性进行独立验证。

详尽且有文档记录的安全模型

在实际使用中意味着什么:
加密本地存储和基于PIN的身份验证可在手机丢失或被他人访问时保护数据。
局限/注意事项:
安全文档来自该项目自身;本评测未对该应用进行独立的渗透测试。

核心功能不依赖云端

在实际使用中意味着什么:
根据该项目的README,模型下载完成后,聊天、RAG和语音功能均可离线运行。
局限/注意事项:
仅限Android——不存在iPhone、桌面或网页版本。

ToolNeuron与替代方案对比

ToolNeuron

平台:
仅限Android
价格:
免费,开源(MIT)
模型灵活性:
通过内置Hugging Face浏览器获取任意GGUF模型
关键差异:
此处功能集最广泛——聊天之外还有RAG、语音、本地API服务器和插件
关于ToolNeuron的文章(2篇)

Layla

平台:
Android和iOS
价格:
19.99美元一次性购买,外加应用内分级
模型灵活性:
GGUF、LiteRT-LM和PTE模型后端
关键差异:
专注于角色人设和角色扮演,提供可选的云端模式;闭源

RikkaHub

平台:
仅限Android
价格:
免费,开源
模型灵活性:
根据其自身页面信息,支持GGUF模型
关键差异:
另一款免费开源的Android选择——可直接比较功能深度

Maid

平台:
Android和iOS
价格:
免费,开源
模型灵活性:
通过llama.cpp支持GGUF模型
关键差异:
跨平台(也支持iOS),更简单的单一用途聊天客户端

第三方应用的平台、价格和功能详情经常变化——决定前请在各应用自身的页面上核实最新详情。

谁应该使用ToolNeuron

  • 希望使用免费开源端侧AI应用的Android用户。 完整源代码是公开的,安装和使用都不产生任何费用。
  • 希望获得纯聊天之外更多功能的读者。 文档RAG、语音输入输出和本地API服务器都已集成,无需另外安装应用。
  • 重视文档化安全模型的隐私意识用户。 加密本地存储和基于PIN的身份验证超越了一份简单的隐私政策声明。
  • 希望扩展该应用的开发者。 插件系统和开源代码库支持直接定制,这与闭源替代方案不同。

谁不应该使用ToolNeuron

  • iPhone、桌面或网页用户。 ToolNeuron仅限Android;不存在iOS、Mac、Windows、Linux或基于浏览器的版本。
  • Android 11或更早版本、或纯32位硬件设备的所有者。 该应用要求在arm64-v8a或x86_64上运行Android 12(API 31)或更高版本。
  • 在信任一款应用之前需要成熟使用记录的读者。 相比某些运行更久的替代方案,ToolNeuron更新,公开的使用记录也更少。
  • 只想要一款简单、单一功能聊天应用,不需要其他东西的读者。 更广泛的功能集(RAG、语音、插件、本地服务器)对一些读者是优势,对另一些读者则是不必要的复杂性。

常见问题

ToolNeuron免费吗?

是的。ToolNeuron可免费安装和使用,根据其GitHub代码库,在MIT许可证下开源。

ToolNeuron是谁开发的?

ToolNeuron由开发者Siddhesh Sonar构建和维护。

ToolNeuron支持哪些模型?

任何兼容的GGUF格式模型,包括Llama、Mistral、Gemma等常见系列,通过llama.cpp运行。内置的Hugging Face浏览器有助于查找和下载模型。

ToolNeuron能在没有互联网连接的情况下工作吗?

就其核心功能而言,是的。该项目的README声明,应用没有云端组件,也没有遥测;只有在下载模型或应用更新时才需要互联网连接。

ToolNeuron需要什么Android版本?

根据该项目公开的构建配置,需要在arm64-v8a或x86_64硬件上运行Android 12(API级别31)或更高版本。

ToolNeuron是开源的吗?

是的。该应用在GitHub上以MIT许可证发布,源代码可以直接审计或构建。

ToolNeuron除了聊天之外还有哪些额外功能?

根据该项目的README,包括覆盖常见文件格式的文档RAG、通过sherpa-onnx实现的语音输入输出、本地兼容OpenAI的HTTP服务器、Hugging Face模型浏览器,以及沙盒化的插件系统。

ToolNeuron与Layla或RikkaHub相比如何?

ToolNeuron免费开源,内置功能集更广泛(RAG、语音、本地API服务器、插件)。Layla是一款售价19.99美元的付费闭源应用,同时支持Android和iOS,专注于角色人设/角色扮演,并提供可选的云端模式。RikkaHub是另一款免费开源的Android聊天应用。可根据你更看重ToolNeuron更广泛的功能集、Layla的跨平台角色扮演定位,还是一款更简单的单一用途客户端来做选择。

结论

ToolNeuron为Android带来了一款真正功能广泛、免费且开源的端侧AI应用:通过llama.cpp实现的GGUF聊天、文档RAG、语音输入输出、本地兼容OpenAI的API服务器和插件系统,这一切都由一套有文档记录、以加密为核心的安全架构支撑,而非一句含糊的隐私承诺。

公开的MIT许可源代码,相较于闭源的Android替代方案是一项有意义的优势——在意核实应用究竟如何处理本地数据的读者,可以直接查看代码,而不必仅仅信任一个应用页面。

让本评测保持审慎而非无条件热情的原因,在于该应用相对年轻,以及PromptQuorum尚未专门对其众多功能进行独立的实机基准测试;对性能有严苛要求的读者,应先在自己的设备上测试该应用,再决定是否重度依赖它。

希望获得一款免费、开源、注重隐私且功能不止于纯聊天的应用的Android用户,应该尝试它;希望使用iPhone应用、更简单的单一用途客户端,或更成熟使用记录的读者,则应考虑改用LaylaRikkaHub

资料来源

← 返回 本地LLM进阶