RunAnywhere评测：支持LLM、STT、TTS和VAD的设备端AI SDK

RunAnywhere是什么？

• 核心功能：共享的C++运行时，加上按平台划分的SDK（Swift、Kotlin、Flutter、React Native、TypeScript、Python），暴露相同的API模式以在本地运行模型
• RunAnywhere自身文档中展示的示例API调用：RunAnywhere.llm.generate("Name three colours")——无论底层平台是Swift、Kotlin还是JavaScript，该调用结构都应保持一致
• 开发方：RunAnywhere, Inc.，一家自称"以研究为先的推理实验室"的公司，为消费级硬件编写自有GPU和NPU内核，而不是仅依赖通用推理库
• 规范仓库：github.com/RunanywhereAI/runanywhere-sdks——托管共享运行时及所有平台SDK包的单一代码仓库
• 文档：docs.runanywhere.ai，提供Swift、Kotlin、React Native、Flutter、Web和Electron的分平台快速入门指南

安装与快速上手

1. 1
   iOS / macOS（Swift）
   Why it matters: 通过Swift Package Manager添加该包，指向`https://github.com/RunanywhereAI/runanywhere-sdks`。需要iOS 17.5+或macOS 14.5+。
2. 2
   Android（Kotlin）
   Why it matters: 添加Gradle依赖：`implementation("io.github.sanchitmonga22:runanywhere-sdk:0.20.11")`（另加`runanywhere-llamacpp`等引擎模块，用于基于llama.cpp的推理后端）。需要Android API 24+。
3. 3
   Flutter
   Why it matters: 在`pubspec.yaml`中添加：`runanywhere: ^0.20.11`（另加`runanywhere_llamacpp: ^0.20.11`用于本地推理引擎）。包页面：[pub.dev/packages/runanywhere](https://pub.dev/packages/runanywhere)。
4. 4
   Web（TypeScript/WASM）
   Why it matters: 通过npm安装：`npm install @runanywhere/web@0.20.11 @runanywhere/web-llamacpp@0.20.11`。使用WebAssembly在浏览器内运行，浏览器支持时可启用WebGPU加速。
5. 5
   Python
   Why it matters: 通过pip安装：`pip install runanywhere`。面向Windows、macOS和Linux上的桌面/服务器使用场景。
6. 6
   终端（rcli）
   Why it matters: macOS/Linux：`brew install runanywhereai/tap/rcli`，或使用安装脚本`curl -fsSL https://raw.githubusercontent.com/RunanywhereAI/RCLI/main/install.sh | sh`。Windows：`irm https://raw.githubusercontent.com/RunanywhereAI/RCLI/main/install.ps1 | iex`。

许可与定价：多数评测忽略的细节

用RunAnywhere能构建什么？

• LLM聊天与文本生成 — 在设备端运行开放权重语言模型，用于聊天、摘要或结构化生成，每次请求无需网络调用
• 语音转文本（STT） — 在本地将语音音频转录为文本
• 文本转语音（TTS） — 在本地根据文本生成语音音频
• 语音活动检测（VAD） — 检测用户何时在说话，是语音代理和"按键通话"功能的基础组件
• 视觉语言模型（VLM） — 运行可同时处理图像和文本的模型，包括RunAnywhere自身文档记录的OCR支持
• 嵌入（Embeddings） — 在设备端生成向量嵌入，可用于设备端搜索或检索增强生成（RAG），无需将文档发送到服务器
• 模型路由 — 根据RunAnywhere自身的资料，其提供一个路由层，可根据任务在不同的本地模型或引擎之间选择

硬件加速：MetalRT、QHexRT与WebGPU

支持的平台与语言

近期里程碑

1. 1
   Android离线语音代理（据RunAnywhere博客，2026年2月）
   Why it matters: RunAnywhere描述其在Android上交付了一个完全离线、不依赖云端的功能齐全的AI代理。
2. 2
   FastVoice延迟里程碑（据RunAnywhere博客，2026年2月）
   Why it matters: RunAnywhere报告称，其设备端语音管线的首次音频延迟为63毫秒。
3. 3
   面向Apple Silicon的语音引擎（据RunAnywhere博客，2026年3月）
   Why it matters: RunAnywhere称这是其首个在Apple Silicon上同时处理LLM、STT和TTS的推理引擎。
4. 4
   MetalRT支持视觉语言模型（据RunAnywhere博客，2026年3月）
   Why it matters: RunAnywhere报告称，其在Apple Silicon上的视觉模型解码吞吐量据称超过了M4 Max上的mlx-vlm库。
5. 5
   MetalRT支持语音到语音（据RunAnywhere博客，2026年3月）
   Why it matters: RunAnywhere报告称，其原生语音到语音管线的端到端延迟为1.68秒。
6. 6
   面向高通Hexagon NPU的QHexRT发布（据RunAnywhere博客，2026年6月）
   Why it matters: RunAnywhere称这是一款覆盖LLM、VLM、STT、TTS和嵌入的全栈NPU推理引擎，适用于支持的骁龙设备。
7. 7
   在手机硬件上运行270亿参数模型（据RunAnywhere博客，2026年7月）
   Why it matters: RunAnywhere报告称，已在iPhone、Android和Mac上部署了一款1比特量化的270亿参数模型，并称这是该公司在NPU上运行的首个1比特模型。

谁适合使用RunAnywhere？

竞品与替代方案

• MLC LLM — 一个开源的机器学习编译框架，用于将LLM部署到手机、浏览器及其他边缘设备；对于希望自行编译和控制推理图、而非使用托管式SDK的团队而言，是更接近的比较对象。
• MLC Chat — 基于MLC LLM构建的参考移动聊天应用；虽然它是一款可下载的应用，而非开发者SDK，但作为从终端用户角度理解设备端SDK的一个可运行示例，仍具参考价值。
• llama.cpp — 一个被广泛使用的C/C++推理引擎，许多本地AI工具（包括RunAnywhere自身的Android/Kotlin和Flutter/Web引擎模块）都基于它实现CPU及跨平台推理。
• Docker Model Runner — 本地推理的另一种集成方式（作为Docker Desktop/Engine的CLI功能，而非移动应用SDK），对于在本地推理的后端/服务端方案与直接嵌入客户端应用的设备端SDK之间进行权衡的团队而言，是一个有用的对照。

在目录中比较→

评估RunAnywhere时的常见误区

常见问题

资料来源

延伸阅读

• 本地LLM软件目录2026 — 本文所属的完整本地AI工具目录，包含RunAnywhere的目录条目。
• MLC LLM详解 — 一种用于在手机和浏览器上部署模型的开源机器学习编译替代方案。
• MLC Chat评测 — 一款基于MLC LLM引擎构建的可下载移动聊天应用。
• llama.cpp详解 — RunAnywhere自身多个SDK模块所依赖的、被广泛使用的推理引擎。
• Docker Model Runner评测 — 一种面向本地推理的后端/CLI优先替代方案，与RunAnywhere嵌入客户端的SDK方式形成对比。