关键要点
- iOS:可直接在App Store获取;Android:未确认有Google Play上架,需直接从MLC的GitHub发布页下载APK。
- 独特之处:模型通过机器学习编译针对特定硬件目标(Metal、OpenCL、Vulkan、CUDA、ROCm)预先编译,而非通过通用解释器运行。
- 许可证:Apache-2.0,依据mlc-ai/mlc-llm的GitHub仓库。
- 截至本次评测,官方不支持视觉语言(图像输入)模型——仅支持文本聊天,虽存在社区变通方案但并非官方支持。
- Android版本依赖OpenCL GPU支持,在部分设备上已确认可用,在其他设备上并不稳定。
- 这是PromptQuorum本地AI工具11篇评测系列的最后一篇。
📍 简单一句话
MLC Chat是一款免费、采用Apache-2.0许可证的聊天应用,基于MLC LLM编译器构建,可在iOS(通过App Store)、Android(通过直接下载的APK)和桌面端(通过MLC LLM的Python/REST/CLI接口)本地运行大语言模型,采用GPU加速的端侧编译而非通用运行时,截至本次评测官方并不支持视觉语言模型。
💬 简单来说
MLC Chat是一款免费应用,通过将AI模型专门为你设备的图形芯片编译,让你无需联网就能直接在手机或电脑上与AI模型对话——本评测涵盖了真实的下载链接、配置步骤,以及它在哪些场景表现良好、哪些场景表现不佳。
📌注: 本评测专门聚焦于MLC Chat这款应用。若想了解其背后MLC LLM编译器与基于TVM的运行时的更深入技术解释,请参阅PromptQuorum专门的MLC LLM详解文章,本评测有意不与其重复。
历史:MLC LLM与机器学习编译
**MLC Chat构建在MLC LLM之上**,该项目自己的仓库将其描述为"具备机器学习编译能力的通用LLM部署引擎",能够跨平台开发、优化和部署AI模型。MLC LLM仓库自己的文档将Apache TVM(2018年)及相关编译器工作(TensorIR、MetaSchedule)列为其技术渊源——TVM正是MLC项目构建其机器学习编译技术所依托的深度学习编译器栈。
"MLC LLM"与"MLC Chat"的区别很重要,但常被混淆。 MLC LLM是底层的编译器与运行时引擎——即PromptQuorum在MLC LLM详解中深入介绍的内容。MLC Chat则是构建在其之上、面向消费者的应用程序,专门为iOS和Android打包,让非技术用户无需直接接触编译器,就能下载模型并开始聊天。
MLC Chat由维护MLC LLM项目本身的同一个MLC AI团队维护(GitHub组织mlc-ai),并采用与底层MLC LLM仓库相同的Apache-2.0许可证。
MLC Chat和MLC LLM是同一回事吗?
不是,尽管两者关系密切且常被互换使用。MLC LLM是底层的编译器与运行时引擎,负责跨平台为GPU加速的端侧推理编译模型——参见PromptQuorum专门的MLC LLM详解文章。MLC Chat是由同一团队基于该引擎构建的面向消费者的应用,专门为iOS和Android打包。
MLC Chat的独特之处
大多数本地LLM聊天应用依赖单一的通用推理运行时(如llama.cpp),在运行时于所遇到的任何硬件上解释模型文件。MLC Chat底层的MLC LLM引擎采用了不同的方法:它使用机器学习编译技术,针对特定硬件目标预先编译模型,然后将编译好的产物交付到目标设备上运行。
根据MLC LLM项目自己的文档,这种编译方法根据平台不同,针对广泛的GPU后端:Apple Silicon和Apple移动GPU上的Metal、Android GPU(Adreno和Mali)上的OpenCL,以及桌面Linux和Windows上的Vulkan、CUDA或ROCm。该项目还记录了对WebGPU和WebAssembly的支持,用于在浏览器中运行模型;而运行时组件MLCEngine通过REST、Python、JavaScript、iOS和Android接口暴露了一个与OpenAI兼容的API。
对MLC Chat而言,这带来的实际结果是:由于底层编译是针对特定硬件目标的,该应用能够在移动芯片上实现GPU加速,而更通用的运行时可能无法充分利用这一点——代价是需要为每一种特定的硬件/模型组合准备编译好的构建版本,而不是一个到处都能用的通用二进制文件。
MLC Chat与通用的本地LLM运行工具有何不同?
MLC Chat底层的MLC LLM引擎使用机器学习编译技术,针对特定硬件目标(根据平台不同为Metal、OpenCL、Vulkan、CUDA或ROCm)预先编译模型,而不是在运行时对模型进行通用解释。这在MLC LLM项目自身的资料中被记录为其核心的差异化方法。
真实配置步骤:iOS、Android与桌面端
以下步骤反映了PromptQuorum直接核实的内容——MLC Chat在App Store上的真实存在、Android APK的分发渠道,以及MLC LLM针对桌面端使用记录的快速入门路径。
- 1iOS:从App Store下载。
Why it matters: MLC Chat直接在[苹果App Store](https://apps.apple.com/us/app/mlc-chat/id6448482937)上架——标准安装方式,无需侧载。 - 2Android:直接从GitHub下载APK。
Why it matters: MLC目前并未维护经确认的Google Play商店上架。Android版本是作为直接的APK下载,从[MLC自己的GitHub发布页](https://github.com/mlc-ai/binary-mlc-llm-libs/releases/download/Android/mlc-chat.apk)分发的,这需要在Android设置中开启"安装未知来源应用"。 - 3在依赖之前检查Android GPU兼容性。
Why it matters: Android版本依赖OpenCL GPU支持。这在部分设备上(例如某些三星Galaxy机型)已确认可用,但在其他设备上(例如部分OpenCL支持有限的谷歌Pixel机型)并不稳定——在假定拥有完整GPU加速之前,请核实你的具体设备。 - 4桌面端:直接使用MLC LLM的Python包、REST服务器或CLI。
Why it matters: 目前没有单独打包的MLC Chat桌面应用程序。桌面用户在conda环境中安装`mlc-llm`这个Python包,并通过`MLCEngine`的`chat.completions.create()` API、REST服务器或命令行进行交互,依据[MLC LLM的快速入门文档](https://llm.mlc.ai/docs/get_started/quick_start.html)。 - 5选择与你硬件相匹配的已编译模型。
Why it matters: MLC LLM的快速入门文档使用`Llama-3-8B-Instruct-q4f16_1-MLC`(一个int4量化的构建版本)演示了工作流程,并记录其需要至少6GB的可用VRAM——这是在选择更大模型之前评估硬件需求的一个有用基准。
许可证及其支持的模型
许可证:Apache-2.0。 MLC Chat应用与底层MLC LLM仓库都以Apache-2.0许可证发布,已在mlc-ai/mlc-llm的GitHub仓库上直接确认。
模型支持范围比任何单一的快速入门示例都要广。 MLC LLM自己的快速入门文档使用Llama-3-8B-Instruct-q4f16_1-MLC演示了工作流程,但该项目的模型库还延伸到了其他为其支持的硬件目标编译的开放权重模型家族——PromptQuorum建议直接查阅MLC LLM自己的模型列表以获取当前可用集合,因为已编译模型的可用情况会随着新版本的发布而变化,不应依赖任何单一的缓存列表。
没有官方的视觉语言模型支持。 截至本次评测,MLC LLM并不官方支持视觉语言(图像输入)模型——它没有在聊天应用中提供内置模块,来共同处理图像和文本输入。存在一些社区项目,将视觉语言模型代码改造以适配MLC LLM的编译流水线,但这些项目并非由MLC AI团队官方维护或支持,PromptQuorum也未核实其当前的可靠性。
MLC Chat使用什么许可证?
Apache-2.0,已在mlc-ai/mlc-llm的GitHub仓库上直接确认,该许可证同时涵盖MLC LLM引擎及构建在其之上的MLC Chat应用。
MLC Chat支持像LLaVA这样的视觉模型吗?
截至本次评测,官方并不支持。MLC LLM并未提供对视觉语言(图像输入)模型的官方支持。存在一些由社区构建的变通方案,将视觉语言模型代码改造以适配MLC LLM的流水线,但这些是非官方的,其当前可靠性未经本次评测核实。若需要具备视觉能力的本地模型,请改为参阅PromptQuorum的LLaVA评测、Idefics评测,或Ollama视觉模型指南。
MLC Chat不适合做什么
MLC Chat是一款真正有用的跨平台端侧聊天应用,但在以下情况下并非合适的选择:
- 希望获得尽可能简单配置的桌面用户。 MLC Chat没有打包好的桌面应用程序——在桌面端使用意味着要安装一个Python包,并使用REST服务器、CLI或Python API。想要一键式桌面体验的用户会发现Ollama或LM Studio明显更便捷,尽管MLC Chat在移动端GPU编译方面的优势在桌面端并不能以同样的方式发挥作用。
- 视觉或图像输入任务。 MLC LLM官方并不支持视觉语言模型。如果你的使用场景涉及运行一个能够识别图像的模型,请改为参阅PromptQuorum的LLaVA评测、Idefics评测,或Ollama视觉模型指南。
- 最大规模的可用模型。 移动硬件带来了真实的限制——MLC LLM自己的快速入门示例就需要至少6GB可用VRAM,才能运行一个采用int4量化的8B参数模型,而手机的GPU和内存比桌面GPU更加有限。想要在本地运行最大规模的开放权重模型的用户,更适合使用拥有更多VRAM余量的桌面工具。
- OpenCL支持有限硬件上的Android用户。 Android版本的GPU加速依赖OpenCL,在部分设备上已确认可用,但在其他设备上并不稳定——在假定体验流畅之前,请核实你的具体设备型号。
替代方案与竞品
Ollama
- 最适合场景:
- 通过
ollama pull/ollama run实现以桌面为先的简单性;比MLC Chat更广泛的视觉模型支持 - 许可:
- MIT
LM Studio
- 最适合场景:
- 内置模型浏览器的图形界面优先桌面体验
- 许可:
- 免费,专有应用程序
直接使用llama.cpp
- 最适合场景:
- 无需预先编译步骤,对推理拥有最大限度的底层控制
- 许可:
- MIT
PocketPal AI
- 最适合场景:
- 另一款专门的本地LLM移动应用;参见PromptQuorum自己的评测以直接对比
- 许可:
- 因项目而异——参见PromptQuorum的PocketPal AI评测
常见问题
MLC Chat是什么?
MLC Chat是一款免费、跨平台的聊天应用,可以直接在你自己的设备上运行大语言模型,由MLC AI团队基于自家的MLC LLM编译器与运行时构建,以Apache-2.0许可证授权。
我在哪里可以下载MLC Chat?
在iOS上,直接从App Store下载即可。在Android上,MLC目前并未将其上架Google Play——需要直接从MLC自己的GitHub发布页下载APK,这需要开启允许安装未知来源应用。在桌面端,没有单独打包的应用;请改为使用MLC LLM的Python包、REST服务器或命令行界面。
MLC Chat是免费的吗?
是的。该应用及其底层的MLC LLM引擎均以开源的Apache-2.0许可证发布。
MLC Chat支持视觉模型吗?
截至本次评测,官方并不支持。MLC LLM官方并不支持视觉语言(图像输入)模型。存在一些非官方的社区变通方案,但本次评测并未对其进行核实。
MLC Chat与Ollama或llama.cpp有何不同?
MLC Chat底层的MLC LLM引擎使用源自Apache TVM编译器谱系的技术,针对特定硬件目标预先编译模型,而不是在运行时对模型进行通用解释,该项目将此定位为专门在移动芯片上实现GPU加速的优势。Ollama和llama.cpp采用了更通用的运行时方法,而Ollama目前提供了更广泛的视觉模型支持。
这是PromptQuorum本地AI工具系列的最后一篇文章吗?
是的。这篇MLC Chat评测是涵盖Whisper.cpp、faster-whisper、Piper TTS、Coqui TTS、XTTS v2、Bark、StyleTTS 2、LLaVA、Ollama视觉模型、Idefics和MLC Chat的11篇系列文章中的最后一篇。
结论:本系列的最后一篇
MLC Chat兑现了一个真正独特的承诺:通过机器学习编译而非一刀切的运行时,实现跨平台、GPU加速的端侧LLM聊天,在iOS App Store上真实上架,并提供可直接下载的Android APK,所有这些都在宽松的Apache-2.0许可证之下。然而,对于桌面用户来说,它并非最便捷的选择——桌面端的工作流程意味着需要一个Python包和REST/CLI接口,而非一个打包好的应用——而且截至目前,它完全没有官方的视觉语言模型支持。当其编译式、针对特定硬件目标的方法能带来实际收益时,请专门选择MLC Chat用于移动端端侧聊天;若想获得最简单的桌面体验,请选择Ollama或LM Studio;若需要具备视觉能力的本地模型,请改为选择PromptQuorum的LLaVA或Idefics评测。若想了解MLC Chat背后编译器的更深入技术图景,请参阅PromptQuorum的MLC LLM详解。本评测为PromptQuorum本地AI工具11篇系列画上句号——从语音识别(Whisper.cpp、faster-whisper)和语音合成(Piper、Coqui TTS、XTTS v2、Bark、StyleTTS 2),到视觉语言模型(LLaVA、Ollama视觉模型、Idefics),再到这最后一篇关于跨平台端侧编译的文章。
资料来源
- App Store上的MLC Chat —— 已确认的iOS可用性。
- MLC Chat的Android APK —— 直接的Android下载渠道,托管在MLC自己的GitHub发布页上。
- GitHub上的mlc-ai/mlc-llm —— 许可证(Apache-2.0)、平台支持、TVM渊源文档。
- MLC LLM快速入门文档 —— 桌面配置步骤、示例模型、VRAM要求。
- MLC LLM Android SDK文档 —— Android的OpenCL依赖及设备兼容性说明。
- PromptQuorum对MLC LLM视觉语言模型支持情况的调研,确认截至本次评测并无官方VLM支持,但存在非官方的社区变通方案(例如MLC-VLM-template)。