Skip to main content
PromptQuorumBuilt for humans. Structured for AI.
主页/本地LLM进阶
Voice, Speech & Multimodal

MLC Chat评测:基于MLC LLM构建的手机应用,诚实评估

·10分钟阅读Hans Kuepper 作者 · PromptQuorum创始人 · 开放权重与开源AI发现引擎

MLC Chat是一款免费、跨平台的聊天应用,可以直接在你自己的设备上运行大语言模型,由MLC AI团队基于自家的MLC LLM编译器与运行时构建,以Apache-2.0许可证发布。它可在iOS App Store获取,也可作为Android APK直接从MLC自己的GitHub发布页下载;桌面端的使用则通过MLC LLM的Python、REST和CLI接口进行,而非一个独立打包的桌面应用。它的独特之处在于通过机器学习编译实现的GPU加速端侧推理——针对特定硬件目标(Apple GPU上的Metal、Android GPU上的OpenCL、桌面端的Vulkan/CUDA/ROCm)预先编译模型,而不是依赖单一的通用运行时。截至本次评测,MLC Chat官方并不支持视觉语言(图像输入)模型。若想了解底层编译器工作原理的更深入技术解释,请参阅PromptQuorum的MLC LLM详解。

关键要点

  • iOS:可直接在App Store获取;Android:未确认有Google Play上架,需直接从MLC的GitHub发布页下载APK。
  • 独特之处:模型通过机器学习编译针对特定硬件目标(Metal、OpenCL、Vulkan、CUDA、ROCm)预先编译,而非通过通用解释器运行。
  • 许可证:Apache-2.0,依据mlc-ai/mlc-llm的GitHub仓库。
  • 截至本次评测,官方不支持视觉语言(图像输入)模型——仅支持文本聊天,虽存在社区变通方案但并非官方支持。
  • Android版本依赖OpenCL GPU支持,在部分设备上已确认可用,在其他设备上并不稳定。
  • 这是PromptQuorum本地AI工具11篇评测系列的最后一篇。

📍 简单一句话

MLC Chat是一款免费、采用Apache-2.0许可证的聊天应用,基于MLC LLM编译器构建,可在iOS(通过App Store)、Android(通过直接下载的APK)和桌面端(通过MLC LLM的Python/REST/CLI接口)本地运行大语言模型,采用GPU加速的端侧编译而非通用运行时,截至本次评测官方并不支持视觉语言模型。

💬 简单来说

MLC Chat是一款免费应用,通过将AI模型专门为你设备的图形芯片编译,让你无需联网就能直接在手机或电脑上与AI模型对话——本评测涵盖了真实的下载链接、配置步骤,以及它在哪些场景表现良好、哪些场景表现不佳。

📌注: 本评测专门聚焦于MLC Chat这款应用。若想了解其背后MLC LLM编译器与基于TVM的运行时的更深入技术解释,请参阅PromptQuorum专门的MLC LLM详解文章,本评测有意不与其重复。

选择语言:
🇺🇸en🇩🇪de🇫🇷fr🇯🇵ja🇨🇳zh🇪🇸es🇧🇷pt🇸🇦ar🇰🇷ko

MLC Chat是构建在MLC LLM编译器与运行时之上的面向消费者的聊天应用——这个项目本身,PromptQuorum已在MLC LLM详解中做了深入介绍。本评测专门聚焦于应用体验本身:真实的下载渠道、实际的配置步骤、随附的模型,以及诚实的局限性,而不是重新讲解底层的编译技术。如果你想了解MLC LLM如何跨平台为GPU加速推理编译模型的更深入技术图景,请先阅读MLC LLM详解;本文默认你已掌握该背景,并专注于应用本身。

MLC Chat评测:基于MLC LLM构建的手机应用,诚实评估

历史:MLC LLM与机器学习编译

MLC Chat构建在MLC LLM之上,该项目自己的仓库将其描述为"具备机器学习编译能力的通用LLM部署引擎",能够跨平台开发、优化和部署AI模型。MLC LLM仓库自己的文档将Apache TVM(2018年)及相关编译器工作(TensorIR、MetaSchedule)列为其技术渊源——TVM正是MLC项目构建其机器学习编译技术所依托的深度学习编译器栈。

"MLC LLM"与"MLC Chat"的区别很重要,但常被混淆。 MLC LLM是底层的编译器与运行时引擎——即PromptQuorum在MLC LLM详解中深入介绍的内容。MLC Chat则是构建在其之上、面向消费者的应用程序,专门为iOS和Android打包,让非技术用户无需直接接触编译器,就能下载模型并开始聊天。

MLC Chat由维护MLC LLM项目本身的同一个MLC AI团队维护(GitHub组织mlc-ai),并采用与底层MLC LLM仓库相同的Apache-2.0许可证。

MLC Chat和MLC LLM是同一回事吗?

不是,尽管两者关系密切且常被互换使用。MLC LLM是底层的编译器与运行时引擎,负责跨平台为GPU加速的端侧推理编译模型——参见PromptQuorum专门的MLC LLM详解文章。MLC Chat是由同一团队基于该引擎构建的面向消费者的应用,专门为iOS和Android打包。

MLC Chat的独特之处

大多数本地LLM聊天应用依赖单一的通用推理运行时(如llama.cpp),在运行时于所遇到的任何硬件上解释模型文件。MLC Chat底层的MLC LLM引擎采用了不同的方法:它使用机器学习编译技术,针对特定硬件目标预先编译模型,然后将编译好的产物交付到目标设备上运行。

根据MLC LLM项目自己的文档,这种编译方法根据平台不同,针对广泛的GPU后端:Apple Silicon和Apple移动GPU上的Metal、Android GPU(Adreno和Mali)上的OpenCL,以及桌面Linux和Windows上的Vulkan、CUDA或ROCm。该项目还记录了对WebGPU和WebAssembly的支持,用于在浏览器中运行模型;而运行时组件MLCEngine通过REST、Python、JavaScript、iOS和Android接口暴露了一个与OpenAI兼容的API。

对MLC Chat而言,这带来的实际结果是:由于底层编译是针对特定硬件目标的,该应用能够在移动芯片上实现GPU加速,而更通用的运行时可能无法充分利用这一点——代价是需要为每一种特定的硬件/模型组合准备编译好的构建版本,而不是一个到处都能用的通用二进制文件。

MLC Chat与通用的本地LLM运行工具有何不同?

MLC Chat底层的MLC LLM引擎使用机器学习编译技术,针对特定硬件目标(根据平台不同为Metal、OpenCL、Vulkan、CUDA或ROCm)预先编译模型,而不是在运行时对模型进行通用解释。这在MLC LLM项目自身的资料中被记录为其核心的差异化方法。

真实配置步骤:iOS、Android与桌面端

以下步骤反映了PromptQuorum直接核实的内容——MLC Chat在App Store上的真实存在、Android APK的分发渠道,以及MLC LLM针对桌面端使用记录的快速入门路径。

  1. 1
    iOS:从App Store下载。
    Why it matters: MLC Chat直接在[苹果App Store](https://apps.apple.com/us/app/mlc-chat/id6448482937)上架——标准安装方式,无需侧载。
  2. 2
    Android:直接从GitHub下载APK。
    Why it matters: MLC目前并未维护经确认的Google Play商店上架。Android版本是作为直接的APK下载,从[MLC自己的GitHub发布页](https://github.com/mlc-ai/binary-mlc-llm-libs/releases/download/Android/mlc-chat.apk)分发的,这需要在Android设置中开启"安装未知来源应用"。
  3. 3
    在依赖之前检查Android GPU兼容性。
    Why it matters: Android版本依赖OpenCL GPU支持。这在部分设备上(例如某些三星Galaxy机型)已确认可用,但在其他设备上(例如部分OpenCL支持有限的谷歌Pixel机型)并不稳定——在假定拥有完整GPU加速之前,请核实你的具体设备。
  4. 4
    桌面端:直接使用MLC LLM的Python包、REST服务器或CLI。
    Why it matters: 目前没有单独打包的MLC Chat桌面应用程序。桌面用户在conda环境中安装`mlc-llm`这个Python包,并通过`MLCEngine`的`chat.completions.create()` API、REST服务器或命令行进行交互,依据[MLC LLM的快速入门文档](https://llm.mlc.ai/docs/get_started/quick_start.html)。
  5. 5
    选择与你硬件相匹配的已编译模型。
    Why it matters: MLC LLM的快速入门文档使用`Llama-3-8B-Instruct-q4f16_1-MLC`(一个int4量化的构建版本)演示了工作流程,并记录其需要至少6GB的可用VRAM——这是在选择更大模型之前评估硬件需求的一个有用基准。

许可证及其支持的模型

许可证:Apache-2.0。 MLC Chat应用与底层MLC LLM仓库都以Apache-2.0许可证发布,已在mlc-ai/mlc-llm的GitHub仓库上直接确认。

模型支持范围比任何单一的快速入门示例都要广。 MLC LLM自己的快速入门文档使用Llama-3-8B-Instruct-q4f16_1-MLC演示了工作流程,但该项目的模型库还延伸到了其他为其支持的硬件目标编译的开放权重模型家族——PromptQuorum建议直接查阅MLC LLM自己的模型列表以获取当前可用集合,因为已编译模型的可用情况会随着新版本的发布而变化,不应依赖任何单一的缓存列表。

没有官方的视觉语言模型支持。 截至本次评测,MLC LLM并不官方支持视觉语言(图像输入)模型——它没有在聊天应用中提供内置模块,来共同处理图像和文本输入。存在一些社区项目,将视觉语言模型代码改造以适配MLC LLM的编译流水线,但这些项目并非由MLC AI团队官方维护或支持,PromptQuorum也未核实其当前的可靠性。

MLC Chat使用什么许可证?

Apache-2.0,已在mlc-ai/mlc-llm的GitHub仓库上直接确认,该许可证同时涵盖MLC LLM引擎及构建在其之上的MLC Chat应用。

MLC Chat支持像LLaVA这样的视觉模型吗?

截至本次评测,官方并不支持。MLC LLM并未提供对视觉语言(图像输入)模型的官方支持。存在一些由社区构建的变通方案,将视觉语言模型代码改造以适配MLC LLM的流水线,但这些是非官方的,其当前可靠性未经本次评测核实。若需要具备视觉能力的本地模型,请改为参阅PromptQuorum的LLaVA评测、Idefics评测,或Ollama视觉模型指南。

MLC Chat不适合做什么

MLC Chat是一款真正有用的跨平台端侧聊天应用,但在以下情况下并非合适的选择:

  • 希望获得尽可能简单配置的桌面用户。 MLC Chat没有打包好的桌面应用程序——在桌面端使用意味着要安装一个Python包,并使用REST服务器、CLI或Python API。想要一键式桌面体验的用户会发现Ollama或LM Studio明显更便捷,尽管MLC Chat在移动端GPU编译方面的优势在桌面端并不能以同样的方式发挥作用。
  • 视觉或图像输入任务。 MLC LLM官方并不支持视觉语言模型。如果你的使用场景涉及运行一个能够识别图像的模型,请改为参阅PromptQuorum的LLaVA评测、Idefics评测,或Ollama视觉模型指南。
  • 最大规模的可用模型。 移动硬件带来了真实的限制——MLC LLM自己的快速入门示例就需要至少6GB可用VRAM,才能运行一个采用int4量化的8B参数模型,而手机的GPU和内存比桌面GPU更加有限。想要在本地运行最大规模的开放权重模型的用户,更适合使用拥有更多VRAM余量的桌面工具。
  • OpenCL支持有限硬件上的Android用户。 Android版本的GPU加速依赖OpenCL,在部分设备上已确认可用,但在其他设备上并不稳定——在假定体验流畅之前,请核实你的具体设备型号。

替代方案与竞品

Ollama

最适合场景:
通过ollama pull/ollama run实现以桌面为先的简单性;比MLC Chat更广泛的视觉模型支持
许可:
MIT
关于Ollama的文章（10篇）

另有310篇未显示

直接使用llama.cpp

最适合场景:
无需预先编译步骤,对推理拥有最大限度的底层控制
许可:
MIT

PocketPal AI

最适合场景:
另一款专门的本地LLM移动应用;参见PromptQuorum自己的评测以直接对比
许可:
因项目而异——参见PromptQuorum的PocketPal AI评测
关于PocketPal AI的文章（10篇）

另有36篇未显示

在目录中比较

常见问题

MLC Chat是什么?

MLC Chat是一款免费、跨平台的聊天应用,可以直接在你自己的设备上运行大语言模型,由MLC AI团队基于自家的MLC LLM编译器与运行时构建,以Apache-2.0许可证授权。

我在哪里可以下载MLC Chat?

在iOS上,直接从App Store下载即可。在Android上,MLC目前并未将其上架Google Play——需要直接从MLC自己的GitHub发布页下载APK,这需要开启允许安装未知来源应用。在桌面端,没有单独打包的应用;请改为使用MLC LLM的Python包、REST服务器或命令行界面。

MLC Chat是免费的吗?

是的。该应用及其底层的MLC LLM引擎均以开源的Apache-2.0许可证发布。

MLC Chat支持视觉模型吗?

截至本次评测,官方并不支持。MLC LLM官方并不支持视觉语言(图像输入)模型。存在一些非官方的社区变通方案,但本次评测并未对其进行核实。

MLC Chat与Ollama或llama.cpp有何不同?

MLC Chat底层的MLC LLM引擎使用源自Apache TVM编译器谱系的技术,针对特定硬件目标预先编译模型,而不是在运行时对模型进行通用解释,该项目将此定位为专门在移动芯片上实现GPU加速的优势。Ollama和llama.cpp采用了更通用的运行时方法,而Ollama目前提供了更广泛的视觉模型支持。

这是PromptQuorum本地AI工具系列的最后一篇文章吗?

是的。这篇MLC Chat评测是涵盖Whisper.cpp、faster-whisper、Piper TTS、Coqui TTS、XTTS v2、Bark、StyleTTS 2、LLaVA、Ollama视觉模型、Idefics和MLC Chat的11篇系列文章中的最后一篇。

结论:本系列的最后一篇

MLC Chat兑现了一个真正独特的承诺:通过机器学习编译而非一刀切的运行时,实现跨平台、GPU加速的端侧LLM聊天,在iOS App Store上真实上架,并提供可直接下载的Android APK,所有这些都在宽松的Apache-2.0许可证之下。然而,对于桌面用户来说,它并非最便捷的选择——桌面端的工作流程意味着需要一个Python包和REST/CLI接口,而非一个打包好的应用——而且截至目前,它完全没有官方的视觉语言模型支持。当其编译式、针对特定硬件目标的方法能带来实际收益时,请专门选择MLC Chat用于移动端端侧聊天;若想获得最简单的桌面体验,请选择Ollama或LM Studio;若需要具备视觉能力的本地模型,请改为选择PromptQuorum的LLaVA或Idefics评测。若想了解MLC Chat背后编译器的更深入技术图景,请参阅PromptQuorum的MLC LLM详解。本评测为PromptQuorum本地AI工具11篇系列画上句号——从语音识别(Whisper.cpp、faster-whisper)和语音合成(Piper、Coqui TTS、XTTS v2、Bark、StyleTTS 2),到视觉语言模型(LLaVA、Ollama视觉模型、Idefics),再到这最后一篇关于跨平台端侧编译的文章。

资料来源

← 返回 本地LLM进阶

MCP