Avis sur MLC Chat: l'application mobile construite sur MLC LLM, évaluée honnêtement

MLC Chat est construit sur MLC LLM, décrit dans le dépôt propre du projet comme un "moteur de déploiement universel de LLM avec compilation ML" qui permet de développer, optimiser et déployer des modèles d'IA sur plusieurs plateformes. La documentation propre du dépôt MLC LLM cite des recherches fondatrices d'Apache TVM (2018) et des travaux de compilation connexes (TensorIR, MetaSchedule) comme sa filiation technique — TVM étant la pile de compilateurs d'apprentissage profond sur laquelle le projet MLC construit ses techniques de compilation d'apprentissage automatique.

La distinction entre "MLC LLM" et "MLC Chat" compte et est souvent floue. MLC LLM est le compilateur et le moteur d'exécution sous-jacents — ce que PromptQuorum couvre en profondeur dans MLC LLM expliqué. MLC Chat est l'application grand public construite par-dessus, packagée spécifiquement pour iOS et Android, qui permet à un utilisateur non technique de télécharger un modèle et de commencer à discuter sans toucher directement au compilateur.

MLC Chat est maintenu par la même équipe MLC AI (organisation GitHub mlc-ai) qui maintient le projet MLC LLM lui-même, et il est sous licence Apache-2.0, la même licence que le dépôt MLC LLM sous-jacent.

La plupart des applications de chat LLM locales s'appuient sur un environnement d'exécution d'inférence unique et généraliste (comme llama.cpp) qui interprète un fichier de modèle au moment de l'exécution sur le matériel qu'il trouve. Le moteur MLC LLM sous-jacent de MLC Chat adopte une approche différente : il compile un modèle à l'avance pour une cible matérielle spécifique à l'aide de techniques de compilation d'apprentissage automatique, puis livre cet artefact compilé pour qu'il s'exécute sur l'appareil cible.

Selon la documentation propre du projet MLC LLM, cette approche de compilation cible un large éventail de backends GPU selon la plateforme : Metal pour Apple Silicon et les GPU mobiles Apple, OpenCL pour les GPU Android (Adreno et Mali), et Vulkan, CUDA ou ROCm sur desktop Linux et Windows. Le projet documente également un support WebGPU et WebAssembly pour exécuter des modèles dans un navigateur, et MLCEngine — le composant d'exécution — expose une API compatible OpenAI via des interfaces REST, Python, JavaScript, iOS et Android.

La conséquence pratique spécifiquement pour MLC Chat : comme la compilation sous-jacente est spécifique à la cible matérielle, l'application peut atteindre une accélération GPU sur des puces mobiles qu'un environnement d'exécution plus générique pourrait ne pas pleinement exploiter — au prix de la nécessité d'une version compilée pour chaque combinaison matériel/modèle spécifique, plutôt qu'un binaire universel unique qui fonctionne partout.

Ces étapes reflètent ce que PromptQuorum a vérifié directement — la présence réelle de MLC Chat sur l'App Store, le canal de distribution APK Android, et le parcours de démarrage rapide documenté de MLC LLM pour l'usage desktop.

Licence : Apache-2.0. L'application MLC Chat et le dépôt MLC LLM sous-jacent sont tous deux publiés sous licence Apache-2.0, confirmée directement sur le dépôt GitHub mlc-ai/mlc-llm.

La prise en charge des modèles est plus large que n'importe quel exemple de démarrage rapide isolé. La propre documentation de démarrage rapide de MLC LLM démontre le flux de travail avec Llama-3-8B-Instruct-q4f16_1-MLC, mais la bibliothèque de modèles du projet s'étend à d'autres familles de modèles à poids ouverts compilées pour ses cibles matérielles prises en charge — PromptQuorum recommande de consulter directement la propre liste de modèles de MLC LLM pour l'ensemble actuel, car la disponibilité des modèles compilés change à mesure que de nouvelles versions sortent, plutôt que de se fier à une liste unique mise en cache.

Aucune prise en charge officielle des modèles vision-langage. Au moment de cet avis, MLC LLM ne prend pas officiellement en charge les modèles vision-langage (entrée d'image) — il ne fournit pas de modules intégrés pour traiter conjointement les entrées d'image et de texte dans l'application de chat. Des projets communautaires existent qui adaptent le code de modèles vision-langage pour fonctionner avec le pipeline de compilation de MLC LLM, mais ceux-ci ne sont pas officiellement maintenus ou pris en charge par l'équipe MLC AI, et PromptQuorum n'a pas vérifié leur fiabilité actuelle.

MLC Chat est une application de chat sur l'appareil, multiplateforme, réellement utile, mais c'est le mauvais choix dans les situations suivantes :

MLC Chat tient une promesse réellement distinctive : un chat LLM sur l'appareil, multiplateforme et accéléré par GPU, obtenu par compilation d'apprentissage automatique plutôt qu'un environnement d'exécution universel, avec une présence réelle sur l'App Store iOS et un APK Android directement téléchargeable, le tout sous une licence Apache-2.0 permissive. Ce n'est cependant pas le choix le plus pratique pour les utilisateurs desktop — ce flux de travail signifie un paquet Python et une interface REST/CLI plutôt qu'une application packagée — et il ne prend actuellement pas du tout en charge les modèles vision-langage, officiellement. Choisissez MLC Chat spécifiquement pour le chat mobile sur l'appareil, là où son approche compilée et spécifique à la cible matérielle porte ses fruits ; choisissez Ollama ou LM Studio pour l'expérience desktop la plus simple, et les avis LLaVA ou Idefics de PromptQuorum plutôt pour des modèles locaux capables de vision. Pour la vision technique plus approfondie du compilateur derrière MLC Chat, voir MLC LLM expliqué de PromptQuorum. Cet avis clôt la série de PromptQuorum en onze articles sur les outils d'IA locale — de la reconnaissance vocale (Whisper.cpp, faster-whisper) et la synthèse vocale (Piper, Coqui TTS, XTTS v2, Bark, StyleTTS 2) aux modèles vision-langage (LLaVA, modèles de vision Ollama, Idefics), jusqu'à ce dernier article sur la compilation multiplateforme sur l'appareil.