MLC LLMとは何か
MLC LLMは、スマートフォンからブラウザ、デスクトップGPUまで幅広いターゲットプラットフォーム向けに、大規模言語モデルを最適化されたネイティブランタイムへコンパイルする無料のオープンソースエンジンである。 自らを「MLコンパイルを備えた汎用LLMデプロイメントエンジン」と位置づけている。
プロジェクトはgithub.com/mlc-ai/mlc-llmでApache 2.0ライセンスの下にホストされ、約23,000のGitHubスターを超えている。CMU Catalyst、UW SAMPL、SJTU、OctoML、MLCコミュニティのメンバーによって開始された——単一企業ではなくグループによるものである。CMU教授でApache TVM・XGBoost・MXNetの開発者でもあるTianqi Chen氏が主要な貢献者の一人である。
- 各プラットフォームで同じ汎用コードを解釈するのではなく、ターゲット固有の最適化されたランタイムへモデルをコンパイルする
- Apache TVMおよび関連するコンパイラ研究（TensorIR、MetaSchedule）を基盤に、ターゲットごとの自動最適化を実現
- 単一のツールチェーンからiOS/iPadOS、Android、Webブラウザ、デスクトップ/サーバープラットフォームに対応
- ブラウザ内での完全クライアントサイド推論に特化した活発な姉妹プロジェクトWebLLMを持つ
「MLコンパイル」とは具体的に何を意味するのか
MLコンパイルは、新しいデバイスへのモデルのデプロイを、従来型コンパイラが新しいCPUアーキテクチャへのコードのデプロイを扱うのと同じように扱う——単一のモデル記述から最適化されたターゲット固有のコードを自動生成する。 これがMLC LLMをこれほど幅広いハードウェアに対応させる中核的な発想である。
- Apache TVMはMLC LLMの基盤となるコンパイラ基盤を提供し、モデルの計算グラフをターゲットごとに最適化された低レベルコードへ変換する
- TensorIRは、ターゲット固有の最適化前にテンソル計算を記述するために使われる中間表現である
- MetaScheduleは、人がそれぞれを手動で作成・調整する代わりに、ターゲットごとに高性能なカーネル実装の探索を自動化する
- 結果として、ほぼ同じソースから、CUDA経由のNVIDIA GPU、VulkanまたはROCm経由のAMD GPU、Metal経由のApple GPU、WebGPU経由のブラウザ向けにコンパイルできる単一のモデルが得られる
MLC LLMのインストールとデプロイ方法
MLC LLMはデスクトップ/サーバー用途向けにPythonパッケージとしてインストールされ、iOS・Android向けにビルド済みアプリを提供する。WebLLMはブラウザデプロイ用のJavaScriptパッケージとして利用できる。 適切な方法はターゲットプラットフォームによって異なる。
- 1デスクトップ/サーバー用途：公式インストールガイドに従ってMLC LLMのPythonパッケージをインストールする。CUDA、Vulkan、Metal、ROCmのセットアップをカバーしている。
- 2サポートされているモデルを選び、MLC LLMの変換・コンパイルツールでターゲットデバイス向けにコンパイルするか、MLCコミュニティのコンパイル済みモデルを利用する。
- 3モバイル向け：MLC LLMはコンパイル済みモデルとランタイムをまとめたiOS・Androidのサンプルアプリプロジェクトを提供している。
- 4サーバー不要のブラウザデプロイ向け：WebLLMをJavaScript/TypeScriptパッケージとして直接利用する。WebGPU経由で完全にクライアント側で実行される。
- 5ターゲットデバイスまたはブラウザでコンパイル済みランタイムを実行・テストし、想定するバックエンド（CUDA、Vulkan、Metal、ROCm、WebGPU）でアクセラレーションが有効になっていることを確認する。
プラットフォームごとにモデルを再コンパイルする必要があるか？
基本的には必要である。MLC LLMのコンパイル工程は特定のターゲット（特定のGPUバックエンド、モバイルOS、ブラウザ）向けに最適化されたランタイムを生成するため、新しいプラットフォームへのデプロイには通常そのターゲット向けのコンパイルが必要になる。
MLC LLMはGPUなしで動作するか？
コンパイル済みランタイムは主にGPUアクセラレーション経路（CUDA、Vulkan、Metal、ROCm、WebGPU、モバイルOpenCL）を中心に構築されており、llama.cppのようなエンジンと異なり、CPU中心のデプロイはプロジェクトの主な焦点ではない。
MLC LLMはどのプラットフォーム・GPUバックエンドに対応しているか
MLC LLMを特徴づけるのは、従来のデスクトップGPUに加えてモバイルOSやWebブラウザにまで及ぶプラットフォーム対応の幅広さである。 この組み合わせを単一のツールチェーンでカバーするローカル推論エンジンは他にほとんどない。
- iOS/iPadOS — Apple Aシリーズ GPU上のMetalアクセラレーション
- Android — AdrenoおよびMali GPU上のOpenCLアクセラレーション
- Webブラウザ — 姉妹プロジェクトWebLLM経由のWebGPUとWASM、サーバー不要
- デスクトップ/サーバー（Linux、macOS、Windows） — CUDA（NVIDIA）、Vulkan（AMD/NVIDIA/Intel）、Metal（Apple）、ROCm（AMD）
MLC LLMはどんな人向けか
デプロイ対象にデスクトップGPUに加えてモバイルデバイスやWebブラウザが含まれるならMLC LLMを使う。対象が単一のプラットフォームタイプのみであれば、より狭い範囲に特化したエンジンを使う。
🧭 MLC LLMに向いている人
- 単一のツールチェーンからiOS、Android、デスクトップに同じモデルをデプロイする必要がある開発者
- WebLLM経由でサーバー側推論コストなしに完全にクライアント側で動作するブラウザベースのAI機能を構築するチーム
- 単一のコンパイルパイプラインから、混在するNVIDIA/AMD/Intel環境でのVulkanのような、あまり一般的でないGPUバックエンドの組み合わせを対象とする人
- プラグアンドプレイのバイナリではなく、コンパイラベースのワークフロー（モデルの変換・コンパイル）に慣れている研究者・エンジニア
❌ MLC LLMが向かない人
🏆 用途別ベストチョイス
- スマホ・ブラウザ・デスクトップGPUに1つのモデルを展開するなら最適：MLC LLM
- サーバー不要で完全にクライアント側・ブラウザ内推論なら最適：WebLLM
- 最もシンプルな単一デスクトップのローカル構成なら最適：Ollama
- NVIDIA特化の最大本番スループットなら最適：TensorRT-LLM
- 手書き（非コンパイル型）エンジンで最も幅広いハードウェア対応なら最適：llama.cppを直接使用
MLC LLMはllama.cppや他のエンジンとどう違うか
MLC LLMに最も近い比較対象は、幅広いハードウェア対応を目指す他のエンジンだが、コンパイラベースのアプローチとブラウザ内デプロイを組み合わせているのはこのグループの中でMLC LLMだけである。
ツール | ライセンス | 最適な用途 |
|---|---|---|
| MLC LLM | Apache 2.0 | スマホ・ブラウザ・デスクトップを1パイプラインで |
| WebLLM | Apache 2.0 | 完全クライアント側のブラウザ内推論 |
| llama.cpp | MIT | 最も幅広いハードウェア対応、直接制御 |
| TensorRT-LLM | Apache 2.0 | 最大スループット、NVIDIA GPU限定 |
| Ollama | MIT | 最もシンプルな単一デスクトップ構成 |
MLC LLM評価時によくある誤解
誤解の多くは、プラグアンドプレイのバイナリ体験を期待すること、またはWebLLMが別の姉妹プロジェクトであることに気づかないことに起因する。
誤解1：コンパイル工程を省略できると期待する
MLC LLMの中核設計はプラットフォームごとにモデルをコンパイルすることを前提としている。ビルド・コンパイル工程を完全に避けたい人には、llama.cppやOllamaのようなプリコンパイル済みバイナリのエンジンの方が合っているかもしれない。
誤解2：MLC LLMとWebLLMを同じプロジェクトだと混同する
WebLLMは同じmlc-ai組織内の別の姉妹プロジェクトで、サーバーなしでWebGPU経由のブラウザ内推論に特化している。MLC LLMはモバイルやデスクトップのターゲットもカバーする、より広範なエンジンである。
誤解3：MLC LLMが単一企業に支えられていると思い込む
MLC LLMは単一の企業スポンサーではなく、複数機関の共同（CMU Catalyst、UW SAMPL、SJTU、OctoML）と広いMLCコミュニティから生まれたものである。コミュニティサポートへの期待もそれに応じて調整すべきである。
よくある質問
MLC LLMとは何か？
MLC LLMは、機械学習コンパイルを用いて大規模言語モデルをスマートフォン、Webブラウザ、デスクトップGPUに単一のツールチェーンからデプロイする、無料・Apache 2.0ライセンスのエンジンである。
MLC LLMは誰が作ったか？
MLC LLMはCMU Catalyst、UW SAMPL、SJTU、OctoML、MLCコミュニティのメンバーによって開始された。CMU教授でApache TVM・XGBoost・MXNetの開発者でもあるTianqi Chen氏が主要な貢献者の一人である。
MLC LLMは商用利用が無料か？
はい。MLC LLMはApache 2.0ライセンスで、個人・商用利用ともに無料である。
MLC LLMはWebブラウザで動作するか？
はい。姉妹プロジェクトのWebLLMを通じて、WebGPU経由でサーバー側推論を必要とせず完全にクライアント側でモデルを実行できる。
MLC LLMにおける「MLコンパイル」とは何を意味するか？
各プラットフォーム向けに手動最適化された単一のエンジンに頼るのではなく、コンパイル技術（Apache TVMを基盤にTensorIRとMetaScheduleを用いる）を使って特定のターゲットデバイス向けに最適化されたランタイムを自動生成することを指す。
MLC LLMはiOSとAndroidに対応しているか？
はい。iOS/iPadOSはApple Aシリーズ GPU上のMetal経由、AndroidはAdrenoおよびMali GPU上のOpenCL経由で対応している。
MLC LLMがデスクトップで対応するGPUバックエンドは？
CUDA（NVIDIA）、Vulkan（AMD、NVIDIA、Intel）、Metal（Apple）、ROCm（AMD）である。
プラットフォームごとにモデルを別々にコンパイルする必要があるか？
基本的には必要である。MLC LLMは特定のターゲット向けに最適化されたランタイムへモデルをコンパイルするため、新しいプラットフォーム（異なるGPUバックエンド、モバイルOS、ブラウザ）へのデプロイには通常そのターゲット向けのコンパイルが必要になる。
MLC LLMはllama.cppとどう違うか？
llama.cppはハードウェアベンダーごとに手動調整されたバックエンドを持つ、手書きのC/C++エンジンである。MLC LLMは代わりにコンパイラ（Apache TVM）を使ってターゲットごとに最適化されたコードを自動生成し、それによってモバイルデバイスやWebGPU経由のWebブラウザにも到達できる。
MLC LLMは大規模なNVIDIA特化の本番配信に向いているか？
主な焦点ではない。NVIDIA特化の最大本番スループットにはTensorRT-LLMやvLLMの方が特化したツールである。MLC LLMの強みは、単一環境での最高スループットではなく、大きく異なるプラットフォーム間の広さにある。