LLaMA-Factoryとは何か?
LLaMA-Factoryは、手書きの学習スクリプトの代わりにWebインターフェースを使って、自分が管理するハードウェア上でオープンウェイトのLLMやビジョン言語モデルをファインチューニングするためのフレームワークです。 公式のGitHub説明文には「Unified Efficient Fine-Tuning of 100+ LLMs & VLMs (ACL 2024)」とあり、Association for Computational Linguistics(ACL)2024で採択された学術論文を参照しています。プロジェクトのランディングページllamafactory.readthedocs.ioは、これを「大規模言語モデルの学習・ファインチューニングのための使いやすく効率的なプラットフォーム」と説明し、ユーザーが「コードを書かずに数百の事前学習済みモデルをローカルでファインチューニングできる」と述べています。
- 中心機能:LLaMA BoardのWebインターフェースまたはYAML設定ファイルを通じてベースモデル・データセット・ファインチューニング方法(LoRA、QLoRA、フル)を選び、結果を実行またはエクスポートする
- テキスト専用ではない:READMEにはテキストLLMに加え、LLaVAやQwen3-VLなどのビジョン言語モデル(VLM)のファインチューニング対応が明記されている
- 2つの製品、1つのエンジン:LLaMA Board(
llamafactory-cli webuiで起動するGradio Web UI)とllamafactory-cli(UIとスクリプト化されたワークフローの両方が基盤とするコマンドラインツール) - リポジトリ名について:GitHubリポジトリは
LLaMA-FactoryからLlamaFactoryへ改名された——大文字小文字の表記のみの変更で、旧URL(github.com/hiyouga/LLaMA-Factory)は同じスター数・コミット履歴を持つ同一リポジトリへリダイレクトされる - メンテナー:GitHub APIによれば、hiyougaは組織ではなく個人ユーザーとして登録されている。READMEにはAmazon、NVIDIA、Aliyunなどが「利用している」と記載されているが、これはプロジェクト自身のREADMEによる主張であり、本レビューでは独立して検証していない
LLaMA-Factoryのリリース履歴
LLaMA-Factoryの検証可能な年表は、2つの公式情報源から得られます——GitHub自身のリポジトリメタデータと、GitHub上のタグ付きリリースです。
- GitHubリポジトリはGitHubのリポジトリメタデータによると2023年5月28日に作成された——当初は
LLaMA-Factoryという名前だった - プロジェクトに関連する学術論文「LlamaFactory: Unified Efficient Fine-Tuning of 100+ Language Models」は、リポジトリ自身の説明文によればACL 2024で採択された
- その後リポジトリは
LlamaFactoryに改名された(大文字小文字の表記のみ)。GitHubは旧LLaMA-FactoryのURLを自動的に現在のURLへリダイレクトし、同じスター数・フォーク数・コミット履歴を保持する - 最新のタグ付きリリースv0.9.5(「Qwen3.5/3.6、Gemma 4、Transformers v5」)は、GitHubのリリースAPIによると2026年5月30日に公開された
- そのタグ以降も
mainブランチへのコミットは続いている——GitHubのメタデータは本レビューの調査日から数日以内のプッシュを示しており、最後の正式リリース以降も日々の開発が活発に続いていることを示している
LLaMA-Factoryで何ができるか?
LLaMA-Factoryの機能は、学習方法のカバー範囲、対応モデルの幅、ハードウェアバックエンド、デプロイにまたがります。ここでは、公式のGitHub READMEとドキュメントに基づき、それぞれが実際に何をするかを示します。
- 学習方法 — フルファインチューニング、LoRA、QLoRA、Freeze、GaLore、BAdam、DoRA、PiSSA、OFT/OFTv2に対応し、事前学習・教師ありファインチューニング(SFT)・報酬モデリング・PPO・DPOをカバー
- 対応モデルの幅 — READMEによれば、LLaMA、Qwen3、Mistral、Mixtral-MoE、DeepSeek、Gemma、GLM、Phiなど100以上のモデルファミリーに対応し、パラメータ数は270M〜671B、さらにLLaVAやQwen3-VLなどのビジョン言語モデルも含む
- コード不要のWeb UI — GradioインターフェースであるLLaMA Boardは、学習スクリプトを書くことなく学習・評価・推論をカバーする
- コマンドラインツール —
llamafactory-cliはtrain・chat・export・webui・versionのサブコマンドを提供し、LLaMA Boardが対話的にカバーする同じワークフローをスクリプト化できる - 量子化対応 — AQLM、AWQ、GPTQ、LLM.int8、HQQ、EETQの各形式に対応し、FlashAttention-2による高速化とオプションのUnslothカーネル統合も可能
- デプロイ — 学習済みモデルはOpenAI形式のローカルAPIまたはvLLMワーカーを通じて、より高いスループットで推論提供できる
- 分散学習 — ドキュメントのAdvancedセクションはマルチGPU・マルチノード学習をカバーし、メモリ効率の良い分散ジョブ向けのDeepSpeed統合も含む
- 実験トラッキング — ドキュメントによれば、学習実行を監視するためWandbやTensorBoardと統合できる
使用例:LLaMA-Factoryでファインチューニングする2つの方法
これらは上記のLLaMA-Factoryの公式コマンドに基づく具体的なワークフローであり、仮定のユースケースではありません。
LLaMA Board Web UIでモデルをファインチューニングする
LLaMA-Factoryをインストールした後、llamafactory-cli webuiを実行してブラウザでLLaMA Boardを起動します。ドロップダウンからベースモデルを選び、データセットを指定し、LoRAまたはQLoRAを手法として選んでジョブを開始します——YAMLファイルや学習スクリプトは不要です。
YAML設定でコマンドラインからファインチューニングする
llamafactory-cli train examples/train_lora/qwen3_lora_sft.yaml(またはサンプル設定を編集したコピー)を実行し、スクリプト化された学習を開始します——対話的なWeb UIよりもCIパイプラインや繰り返しの実験に適したアプローチです。
ファインチューニング済みモデルをエクスポートして提供する
学習後にllamafactory-cli exportを実行してLoRAの重みを単独モデルにマージし、OpenAI形式のローカルAPI経由であらゆるOpenAI互換クライアントに提供するか、日常利用のためにOllamaなど別のローカル推論ツールに渡します。
LLaMA-Factoryのインストール:Pip・Git・Docker
LLaMA-Factoryはエンドユーザー向けのダウンロード型アプリではなく、公式のGitHub READMEとインストールドキュメントによればPythonパッケージとしてインストールします。 以下のリンクはプロジェクト自身が公開しているコマンドです。オプション項目やDockerのパスはバージョン間で変わる可能性があるため、必ず公式ドキュメントで直接確認してください。
インストール方法 | コマンドまたはリンク |
|---|---|
| ソースから(ドキュメントの推奨方法) | git clone --depth 1 https://github.com/hiyouga/LlamaFactory.git && cd LlamaFactory && pip install -e . |
| オプションのmetrics拡張 | pip install -r requirements/metrics.txt |
| PyPIから | pip install llamafactory — PyPI上のllamafactoryを参照 |
| Docker — NVIDIA CUDA | cd docker/docker-cuda/ && docker compose up -d |
| Docker — AMD ROCm | cd docker/docker-rocm/ && docker compose up -d(ドキュメントのMulti-device Backendsセクションによる) |
| Docker — Ascend NPU | cd docker/docker-npu/ && docker compose up -d — NPUガイド参照 |
| Web UI(LLaMA Board)を起動 | llamafactory-cli webui |
| インストールを確認 | llamafactory-cli version |
オプション拡張は`pip install -e ".[extra_name]"でインストールでき、インストールドキュメントによればextra_nameにはtorch、metrics、deepspeed、bitsandbytes、hqq、eetq、gptq、awq、aqlm、vllm、galore、badam、qwen、modelscope、swanlab`などがあります。Ascend NPU用Dockerイメージには複数のUbuntu/openEulerバリエーションがあります——最新一覧はNPUガイドを参照。WindowsのQLoRAとFlashAttention-2には別途プラットフォーム固有のwheelが必要です——wheelのURLはバージョンごとに固定されているため、推測せずインストールガイドを直接確認してください。
LLaMA-Factoryの料金:本当に無料か?
はい——フレームワークとしてのLLaMA-Factoryに有料プランはありません。 GitHubリポジトリはGitHub API経由でApache-2.0ライセンスを表示しており、これはLLaMA-Factory自体のコードベースに適用されます。READMEもドキュメントサイトも、料金ページへのリンクや有料機能の記載はありません。
- GitHubリポジトリ、README、ドキュメントサイトのいずれにも、フレームワークのサブスクリプション・ライセンス料・有料プランの記載はない
llamafactory-cliのインストール、LLaMA Boardのローカル実行、Dockerイメージの利用のいずれにもアカウント登録は不要- Apache-2.0はLLaMA-Factory自体のコードをカバーするものであり、そのフレームワークでファインチューニングするベースモデルには及ばない——MetaのLlamaファミリーやQwenなどのモデルはそれぞれ独自のライセンスを持ち、学習・再配布する重みには引き続きそのライセンスが適用される
- クラウドGPUの費用(自前のハードウェアの代わりにレンタルする場合)は本レビューでは見積もっていない別の実費であり、選択するプロバイダーとインスタンスタイプに完全に依存する
LLaMA-Factory vs. Unsloth
LLaMA-FactoryとUnslothはどちらも無料のオープンソースツールでローカルファインチューニングに使えますが、カバーする範囲が異なります。 LLaMA-Factoryはテキストおよびビジョン言語モデル向けのモデル・学習方法の幅広さに重点を置き、マルチGPU・マルチノード学習への道筋も文書化されています。Unslothはより幅広いモダリティ(LLM、拡散モデル、TTS、埋め込みモデル)とネイティブのデスクトップアプリをカバーしますが、その代わり自身のREADMEにはマルチノード学習が文書化されていません。
観点 | LLaMA-Factory | |
|---|---|---|
| ライセンス | Apache-2.0 | コア: Apache-2.0 / Studio UI: AGPL-3.0 |
| インターフェース | Web UI(LLaMA Board)+ CLI、デスクトップアプリなし | デスクトップアプリ、Web UI、またはPythonライブラリ |
| モデルタイプ | LLM + ビジョン言語(VLM) | LLM、拡散モデル、TTS、埋め込み |
| ハードウェア | NVIDIA CUDA、AMD ROCm、Ascend NPU | NVIDIA、AMD、Intel、Vulkan経由のCPU |
| マルチノード学習 | Advancedドキュメントに記載(マルチGPU/マルチノード + DeepSpeed) | 自身のREADMEには記載なし |
| 最適な用途 | テキスト+VLM向けの最も幅広いモデル・手法カバー、1台のマシンを超えるスケーリングを含む | 1つのデスクトップアプリで最も幅広いモダリティ(テキスト以外を含む)をカバー |
この2つのツールは純粋な競合関係ではありません——LLaMA-Factory自身のドキュメントには、オプションのUnslothカーネルによる高速化バックエンドが記載されており、LLaMA-Factoryの学習ジョブはLLaMA-FactoryのWeb UIと設定フォーマットを使いながら、内部ではUnslothの最適化されたカーネルを利用できます。ジョブが1台のマシンを超えてスケールする必要がある場合、LLaMA-Factoryの文書化されたマルチノード経路がより直接的な選択肢です。LLMやVLMだけでなく拡散モデル・TTS・埋め込みモデルのファインチューニングが必要な場合は、代わりにUnslothレビューを参照してください。
LLaMA-Factoryはどんな人に向いているか?
LLaMA-Factoryが合うかどうかは、マルチGPU・マルチノードへのスケーリング経路を含め、テキストとビジョン言語のファインチューニングに関して最も幅広く文書化されたモデル・手法カバーを求めているかどうかによります。
こんな場合はLLaMA-Factoryを使う
- Web UIを使い、学習スクリプトを書かずに100以上のオープンなLLMまたはビジョン言語モデルファミリーのいずれかをファインチューニングしたい
- データセットやモデルサイズが大きくなるにつれ、マルチGPUまたはマルチノード学習への文書化された経路が必要
- 量子化を意識したファインチューニング(AQLM、AWQ、GPTQ、HQQ、EETQ)とエクスポート機能を1つのツールにまとめたい
- NVIDIA CUDAだけでなく、特にAMD ROCmまたはAscend NPUハードウェアを使用している
- コアの手法に学術論文(ACL 2024)が裏付けとなっているオープンソース(Apache-2.0)のツールを使いたい
こんな場合は待つか他を検討する
- ブラウザベースのWeb UIではなく、ネイティブでクリック操作のデスクトップアプリが欲しい——デスクトップアプリのオプションについてはUnslothレビューを参照
- LLM/VLMではなく、拡散モデル(画像/動画)、音声合成、または埋め込みモデルをファインチューニングする必要がある——LLaMA-FactoryのREADMEにはこれらのモデルタイプの記載がない
- Apple Siliconのみを使用しており、CUDA/ROCm/NPU中心のフレームワークよりも可能な限り軽量なネイティブツールが欲しい——MLX-LMを直接比較する価値がある
- GPUを所有しておらず、ファインチューニングを最も手軽に試す方法を探している——無料のColabノートブックベースの選択肢(Unslothレビュー参照)はローカルでのセットアップが少なくて済む
LLaMA-Factory vs. 他のファインチューニングツール
LLaMA-Factoryは、自前のハードウェアでモデルをファインチューニングするための数あるツールの1つです。この分野の他の選択肢と比べてどう位置づけられるかを以下に示します——全カタログはLocal LLM Software Directoryを、最も直接的な比較は上記のLLaMA-Factory vs. Unslothの専用比較セクションを参照してください。
- Unsloth — デスクトップアプリ、Web UI、またはPythonライブラリを通じてLLM・拡散モデル・TTS・埋め込みモデルのファインチューニングをカバーする無料のオープンソースツール(コアはApache-2.0、Studio UIはAGPL-3.0)。両者の違いは上記の専用比較セクションを参照してください。
- Second Me — 自分のデータでパーソナライズされたモデルを学習するという、LLaMA-Factoryの汎用的な100以上のモデルファインチューニング範囲よりも狭い焦点を持つApache-2.0の自己主導型パーソナルモデル学習ツール。
- Axolotl — YAML設定駆動でApache-2.0ライセンスのファインチューニングフレームワークで、マルチノード学習が文書化されており、DPO・ORPO・KTOなど幅広いアライメント手法をカバー。専用のPromptQuorumレビューはまだ存在しないが、設定駆動でUIのないファインチューニングフレームワークを比較する読者にとって直接的な代替となる。
- OllamaとLM Studio — モデルを学習するのではなく*実行*するためのローカル推論ツール。よくあるパターンはLLaMA-Factoryでファインチューニングし、結果をエクスポートして、日常利用のためにOllamaやLM Studioで実行することです。OllamaレビューとLM Studioレビューを参照してください。
LLaMA-Factory評価時によくある誤解
LLaMA-Factoryをめぐる混乱の多くは、旧リポジトリ名、ダウンロード型インストーラーの不在、あるいはハードウェア表を保証された結果として扱ってしまうことから生じます。
誤解1:「LLaMA-Factory」はMetaのLlamaモデルしかファインチューニングできないという思い込み
この名前はプロジェクトの当初の範囲の名残です。現在のREADMEには、Qwen3、Mistral、Mixtral-MoE、DeepSeek、Gemma、GLM、Phi、さらにビジョン言語モデルを含む100以上の対応モデルファミリーが記載されており、Llamaだけではありません。
誤解2:ダウンロード型インストーラーやアプリアイコンを探してしまう
LLaMA-Factoryにはパッケージ化されたデスクトップ用インストーラーはありません。pip/gitとpip install -e .のステップ、またはDockerイメージとしてPythonパッケージをインストールし、パッケージのインストール後にllamafactory-cli webuiを実行するとWeb UI(LLaMA Board)がブラウザで動作します。
誤解3:VRAMのハードウェア表をどのデータセットにも当てはまる保証として扱う
文書化されたVRAM値(例:7BモデルのLoRAファインチューニングで約16GB)はプロジェクト自身のドキュメントから得た数値であり、PromptQuorumが独自に測定したベンチマークではありません。実際の使用量はシーケンス長、バッチサイズ、選択した量子化方式によって変わります。
誤解4:リポジトリ名の2つの表記を別々の2つのプロジェクトだと誤解する
GitHub上の組織はリポジトリ名をLLaMA-FactoryからLlamaFactoryへ改名しました——大文字小文字の表記のみの変更です。旧URLはGitHubのリダイレクトによって引き続き機能し、どちらの名前も同一のコードベース・同一のスター数・同一のコミット履歴を指します。
よくある質問
LLaMA-Factoryとは何ですか?
LLaMA-Factory(github.com/hiyouga/LlamaFactory、ドキュメントはllamafactory.readthedocs.io)は、Gradio Web UI(LLaMA Board)またはコマンドラインツール(llamafactory-cli)を通じて100以上のオープンなLLMとビジョン言語モデルをファインチューニングできる無料のオープンソースフレームワーク(Apache-2.0)です。
LLaMA-Factoryは無料ですか?
はい、GitHubのリポジトリメタデータとプロジェクト自身のドキュメントによれば、フレームワークはApache-2.0ライセンスを持ち、有料プランは記載されていません。Apache-2.0ライセンスはLLaMA-Factoryのコードをカバーするものであり、それでファインチューニングするベースモデルのライセンスではありません。
URLには「LLaMA-Factory」とあるのに、なぜリポジトリ名は「LlamaFactory」なのですか?
GitHub上の組織はリポジトリ名をLLaMA-FactoryからLlamaFactoryへ改名しました——大文字小文字の表記のみの変更です。旧URL(github.com/hiyouga/LLaMA-Factory)は同じスター数・フォーク数・コミット履歴を保ったまま現在のURLへ301リダイレクトされます。
LLaMA-FactoryにはGPUが必要ですか?
GPUは強く推奨されますが厳密には必須ではありません。プロジェクトのドキュメントによれば、CPUのみの学習は技術的には可能ですが、実際のファインチューニング作業には非現実的です。7BモデルのLoRAファインチューニングは約16GBのVRAMで動作すると文書化されており、2ビットQLoRAでは最低約4GBまで下げられます。
フルファインチューニングにはどれくらいのVRAMが必要ですか?
LLaMA-Factory自身のドキュメントによると、7Bモデルのフル(bf16/fp16)ファインチューニングには約60GBのVRAM、同モデルのfp32でのフルファインチューニングには約120GBが必要です——これらはプロジェクトが公開している数値であり、本レビューが独自にベンチマークしたものではありません。
LLaMA-Factoryはどのモデルに対応していますか?
公式GitHub READMEによると、LLaMA、Qwen3、Mistral、Mixtral-MoE、DeepSeek、Gemma、GLM、Phi、さらにLLaVAやQwen3-VLなどのビジョン言語モデルを含む、270M〜671Bパラメータの100以上のオープンモデルファミリーに対応しています。
LLaMA-Factoryにはデスクトップアプリがありますか?
いいえ。Pythonパッケージをインストールしllamafactory-cli webuiを実行するとブラウザで動作するWeb UI(LLaMA Board)はありますが、パッケージ化されてインストール可能なデスクトップアプリケーションはありません。ネイティブのデスクトップアプリを備えたファインチューニングツールについてはUnslothレビューを参照してください。
LLaMA-FactoryとUnslothはどう違いますか?
LLaMA-Factoryはテキストとビジョン言語モデルに関してより広いモデルの幅と、文書化されたマルチノード学習をカバーします。Unslothはより多くのモダリティ(拡散モデル、TTS、埋め込みモデルを含む)とネイティブのデスクトップアプリをカバーします。LLaMA-Factoryはオプションで高速化バックエンドとしてUnslothのカーネルを利用できます。詳しくは上記の専用比較セクションを参照してください。
LLaMA-FactoryはAMDやAscend NPUハードウェアで動作しますか?
はい——プロジェクトのMulti-device Backendsドキュメントによれば、デフォルトのNVIDIA CUDAイメージに加え、AMD ROCmとAscend NPU向けの個別のDockerイメージが存在します。
LLaMA-Factoryは誰がメンテナンスしていますか?
GitHub APIによると、hiyougaが組織ではなく個人のGitHubユーザーとして登録されています。プロジェクトのREADMEには、Amazon、NVIDIA、Aliyunなどの組織で利用されていると記載されていますが、これはプロジェクト自身のREADMEによる主張であり、本レビューでは独立して検証していません。
