ControlNetレビュー（2026年）: Stable Diffusionの構造制御アドオン

ControlNetは、事前学習済み拡散モデルのエンコーダー層を複製し、そのコピーを論文が「ゼロ畳み込み」と呼ぶ層 — 重みがゼロから始まる畳み込み層 — を通じて元のネットワークに接続することで動作します。これにより学習はベースモデルの元の挙動そのものから始まり、新しい条件付け信号を段階的にのみ学習します。この過程で元のモデルの重みは固定（凍結）されるため、ControlNetの追加はベースのStable Diffusionモデルの画質を劣化させません。

実際には、パイプラインには通常のテキストプロンプトに加えて、コントロール画像 — ポーズ骨格、深度マップ、エッジ輪郭、粗いスケッチなど — という2つの入力を与えます。出力はコントロール画像の構図と構造に従いながら、プロンプトのスタイルと被写体の説明も取り入れます。

ControlNetは完成したアプリケーションではありません。 論文はアーキテクチャを説明し、参照GitHubリポジトリがコードと事前学習済みモデルの重みを提供していますが、ダブルクリックするControlNetインストーラーはありません。実際に使うには、すでに使用しているStable Diffusion用UIに拡張機能または組み込み機能としてインストールします — 下記の導入方法と使い方を参照してください。

筆頭著者のLvmin Zhangは、スタンフォード大学に所属する研究者で（以前は香港中文大学とSoochow大学で学んでいます）、GitHubアカウントlllyasvielで公開しています。同じ人物は、最少クリックで最初の画像を得られるように設計された簡易版Stable Diffusion UIであるFooocusも開発しました — 両方のプロジェクトを使う場合、一方の設計判断が他方に反映されることがあるため、知っておく価値のある関係です。

ControlNetのコードと最初の事前学習済み重みは、arXivプレプリントと同時に2023年2月にGitHubで公開されました。より洗練された「ControlNet 1.1」は2023年4月14日に続いてリリースされ、対応する条件付けタイプが拡充され、堅牢性が向上しました。論文はICCV 2023で正式に発表され、Computer Vision Foundationの公式受賞ページで確認された通り、同カンファレンスのMarr Prizeを受賞しました。

ControlNetはオリジナルのStable Diffusion 1.5アーキテクチャを中心に構築され、最初にそこで実証されました。その後、オープンソースコミュニティ、そして後にStability AI自身が、Stable Diffusion XLやStable Diffusion 3.5を含むより新しいベースモデル向けに追加のControlNetチェックポイントを学習し、同じ条件付け技術を各新世代のモデルへと拡張しました。これらのベースモデルの背景についてはStable Diffusionレビューを参照してください。

ControlNet 1.1には、この基本セット以外にもM-LSD（建築や室内向けの直線検出）、Shuffle（内容を保持した再構成）、Inpaint、Tile（アップスケーリング用の詳細強化）といった追加の専門モデルが含まれます。各条件付けタイプは個別のモデルファイルであり、単一の万能モデルではなく、コントロール画像に対応するものを読み込みます。

ControlNetは単体インストーラーではないため、セットアップ方法はUIごとに異なります。以下に最も一般的な2つの方法を示します。

これは商用製品でControlNetを使う前に確認すべき最も重要な点です。ライセンスは単一の答えではありません。参照実装のコードはApache License 2.0、つまり無制限の許容型ライセンスです。しかし、ダウンロードするモデルチェックポイントは独自のライセンスを持つ別ファイルであり、そのライセンスは一般に、チェックポイントの学習対象となったStable Diffusionベースモデルのライセンス系統を反映します。

Hugging Face上のlllyasvielアカウントで公開されているStable Diffusion 1.5用のオリジナルControlNetチェックポイントは「openrail」と表示されています — これはSD 1.5自体と同じCreativeML OpenRAIL-Mライセンス系統で、収益上限ではなく利用内容に基づく制限のもとで商用利用を許可します。

Hugging Faceのxinsirアカウントで公開され広く使われているモデルなど、コミュニティが学習させたSDXL用ControlNetチェックポイントは、一般に単純なApache License 2.0で公開されています — コミュニティの各制作者は自分のチェックポイントに異なる条件を選べるため、具体的なモデルカードを確認してください。

Stability AI自身によるStable Diffusion 3.5 Large向け公式ControlNet — Blur、Canny、Depthの条件付けを対象に2024年11月26日にリリース — は、SD 3.5自体と同じ収益制限付きライセンスであるStability AI Community Licenseを採用しています。個人・組織を問わず、登録の上、年間合計収益100万米ドル未満であれば無料で、その閾値を超える場合はEnterpriseライセンスが必要です。

ControlNetは、使用しているStable Diffusionモデルの上にエンコーダー層を複製したセットを追加するため、ベースモデル自体の要件に加えてVRAM使用量を増やします。置き換えるのではなく上乗せする形です。

コミュニティの報告やUIのドキュメントでは、Stable Diffusion 1.5上で単一のControlNetモデルにつき約1〜2GBの追加VRAM、SDXLではエンコーダー層が大きく複製コストも高いため、より大きな増加（1モデルあたり2〜4GB程度とよく言われます）が一般的に説明されています。複数のControlNetモデルを同時に使用する場合（例えば深度・ポーズ・Cannyを同時に）、このオーバーヘッドはさらに積み重なります。T2I-Adapterのような軽量な代替（下記の代替技術セクション参照）は、ControlNetよりも大幅にVRAMオーバーヘッドを抑えるよう設計されていますが、一部のコミュニティ比較ではやや精度が劣るという代償があります。

これらの数値はPromptQuorum自身が実施した管理された検証ではなくコミュニティのベンチマークに基づくため、あくまで計画上の目安として扱ってください。ぎりぎりのGPUがベースモデルとControlNetの特定の組み合わせに耐えられると想定する前に、使用する具体的なUIのドキュメントやIssueトラッカーで現在のVRAM挙動を確認してください。

ControlNetには別途の価格がありません — 無料でオープンウェイトであり、独自のサブスクリプションやライセンス料を持つ製品としてではなく、コードとモデルチェックポイントとして配布されています。 オリジナルの研究チームによる、PromptQuorumが把握している有料プラン、メンバーシップ、ホスト型ControlNet-as-a-Serviceのようなものは存在しません。

実際のコストは、すでに使用しているStable Diffusion用UI（AUTOMATIC1111、ComfyUI、InvokeAIはいずれも無料かつオープンソース）に加えて、自前のGPUハードウェアと電気代です。発生しうる唯一の継続コストは、そのUIを動かすために選ぶホスト型・クラウドGPUサービスの費用であり、ControlNet自体とは無関係です。

ControlNet、T2I-Adapter、IP-Adapterは互いに排他的ではありません — 多くのワークフローは、同じ生成の中でControlNet（ポーズや構図用）とIP-Adapter（スタイルやキャラクターの一貫性用）を組み合わせています。どの組み合わせが適切かは、何を固定したいか — 構造（ControlNet、T2I-Adapter）か外見（IP-Adapter）か — によって決まります。

これらの技術が接続されるStable Diffusionのベースモデル選びについては、Stable Diffusionレビューを参照してください。ローカル画像生成とクラウド全般の比較については、ローカルAI画像生成 対 クラウドを参照してください。

UI面では、ComfyUIは別途拡張機能不要のネイティブControlNetノードを持ち、AUTOMATIC1111はコミュニティ拡張機能sd-webui-controlnetが必要、InvokeAIはキャンバス上の組み込みControl Layersとして統合しています。また、ControlNetを開発した同じ研究者が作ったFooocusは、生のControlNetモデル選択を公開する代わりに、ControlNetをベースにした独自の簡易的な構造誘導機能を内蔵しています。

ControlNetは、それ自体が単独の製品としてではなく、ICCV 2023でのデビュー以来周囲に構築された大きなチェックポイントのエコシステムを持つ、よく文書化された研究技術として、Stable Diffusionに正確な構造制御を加える標準的な方法としての地位を確立しています。すでにAUTOMATIC1111、ComfyUI、InvokeAIを使っている読者は、プラットフォームを変えることなくポーズ・深度・エッジ・スケッチの条件付けを追加でき、その基盤となるコードは制限のないApache-2.0ライセンスです。トレードオフは現実的です — アプリではなく、ベースモデルに加えて本格的なセットアップ手順とかなりのVRAMオーバーヘッドを伴い、ライセンスも一つの答えではありません。最も古いSD 1.5モデルの「openrail」から、Stability自身のSD 3.5用ControlNetにおける収益制限付きのStability AI Community Licenseまで、ダウンロードするチェックポイントによって変わります。同程度の構造制御をより軽いVRAMオーバーヘッドで求める読者はT2I-Adapterも検討すべきであり、まだStable Diffusion用UIをセットアップしていない読者はまずそこから始めるべきです。ControlNet単体では組み込む先がないからです。すでにローカルで画像を生成しており、プロンプトの文言だけでは得られない制御を必要とするすべての人にとって、ControlNetは最も手厚く支援された実現手段であり続けています。