ControlNet评测（2026）：Stable Diffusion的结构化控制插件

ControlNet的工作原理是复制预训练扩散模型的编码层，并通过论文所称的"零卷积"层将副本连接到原始网络——这些卷积层的权重从零开始，因此训练从基础模型完全原始的行为出发，仅逐步学习新的条件信号。原始模型的权重在此过程中保持锁定（冻结），这也是添加ControlNet不会降低基础Stable Diffusion模型图像质量的原因。

在实践中，这意味着流程接收两种输入而非一种：一个文本提示词（一如既往）和一张控制图像——姿势骨架、深度图、边缘轮廓或粗略的涂鸦草图。输出会遵循控制图像的构图和结构，同时仍纳入提示词的风格和主体描述。

ControlNet不是一个完整的应用程序。 论文描述的是一种架构，参考GitHub仓库提供代码和预训练模型权重，但并不存在可双击运行的ControlNet安装程序。要真正使用它，你需要将其作为扩展或内置功能安装到你已经在使用的Stable Diffusion界面中——参见下方的如何安装和使用ControlNet。

第一作者Lvmin Zhang是斯坦福大学的研究者（此前曾在香港中文大学和苏州大学学习），以GitHub账号lllyasviel发布作品。同一人还创建了Fooocus，一款以最少点击生成第一张图像为设计目标的简化版Stable Diffusion界面——如果你同时使用这两个项目，值得了解这层关系，因为其中一个项目的设计决策有时会延续到另一个项目中。

ControlNet的代码和首批预训练权重于2023年2月连同arXiv预印本一起在GitHub上发布。更完善的"ControlNet 1.1"版本随后于2023年4月14日发布，扩展了支持的条件类型并提升了各类型的稳健性。该论文正式发表于ICCV 2023，并获得大会Marr Prize，这一点已在Computer Vision Foundation官方获奖页面上得到确认。

ControlNet是围绕原始Stable Diffusion 1.5架构构建的，并首先在其上得到验证。此后，开源社区——以及后来的Stability AI自身——为更新的基础模型（包括Stable Diffusion XL和Stable Diffusion 3.5）训练了更多ControlNet检查点，将同样的条件控制技术延伸到每一代新模型。关于这些基础模型的背景，请参见Stable Diffusion评测。

ControlNet 1.1还在这一核心集合之外包含其他专用模型，例如M-LSD（用于建筑和室内设计的直线检测）、Shuffle（保留内容的重新构图）、Inpaint以及Tile（用于放大工作流程的细节增强）。每种条件类型都是独立的模型文件——你需要加载与控制图像相匹配的那一个，而不是单一的通用模型。

ControlNet的设置因界面而异，因为它不是独立的安装程序。下面概述了两种最常见的方式。

这是在商业产品中使用ControlNet前需要核实的最重要事实：许可并非单一数字。参考实现的代码采用Apache License 2.0，一种不受限制的宽松许可。但你下载的模型检查点是一个独立的文件，拥有自己的许可，通常反映该检查点所训练依据的Stable Diffusion基础模型的许可系列。

发布在Hugging Face上lllyasviel账号下的Stable Diffusion 1.5原始ControlNet检查点，标注为"openrail"——与SD 1.5本身相同的CreativeML OpenRAIL-M许可系列，允许在基于用途的内容限制下商业使用，而非营收上限限制。

由社区训练的SDXL版ControlNet检查点，例如广泛使用的、发布在Hugging Face上xinsir账号下的模型，通常以简单的Apache License 2.0发布——请查阅具体的模型卡片，因为不同的社区作者可能为自己的检查点选择不同的条款。

Stability AI自身为Stable Diffusion 3.5 Large推出的官方ControlNet——涵盖Blur、Canny和Depth条件控制，于2024年11月26日发布——采用Stability AI Community License，与SD 3.5本身相同的按营收限制的许可：个人和组织在注册后、年累计营收低于100万美元的情况下免费使用，超过该门槛则需要Enterprise许可。

ControlNet会在你使用的Stable Diffusion模型之上添加一组复制的编码层，因此会在基础模型自身需求之外增加显存占用，而不是取代该需求。

社区报告和界面文档通常将在Stable Diffusion 1.5上使用单个ControlNet模型的额外显存占用描述为约1–2 GB，而在SDXL上则会有更大幅度的增加——常被引用为每个模型约2–4 GB，因为其编码层更大，复制成本也更高。同时使用多个ControlNet模型（例如同时使用深度、姿势和Canny）会进一步累加这一开销。像T2I-Adapter这样更轻量的替代方案（见下方替代方案部分）设计为比ControlNet大幅减少显存开销，但在某些社区对比中，其控制精度会略逊一筹。

由于这些数字来自社区基准测试，而非PromptQuorum自行进行的受控测试，请将其视为规划范围：在假设某块处于临界状态的GPU能够胜任特定基础模型与ControlNet组合之前，请在你具体使用的界面的文档或问题跟踪器中确认当前的显存表现。

ControlNet没有单独的价格——它免费且开放权重，以代码和模型检查点的形式分发，而不是拥有自身订阅或许可费用的产品。 原始研究团队并未提供任何PromptQuorum所追踪到的付费级别、会员服务，或托管式ControlNet即服务方案。

你的实际成本来自你已经在使用的Stable Diffusion界面（AUTOMATIC1111、ComfyUI和InvokeAI本身都是免费和开源的），再加上自有的GPU硬件和电费。唯一可能产生的经常性成本，是你为运行该界面而选择的托管或云端GPU服务，这与ControlNet本身无关。

ControlNet、T2I-Adapter和IP-Adapter并非互斥——许多工作流程会在同一次生成中结合使用ControlNet（用于姿势或构图）与IP-Adapter（用于风格或角色一致性）。哪种组合合理取决于你想固定的是什么：结构（ControlNet、T2I-Adapter）还是外观（IP-Adapter）。

关于这些技术所依附的Stable Diffusion基础模型选择，请参见Stable Diffusion评测。关于本地与云端图像生成的更广泛对比，请参见本地AI图像生成对比云端。

在界面方面，ComfyUI拥有原生ControlNet节点，无需单独扩展；AUTOMATIC1111需要社区扩展sd-webui-controlnet；InvokeAI将其作为内置Control Layers集成到画布中；而由创建ControlNet的同一位研究者开发的Fooocus，则内置了自己简化的、基于ControlNet的结构引导功能，而不是直接暴露原始的ControlNet模型选择。

ControlNet赢得了为Stable Diffusion添加精确结构控制的标准方式这一地位——它本身并不是一款独立产品，而是一种记录详尽的研究技术，自ICCV 2023首次亮相以来，围绕它已经建立起庞大的检查点生态系统。已经使用AUTOMATIC1111、ComfyUI或InvokeAI的读者，无需更换平台即可添加姿势、深度、边缘或涂鸦草图条件控制，其底层代码采用不受限制的Apache-2.0许可。这种权衡是真实存在的：它不是一个应用程序，会在基础模型之上带来实实在在的设置步骤和可观的显存开销，而许可也并非单一答案——取决于你下载的检查点，从最古老SD 1.5模型的"openrail"，到Stability自家SD 3.5 ControlNet上按营收限制的Stability AI Community License各不相同。希望以更轻的显存开销获得类似结构控制的读者，也应评估T2I-Adapter；尚未搭建Stable Diffusion界面的读者，应先从那里入手，因为ControlNet本身并无依附之处。对于所有已经在本地生成图像、需要比单纯提示词表述更强控制力的人来说，ControlNet依然是获得这种控制力最完善的支持方式。