ControlNet: Análise (2026): Controle Estrutural para o Stable Diffusion

O ControlNet funciona duplicando as camadas de codificação de um modelo de difusão pré-treinado e conectando a cópia à rede original por meio do que o artigo chama de camadas de "convolução zero" — camadas convolucionais cujos pesos começam em zero, de modo que o treinamento parte exatamente do comportamento original do modelo base e aprende apenas gradualmente o novo sinal de condicionamento. Os pesos do modelo original permanecem congelados durante esse processo, por isso adicionar o ControlNet não degrada a qualidade de imagem do modelo base do Stable Diffusion.

Na prática, isso significa alimentar o pipeline com duas entradas em vez de uma: um prompt de texto (como de costume) e uma imagem de controle — um esqueleto de pose, um mapa de profundidade, um contorno de bordas ou um rabisco aproximado. A saída segue a composição e a estrutura da imagem de controle enquanto ainda incorpora o estilo e a descrição do sujeito do prompt.

O ControlNet não é uma aplicação finalizada. O artigo descreve uma arquitetura, e o repositório de referência no GitHub fornece código e pesos de modelo pré-treinados, mas não existe um instalador de ControlNet para clicar duas vezes. Para usá-lo de fato, você o instala como extensão ou recurso integrado dentro de uma interface de Stable Diffusion já em uso — veja Como instalar e usar o ControlNet abaixo.

O autor principal, Lvmin Zhang, é pesquisador afiliado à Universidade Stanford (com estudos anteriores na Chinese University of Hong Kong e na Soochow University) que publica sob a conta do GitHub lllyasviel. A mesma pessoa também criou o Fooocus, uma interface simplificada do Stable Diffusion construída para chegar à primeira imagem com o menor número de cliques possível — uma conexão que vale conhecer se você usa os dois projetos, já que decisões de design de um às vezes se refletem no outro.

O código e os primeiros pesos pré-treinados do ControlNet foram publicados no GitHub em fevereiro de 2023, junto com o preprint no arXiv. Uma versão mais refinada, "ControlNet 1.1", veio em seguida em 14 de abril de 2023, ampliando os tipos de condicionamento suportados e melhorando a robustez. O artigo foi formalmente publicado na ICCV 2023 e recebeu o Marr Prize da conferência, confirmado na página oficial de prêmios da Computer Vision Foundation.

O ControlNet foi construído em torno da arquitetura original do Stable Diffusion 1.5 e demonstrado primeiro sobre ela. A comunidade de código aberto — e depois a própria Stability AI — treinou posteriormente checkpoints adicionais de ControlNet para modelos base mais novos, incluindo Stable Diffusion XL e Stable Diffusion 3.5, estendendo a mesma técnica de condicionamento a cada nova geração de modelo. Veja Análise do Stable Diffusion para o contexto sobre esses modelos base.

O ControlNet 1.1 também inclui modelos especializados adicionais além desse conjunto principal, como M-LSD (detecção de linhas retas para arquitetura e interiores), Shuffle (recomposição que preserva o conteúdo), Inpaint e Tile (aprimoramento de detalhes para fluxos de upscaling). Cada tipo de condicionamento é um arquivo de modelo separado — você carrega o que corresponde à sua imagem de controle, não um único modelo universal.

A configuração do ControlNet muda conforme a interface, porque não é um instalador independente. Os dois caminhos mais comuns estão descritos abaixo.

Esse é o fato mais importante a verificar antes de usar o ControlNet em um produto comercial: a licença não é um único número. O código da implementação de referência é Apache License 2.0, uma licença permissiva sem restrições. Mas o checkpoint de modelo que você baixa é um arquivo separado com sua própria licença, que geralmente reflete a família de licença do modelo base do Stable Diffusion contra o qual o checkpoint foi treinado.

Os checkpoints originais de ControlNet para o Stable Diffusion 1.5, publicados na conta lllyasviel no Hugging Face, aparecem como "openrail" — a mesma família de licença CreativeML OpenRAIL-M usada pelo próprio SD 1.5, que permite uso comercial sujeito a restrições de conteúdo baseadas no uso, e não a um teto de receita.

Checkpoints de ControlNet para SDXL treinados pela comunidade, como os modelos amplamente usados publicados na conta xinsir no Hugging Face, costumam ser lançados sob a simples Apache License 2.0 — verifique o model card específico, já que diferentes autores da comunidade podem escolher termos diferentes para seus próprios checkpoints.

Os ControlNets oficiais da própria Stability AI para o Stable Diffusion 3.5 Large — cobrindo condicionamento Blur, Canny e Depth, lançados em 26 de novembro de 2024 — carregam a Stability AI Community License, a mesma licença limitada por receita usada pelo próprio SD 3.5: gratuita para indivíduos e organizações com receita anual agregada abaixo de US$ 1.000.000 com cadastro, exigindo licença Enterprise acima desse limite.

O ControlNet adiciona um conjunto duplicado de camadas de codificação sobre o modelo de Stable Diffusion em uso, portanto aumenta o uso de VRAM além do requisito próprio do modelo base, em vez de substituí-lo.

Relatos da comunidade e a documentação das interfaces geralmente descrevem cerca de 1–2 GB de VRAM adicional para um único modelo de ControlNet no Stable Diffusion 1.5, e um aumento maior — comumente citado em torno de 2–4 GB por modelo — no SDXL, já que suas camadas de codificação são maiores e mais custosas de duplicar. Usar vários modelos de ControlNet ao mesmo tempo (por exemplo, profundidade mais pose mais Canny simultaneamente) acumula ainda mais essa sobrecarga. Alternativas mais leves como o T2I-Adapter (veja a seção de alternativas abaixo) são projetadas para adicionar bem menos sobrecarga de VRAM que o ControlNet, ao custo de um controle um pouco menos preciso em algumas comparações da comunidade.

Como esses números vêm de benchmarks da comunidade e não de um teste controlado realizado pela própria PromptQuorum, trate-os como faixas de planejamento: confirme o comportamento atual de VRAM na documentação ou no rastreador de problemas da sua interface específica antes de assumir que uma GPU no limite dará conta de determinada combinação de modelo base e ControlNet.

O ControlNet não tem preço separado — é gratuito e de pesos abertos, distribuído como código e checkpoints de modelo, e não como um produto com assinatura ou taxa de licença próprias. Não existe um nível pago, associação ou serviço de ControlNet hospedado rastreado pela PromptQuorum vindo da equipe de pesquisa original.

Seu custo real é a interface de Stable Diffusion que você já usa (AUTOMATIC1111, ComfyUI e InvokeAI são, elas mesmas, gratuitas e de código aberto) mais o hardware de GPU e a eletricidade. O único custo recorrente que pode se aplicar é o de um serviço de GPU hospedado ou em nuvem que você escolha para rodar essa interface, algo sem relação com o ControlNet em si.

ControlNet, T2I-Adapter e IP-Adapter não são mutuamente exclusivos — muitos fluxos de trabalho combinam ControlNet (para pose ou composição) com IP-Adapter (para consistência de estilo ou personagem) na mesma geração. Qual combinação faz sentido depende do que você quer fixar: estrutura (ControlNet, T2I-Adapter) versus aparência (IP-Adapter).

Para a escolha do modelo base de Stable Diffusion ao qual essas técnicas se conectam, veja Análise do Stable Diffusion. Para uma comparação mais ampla entre geração de imagens local e em nuvem no geral, veja Geração de imagens com IA local vs. nuvem.

Do lado das interfaces, o ComfyUI tem nós nativos de ControlNet sem necessidade de extensão separada; o AUTOMATIC1111 precisa da extensão da comunidade sd-webui-controlnet; o InvokeAI o integra como Control Layers embutidas em sua tela; e o Fooocus — criado pelo mesmo pesquisador que criou o ControlNet — inclui seus próprios recursos simplificados de orientação estrutural baseados em ControlNet, em vez de expor a seleção bruta de modelos de ControlNet.

O ControlNet conquistou seu lugar como a forma padrão de adicionar controle estrutural preciso ao Stable Diffusion — não como um produto em si, mas como uma técnica de pesquisa bem documentada, com um grande ecossistema de checkpoints construído ao seu redor desde sua estreia na ICCV 2023. Quem já usa AUTOMATIC1111, ComfyUI ou InvokeAI pode adicionar condicionamento por pose, profundidade, bordas ou rabisco sem trocar de plataforma, e o código subjacente carrega uma licença Apache-2.0 sem restrições. A contrapartida é real: não é um app, adiciona uma etapa genuína de configuração e uma sobrecarga significativa de VRAM sobre o modelo base, e a licença não tem uma resposta única — depende do checkpoint baixado, do "openrail" nos modelos mais antigos de SD 1.5 até a Stability AI Community License limitada por receita nos ControlNets próprios de SD 3.5 da Stability. Quem quer menor sobrecarga de VRAM para um controle estrutural semelhante deve avaliar também o T2I-Adapter; quem ainda não configurou uma interface de Stable Diffusion deve começar por aí primeiro, já que o ControlNet sozinho não tem a que se conectar. Para quem já gera imagens localmente e precisa de mais controle do que a redação do prompt oferece, o ControlNet continua sendo a forma mais amplamente suportada de consegui-lo.