ControlNet : Test (2026) : contrôle structurel pour Stable Diffusion

ControlNet fonctionne en dupliquant les couches d'encodage d'un modèle de diffusion pré-entraîné et en connectant la copie au réseau d'origine via ce que l'article appelle des couches de « convolution zéro » — des couches de convolution dont les poids démarrent à zéro, de sorte que l'entraînement part du comportement exact du modèle de base et n'apprend que progressivement le nouveau signal de conditionnement. Les poids du modèle d'origine restent gelés pendant ce processus, ce qui explique pourquoi l'ajout de ControlNet ne dégrade pas la qualité d'image du modèle de base Stable Diffusion.

En pratique, cela signifie que le pipeline reçoit deux entrées au lieu d'une : un prompt textuel (comme d'habitude) et une image de contrôle — un squelette de pose, une carte de profondeur, un contour de bords ou un gribouillis approximatif. Le résultat suit la composition et la structure de l'image de contrôle tout en intégrant le style et la description du sujet du prompt.

ControlNet n'est pas une application finie. L'article décrit une architecture, et le dépôt GitHub de référence fournit le code et des poids de modèle pré-entraînés, mais il n'existe aucun installateur ControlNet sur lequel double-cliquer. Pour l'utiliser réellement, on l'installe comme extension ou fonctionnalité intégrée dans une interface Stable Diffusion déjà utilisée — voir Installer et utiliser ControlNet ci-dessous.

L'auteur principal, Lvmin Zhang, est chercheur affilié à l'université Stanford (avec des études antérieures à la Chinese University of Hong Kong et à la Soochow University), qui publie sous le compte GitHub lllyasviel. La même personne a aussi créé Fooocus, une interface Stable Diffusion simplifiée conçue pour obtenir une première image en le moins de clics possible — un lien utile à connaître si vous utilisez les deux projets, certains choix de conception se retrouvant parfois de l'un à l'autre.

Le code et les premiers poids pré-entraînés de ControlNet ont été publiés sur GitHub en février 2023, en même temps que la prépublication arXiv. Une version plus aboutie, « ControlNet 1.1 », a suivi le 14 avril 2023, élargissant les types de conditionnement pris en charge et améliorant leur robustesse. L'article a été officiellement publié à l'ICCV 2023 et a reçu le Marr Prize de la conférence, confirmé sur la page officielle des récompenses de la Computer Vision Foundation.

ControlNet a été conçu autour de l'architecture originale de Stable Diffusion 1.5 et démontré d'abord sur celle-ci. La communauté open source — puis Stability AI elle-même — a ensuite entraîné des checkpoints ControlNet supplémentaires pour des modèles de base plus récents, dont Stable Diffusion XL et Stable Diffusion 3.5, étendant la même technique de conditionnement à chaque nouvelle génération de modèle. Voir Test de Stable Diffusion pour le contexte sur ces modèles de base.

ControlNet 1.1 comprend aussi des modèles spécialisés supplémentaires au-delà de cet ensemble de base, comme M-LSD (détection de lignes droites pour l'architecture et l'intérieur), Shuffle (recomposition préservant le contenu), Inpaint et Tile (amélioration du détail pour les flux d'upscaling). Chaque type de conditionnement est un fichier de modèle distinct — on charge celui qui correspond à l'image de contrôle, pas un modèle universel unique.

L'installation de ControlNet diffère selon l'interface, car ce n'est pas un installateur autonome. Les deux chemins les plus courants sont décrits ci-dessous.

C'est l'élément le plus important à vérifier avant d'utiliser ControlNet dans un produit commercial : la licence n'est pas un chiffre unique. Le code de l'implémentation de référence est sous Apache License 2.0, une licence permissive sans restriction. Mais le checkpoint de modèle téléchargé est un fichier distinct avec sa propre licence, qui reflète généralement la famille de licence du modèle de base Stable Diffusion pour lequel le checkpoint a été entraîné.

Les checkpoints ControlNet d'origine pour Stable Diffusion 1.5, publiés sous le compte lllyasviel sur Hugging Face, sont listés comme « openrail » — la même famille de licence CreativeML OpenRAIL-M que SD 1.5 lui-même, qui autorise l'usage commercial sous réserve de restrictions de contenu liées à l'usage plutôt qu'un plafond de chiffre d'affaires.

Les checkpoints ControlNet SDXL entraînés par la communauté, comme les modèles largement utilisés publiés sous le compte xinsir sur Hugging Face, sont généralement publiés sous la simple Apache License 2.0 — vérifiez la fiche du modèle concerné, différents auteurs communautaires pouvant choisir des conditions différentes pour leurs propres checkpoints.

Les ControlNets officiels de Stability AI pour Stable Diffusion 3.5 Large — pour les conditionnements Blur, Canny et Depth, publiés le 26 novembre 2024 — portent la Stability AI Community License, la même licence plafonnée selon le chiffre d'affaires que SD 3.5 lui-même : gratuite pour les particuliers et organisations sous 1 000 000 USD de chiffre d'affaires annuel agrégé avec inscription, et nécessitant une licence Enterprise au-delà de ce seuil.

ControlNet ajoute un ensemble dupliqué de couches d'encodage au-dessus du modèle Stable Diffusion utilisé, ce qui augmente l'utilisation de VRAM en plus de l'exigence propre du modèle de base plutôt que de la remplacer.

Les retours de la communauté et la documentation des interfaces décrivent généralement environ 1 à 2 Go de VRAM supplémentaire pour un seul modèle ControlNet sur Stable Diffusion 1.5, et une hausse plus importante — souvent citée autour de 2 à 4 Go par modèle — sur SDXL, dont les couches d'encodage plus grandes sont plus coûteuses à dupliquer. L'utilisation simultanée de plusieurs modèles ControlNet (par exemple profondeur, pose et Canny en même temps) cumule encore cette surcharge. Des alternatives plus légères comme T2I-Adapter (voir la section alternatives ci-dessous) sont conçues pour ajouter nettement moins de surcharge VRAM que ControlNet, au prix d'un contrôle un peu moins précis dans certaines comparaisons communautaires.

Ces chiffres provenant de tests communautaires et non d'un test contrôlé mené par PromptQuorum lui-même, traitez-les comme des fourchettes de planification : vérifiez le comportement VRAM actuel dans la documentation ou le suivi des problèmes de votre interface spécifique avant de supposer qu'un GPU à la limite gérera une combinaison donnée de modèle de base et de ControlNet.

ControlNet n'a pas de prix distinct — il est gratuit et à poids ouverts, distribué sous forme de code et de checkpoints de modèle plutôt que comme un produit avec son propre abonnement ou frais de licence. Il n'existe aucune offre payante, aucun abonnement ni service ControlNet hébergé suivi par PromptQuorum de la part de l'équipe de recherche d'origine.

Le coût réel est celui de l'interface Stable Diffusion déjà utilisée (AUTOMATIC1111, ComfyUI et InvokeAI sont elles-mêmes gratuites et open source) plus votre propre matériel GPU et l'électricité. Le seul coût récurrent envisageable est celui d'un service GPU hébergé ou cloud choisi pour exécuter cette interface, sans rapport avec ControlNet lui-même.

ControlNet, T2I-Adapter et IP-Adapter ne s'excluent pas mutuellement — de nombreux flux de travail combinent ControlNet (pour la pose ou la composition) avec IP-Adapter (pour la cohérence de style ou de personnage) dans la même génération. La combinaison pertinente dépend de ce que l'on cherche à fixer : la structure (ControlNet, T2I-Adapter) ou l'apparence (IP-Adapter).

Pour le choix du modèle de base Stable Diffusion auquel ces techniques se rattachent, voir Test de Stable Diffusion. Pour une comparaison plus large entre génération d'images locale et cloud, voir Génération d'images IA locale vs cloud.

Côté interfaces, ComfyUI dispose de nœuds ControlNet natifs sans extension séparée nécessaire ; AUTOMATIC1111 nécessite l'extension communautaire sd-webui-controlnet ; InvokeAI l'intègre sous forme de Control Layers intégrées dans son canevas ; et Fooocus — créé par le même chercheur qui a créé ControlNet — inclut ses propres fonctionnalités simplifiées de guidage structurel basées sur ControlNet plutôt que d'exposer la sélection brute des modèles ControlNet.

ControlNet a mérité sa place comme moyen standard d'ajouter un contrôle structurel précis à Stable Diffusion — non pas comme un produit en soi, mais comme une technique de recherche bien documentée entourée d'un vaste écosystème de checkpoints construit depuis ses débuts à l'ICCV 2023. Qui utilise déjà AUTOMATIC1111, ComfyUI ou InvokeAI peut ajouter un conditionnement par pose, profondeur, contours ou gribouillis sans changer de plateforme, et le code sous-jacent porte une licence Apache-2.0 sans restriction. Le compromis est réel : ce n'est pas une application, cela ajoute une véritable étape de configuration et une surcharge VRAM notable en plus du modèle de base, et la licence n'a pas de réponse unique — elle dépend du checkpoint téléchargé, du « openrail » des plus anciens modèles SD 1.5 jusqu'à la Stability AI Community License plafonnée selon le chiffre d'affaires des ControlNets propres à SD 3.5 de Stability. Qui recherche une surcharge VRAM plus légère pour un contrôle structurel comparable devrait aussi évaluer T2I-Adapter ; qui n'a pas encore configuré d'interface Stable Diffusion devrait commencer par là, car ControlNet seul n'a rien où se greffer. Pour quiconque génère déjà des images localement et a besoin de plus de contrôle que ce que la seule formulation du prompt permet, ControlNet reste le moyen le plus solidement pris en charge d'y parvenir.