ControlNet: Análisis (2026): Control estructural para Stable Diffusion

ControlNet funciona duplicando las capas de codificación de un modelo de difusión preentrenado y conectando la copia a la red original mediante lo que el artículo llama capas de "convolución cero" —capas convolucionales cuyos pesos empiezan en cero, de modo que el entrenamiento parte del comportamiento exacto del modelo base y solo aprende gradualmente la nueva señal de condicionamiento. Los pesos del modelo original permanecen fijos durante este proceso, por lo que añadir ControlNet no degrada la calidad de imagen del modelo base de Stable Diffusion.

En la práctica, esto significa que alimentas el pipeline con dos entradas en lugar de una: un prompt de texto (como siempre) y una imagen de control —un esqueleto de pose, un mapa de profundidad, un contorno de bordes o un garabato aproximado. El resultado sigue la composición y estructura de la imagen de control mientras incorpora el estilo y la descripción del sujeto del prompt.

ControlNet no es una aplicación terminada. El artículo describe una arquitectura, y el repositorio de referencia en GitHub proporciona código y pesos de modelo preentrenados, pero no hay un instalador de ControlNet en el que hacer doble clic. Para usarlo de verdad, se instala como extensión o función integrada dentro de una interfaz de Stable Diffusion que ya uses —ver Cómo instalar y usar ControlNet más abajo.

El autor principal, Lvmin Zhang, es investigador de la Universidad de Stanford (con estudios previos en la Chinese University of Hong Kong y la Soochow University), que publica bajo la cuenta de GitHub lllyasviel. La misma persona también creó Fooocus, una interfaz simplificada de Stable Diffusion diseñada para llegar a la primera imagen con el menor número de clics posible —una conexión útil de conocer si usas ambos proyectos, ya que algunas decisiones de diseño se trasladan de uno a otro.

El código y los primeros pesos preentrenados de ControlNet se publicaron en GitHub en febrero de 2023, junto con el preprint de arXiv. Una versión más refinada, "ControlNet 1.1", llegó el 14 de abril de 2023, ampliando los tipos de condicionamiento admitidos y mejorando su robustez. El artículo se publicó formalmente en ICCV 2023 y recibió el Marr Prize de la conferencia, confirmado en la página oficial de premios de la Computer Vision Foundation.

ControlNet se diseñó en torno a la arquitectura original de Stable Diffusion 1.5 y se demostró primero sobre ella. La comunidad de código abierto —y más tarde Stability AI misma— entrenó después checkpoints adicionales de ControlNet para modelos base más nuevos, incluidos Stable Diffusion XL y Stable Diffusion 3.5, extendiendo la misma técnica de condicionamiento a cada nueva generación de modelos. Consulta Análisis de Stable Diffusion para más contexto sobre esos modelos base.

ControlNet 1.1 también incluye modelos especializados adicionales más allá de este conjunto principal, como M-LSD (detección de líneas rectas para arquitectura e interiores), Shuffle (recomposición que preserva el contenido), Inpaint y Tile (mejora de detalle para flujos de upscaling). Cada tipo de condicionamiento es un archivo de modelo independiente —cargas el que coincide con tu imagen de control, no un único modelo universal.

La instalación de ControlNet difiere según la interfaz porque no es un instalador independiente. A continuación se describen las dos rutas más comunes.

Este es el dato más importante a comprobar antes de usar ControlNet en un producto comercial: la licencia no es un único valor. El código de la implementación de referencia es Apache License 2.0, una licencia permisiva sin restricciones. Pero el checkpoint de modelo que descargas es un archivo aparte con su propia licencia, que generalmente refleja la familia de licencias del modelo base de Stable Diffusion contra el que se entrenó el checkpoint.

Los checkpoints originales de ControlNet para Stable Diffusion 1.5, publicados bajo la cuenta lllyasviel en Hugging Face, aparecen como "openrail" —la misma familia de licencia CreativeML OpenRAIL-M que usa SD 1.5 en sí, que permite el uso comercial sujeto a restricciones de contenido según el uso, no a un límite de ingresos.

Los checkpoints de ControlNet para SDXL entrenados por la comunidad, como los modelos ampliamente usados publicados bajo la cuenta xinsir en Hugging Face, suelen publicarse bajo la simple Apache License 2.0 —revisa la ficha de modelo concreta, ya que distintos autores de la comunidad pueden elegir condiciones diferentes para sus propios checkpoints.

Los ControlNets oficiales de Stability AI para Stable Diffusion 3.5 Large —para condicionamiento Blur, Canny y Depth, publicados el 26 de noviembre de 2024— llevan la Stability AI Community License, la misma licencia limitada por ingresos que usa SD 3.5: gratuita para individuos y organizaciones por debajo de 1.000.000 USD de ingresos anuales agregados con registro, y requiere una licencia Enterprise por encima de ese umbral.

ControlNet añade un conjunto duplicado de capas de codificación sobre el modelo de Stable Diffusion que estés usando, por lo que aumenta el uso de VRAM más allá del requisito propio del modelo base, en lugar de sustituirlo.

Los informes de la comunidad y la documentación de las interfaces suelen describir aproximadamente 1–2 GB de VRAM adicional para un único modelo de ControlNet en Stable Diffusion 1.5, y un aumento mayor —comúnmente citado alrededor de 2–4 GB por modelo— en SDXL, ya que sus capas de codificación son más grandes de duplicar. Usar varios modelos de ControlNet a la vez (por ejemplo, profundidad más pose más Canny simultáneamente) acumula aún más este sobrecoste. Alternativas más ligeras como T2I-Adapter (ver la sección de alternativas más abajo) están diseñadas para añadir bastante menos sobrecoste de VRAM que ControlNet, a costa de un control algo menos preciso en algunas comparativas de la comunidad.

Como estas cifras provienen de pruebas de la comunidad y no de un test controlado que PromptQuorum haya realizado por sí mismo, trátalas como rangos de planificación: confirma el comportamiento actual de VRAM en la documentación o el gestor de incidencias de tu interfaz concreta antes de asumir que una GPU al límite podrá con una combinación determinada de modelo base y ControlNet.

ControlNet no tiene un precio aparte: es gratuito y de pesos abiertos, distribuido como código y checkpoints de modelo en lugar de como un producto con su propia suscripción o tarifa de licencia. No existe un nivel de pago, membresía u oferta de ControlNet-como-servicio alojada, registrada por PromptQuorum, por parte del equipo de investigación original.

Tu coste real es la interfaz de Stable Diffusion que ya uses (AUTOMATIC1111, ComfyUI e InvokeAI son en sí mismas gratuitas y de código abierto) más tu propio hardware de GPU y electricidad. El único coste recurrente que podría aplicarse es el de un servicio de GPU alojado o en la nube que elijas para ejecutar esa interfaz, algo ajeno a ControlNet en sí.

ControlNet, T2I-Adapter e IP-Adapter no son mutuamente excluyentes —muchos flujos de trabajo combinan ControlNet (para pose o composición) con IP-Adapter (para consistencia de estilo o personaje) en la misma generación. Qué combinación tiene sentido depende de lo que quieras fijar: estructura (ControlNet, T2I-Adapter) frente a apariencia (IP-Adapter).

Para la elección del modelo base de Stable Diffusion al que se conectan estas técnicas, consulta Análisis de Stable Diffusion. Para una comparación más amplia entre generación de imágenes local y en la nube, consulta Generación de imágenes con IA local frente a la nube.

En el lado de las interfaces, ComfyUI tiene nodos nativos de ControlNet sin necesidad de una extensión aparte; AUTOMATIC1111 necesita la extensión de la comunidad sd-webui-controlnet; InvokeAI lo integra como Control Layers incorporadas en su lienzo; y Fooocus —creado por el mismo investigador que creó ControlNet— incluye sus propias funciones simplificadas de guía estructural basadas en ControlNet, en lugar de exponer la selección de modelos de ControlNet en bruto.

ControlNet se ha ganado su lugar como la forma estándar de añadir control estructural preciso a Stable Diffusion —no como un producto en sí mismo, sino como una técnica de investigación bien documentada con un gran ecosistema de checkpoints construido a su alrededor desde su debut en ICCV 2023. Quienes ya usan AUTOMATIC1111, ComfyUI o InvokeAI pueden añadir condicionamiento por pose, profundidad, bordes o garabato sin cambiar de plataforma, y el código subyacente lleva una licencia Apache-2.0 sin restricciones. El compromiso es real: no es una app, añade un paso de configuración genuino y un sobrecoste de VRAM notable sobre el modelo base, y la licencia no tiene una única respuesta —depende del checkpoint que descargues, desde "openrail" en los modelos más antiguos de SD 1.5 hasta la Stability AI Community License limitada por ingresos en los ControlNets propios de SD 3.5 de Stability. Quienes busquen un sobrecoste de VRAM menor con un control estructural similar deberían evaluar también T2I-Adapter; quienes aún no hayan configurado una interfaz de Stable Diffusion deberían empezar por ahí, porque ControlNet por sí solo no tiene a qué conectarse. Para cualquiera que ya genere imágenes localmente y necesite más control del que ofrece la sola redacción del prompt, ControlNet sigue siendo la forma más completamente respaldada de conseguirlo.