ControlNet 리뷰 (2026): Stable Diffusion을 위한 구조적 제어 애드온

ControlNet은 사전 학습된 확산 모델의 인코딩 레이어를 복제하고, 논문이 "제로 컨볼루션"이라고 부르는 레이어 — 가중치가 0에서 시작하는 컨볼루션 레이어 — 를 통해 그 복제본을 원본 네트워크에 연결하는 방식으로 작동합니다. 그 결과 학습은 기반 모델의 원래 동작 그대로에서 시작해 새로운 조건화 신호를 점진적으로만 학습합니다. 이 과정에서 원본 모델의 가중치는 고정(동결)된 상태로 유지되므로, ControlNet을 추가해도 기반 Stable Diffusion 모델의 이미지 품질이 저하되지 않습니다.

실제로는 파이프라인에 하나가 아닌 두 가지 입력을 넣는다는 뜻입니다: 평소처럼 텍스트 프롬프트, 그리고 컨트롤 이미지 — 포즈 스켈레톤, 깊이 맵, 엣지 윤곽, 또는 대략적인 스케치입니다. 출력은 컨트롤 이미지의 구도와 구조를 따르면서도 프롬프트의 스타일과 피사체 설명을 함께 반영합니다.

ControlNet은 완성된 애플리케이션이 아닙니다. 논문은 아키텍처를 설명하고, 참조 GitHub 저장소는 코드와 사전 학습된 모델 가중치를 제공하지만, 더블클릭으로 실행하는 ControlNet 설치 프로그램은 존재하지 않습니다. 실제로 사용하려면 이미 사용 중인 Stable Diffusion용 UI에 확장 기능이나 내장 기능으로 설치해야 합니다 — 아래 설치 및 사용 방법을 참고하세요.

제1저자인 Lvmin Zhang은 스탠퍼드 대학교 소속 연구자로(이전에는 홍콩중문대학교와 쑤저우대학교에서 공부했습니다), GitHub 계정 lllyasviel로 활동합니다. 같은 인물이 최소한의 클릭으로 첫 이미지를 얻도록 설계된 단순화된 Stable Diffusion UI인 Fooocus도 만들었습니다 — 두 프로젝트를 모두 사용한다면 알아둘 가치가 있는 연결 고리로, 한쪽의 설계 결정이 다른 쪽으로 이어지는 경우가 있습니다.

ControlNet의 코드와 초기 사전 학습 가중치는 arXiv 프리프린트와 함께 2023년 2월 GitHub에 공개되었습니다. 더 정교해진 "ControlNet 1.1" 버전이 2023년 4월 14일에 뒤이어 출시되어 지원되는 조건화 유형을 확장하고 각 유형의 견고성을 향상시켰습니다. 이 논문은 ICCV 2023에서 정식으로 발표되었으며, Computer Vision Foundation의 공식 수상 페이지에서 확인된 대로 학회의 Marr Prize를 수상했습니다.

ControlNet은 원본 Stable Diffusion 1.5 아키텍처를 중심으로 만들어졌으며 먼저 그 위에서 검증되었습니다. 이후 오픈소스 커뮤니티가, 그리고 나중에는 Stability AI 자체가 Stable Diffusion XL과 Stable Diffusion 3.5를 포함한 더 새로운 기반 모델을 위해 추가적인 ControlNet 체크포인트를 학습시켜, 동일한 조건화 기법을 각 새로운 세대의 모델로 확장했습니다. 이 기반 모델들에 대한 배경은 Stable Diffusion 리뷰를 참고하세요.

ControlNet 1.1에는 이 핵심 세트 외에도 건축 및 실내용 직선 검출을 위한 M-LSD, 콘텐츠를 유지하는 재구성인 Shuffle, Inpaint, 업스케일링 작업 흐름을 위한 세부 향상 기능인 Tile 같은 추가 전문 모델이 포함됩니다. 각 조건화 유형은 별도의 모델 파일입니다 — 단일 범용 모델이 아니라 컨트롤 이미지에 맞는 것을 불러옵니다.

ControlNet은 독립 실행형 설치 프로그램이 아니므로 설정 방법이 UI마다 다릅니다. 가장 흔한 두 가지 방법을 아래에 정리했습니다.

이것이 상업용 제품에 ControlNet을 사용하기 전에 확인해야 할 가장 중요한 사실입니다: 라이선스는 하나의 숫자가 아닙니다. 참조 구현의 코드는 Apache License 2.0으로, 제한 없는 허용적 라이선스입니다. 하지만 다운로드하는 모델 체크포인트는 자체 라이선스를 가진 별도의 파일이며, 그 라이선스는 대개 체크포인트가 학습된 대상인 Stable Diffusion 기반 모델의 라이선스 계열을 반영합니다.

Hugging Face의 lllyasviel 계정에 게시된 Stable Diffusion 1.5용 원본 ControlNet 체크포인트는 "openrail"로 표기되어 있습니다 — SD 1.5 자체와 동일한 CreativeML OpenRAIL-M 라이선스 계열로, 매출 상한이 아니라 사용 방식에 기반한 콘텐츠 제한 하에서 상업적 이용을 허용합니다.

Hugging Face의 xinsir 계정에 게시되어 널리 쓰이는 모델처럼 커뮤니티가 학습시킨 SDXL용 ControlNet 체크포인트는 대개 단순한 Apache License 2.0으로 공개됩니다 — 커뮤니티 제작자마다 자신의 체크포인트에 다른 조건을 선택할 수 있으므로 구체적인 모델 카드를 확인하세요.

Stability AI가 자체적으로 Stable Diffusion 3.5 Large용으로 내놓은 공식 ControlNet — Blur, Canny, Depth 조건화를 대상으로 2024년 11월 26일 출시 — 은 SD 3.5 자체와 동일하게 매출 기준으로 제한되는 Stability AI Community License를 사용합니다: 등록 시 개인 및 조직의 연간 합산 매출이 100만 달러 미만이면 무료이며, 그 기준을 초과하면 Enterprise 라이선스가 필요합니다.

ControlNet은 사용 중인 Stable Diffusion 모델 위에 복제된 인코딩 레이어 세트를 추가하므로, 기반 모델 자체의 요구 사항을 대체하는 것이 아니라 그 위에 VRAM 사용량을 더합니다.

커뮤니티 보고와 UI 문서에서는 일반적으로 Stable Diffusion 1.5에서 단일 ControlNet 모델당 약 1–2GB의 추가 VRAM을 설명하며, SDXL에서는 인코딩 레이어가 더 커서 복제 비용도 더 크기 때문에 더 큰 증가폭(모델당 약 2–4GB로 흔히 언급됨)을 보입니다. 여러 ControlNet 모델을 동시에 사용하면(예: 깊이와 포즈와 Canny를 동시에) 이 부담이 더 쌓입니다. T2I-Adapter 같은 더 가벼운 대안(아래 대안 섹션 참고)은 ControlNet보다 VRAM 부담을 상당히 줄이도록 설계되었지만, 일부 커뮤니티 비교에서는 제어 정밀도가 다소 떨어집니다.

이 수치는 PromptQuorum이 직접 수행한 통제된 테스트가 아니라 커뮤니티 벤치마크에서 나온 것이므로 계획용 참고 범위로 다루세요 — 한계에 가까운 GPU가 특정 기반 모델과 ControlNet 조합을 감당할 것이라고 가정하기 전에, 사용 중인 UI의 문서나 이슈 트래커에서 현재의 VRAM 동작을 확인하세요.

ControlNet은 별도의 가격이 없습니다 — 무료이며 오픈 웨이트로, 자체 구독료나 라이선스 비용이 있는 제품이 아니라 코드와 모델 체크포인트로 배포됩니다. 원래 연구팀이 제공하는, PromptQuorum이 확인한 유료 등급, 멤버십, 호스팅형 ControlNet-as-a-Service 같은 것은 존재하지 않습니다.

실제 비용은 이미 사용 중인 Stable Diffusion용 UI(AUTOMATIC1111, ComfyUI, InvokeAI 모두 그 자체로 무료이며 오픈소스입니다)에 더해 자체 GPU 하드웨어와 전기료입니다. 발생할 수 있는 유일한 반복 비용은 그 UI를 실행하기 위해 선택하는 호스팅형 또는 클라우드 GPU 서비스 비용이며, 이는 ControlNet 자체와는 무관합니다.

ControlNet, T2I-Adapter, IP-Adapter는 서로 배타적이지 않습니다 — 많은 작업 흐름이 같은 생성 과정에서 ControlNet(포즈나 구도용)과 IP-Adapter(스타일이나 캐릭터 일관성용)를 함께 사용합니다. 어떤 조합이 적절한지는 고정하려는 대상이 구조(ControlNet, T2I-Adapter)인지 외형(IP-Adapter)인지에 달려 있습니다.

이러한 기법들이 연결되는 Stable Diffusion 기반 모델 선택에 대해서는 Stable Diffusion 리뷰를 참고하세요. 로컬 이미지 생성과 클라우드 전반의 더 폭넓은 비교는 로컬 AI 이미지 생성 대 클라우드를 참고하세요.

UI 측면에서 ComfyUI는 별도의 확장 기능 없이 네이티브 ControlNet 노드를 갖추고 있고, AUTOMATIC1111은 커뮤니티 확장 기능 sd-webui-controlnet이 필요하며, InvokeAI는 캔버스에 내장된 Control Layers로 이를 통합합니다. 그리고 ControlNet을 만든 바로 그 연구자가 만든 Fooocus는 원시적인 ControlNet 모델 선택을 노출하는 대신, ControlNet 기반의 자체 단순화된 구조 유도 기능을 내장하고 있습니다.

ControlNet은 그 자체로 하나의 제품이 아니라, ICCV 2023 데뷔 이후 그 주위에 방대한 체크포인트 생태계가 형성된, 잘 문서화된 연구 기법으로서 Stable Diffusion에 정밀한 구조적 제어를 더하는 표준적인 방법이라는 지위를 얻었습니다. 이미 AUTOMATIC1111, ComfyUI, InvokeAI를 사용 중인 독자는 플랫폼을 바꾸지 않고도 포즈, 깊이, 엣지, 스케치 조건화를 추가할 수 있으며, 기반 코드는 제한 없는 Apache-2.0 라이선스를 갖고 있습니다. 트레이드오프는 실재합니다 — 이것은 앱이 아니며, 기반 모델 위에 실질적인 설정 단계와 상당한 VRAM 부담을 추가하고, 라이선스도 하나의 정답이 아니라 다운로드하는 체크포인트에 따라 달라집니다. 가장 오래된 SD 1.5 모델의 "openrail"부터 Stability 자체 SD 3.5 ControlNet의 매출 기준 제한이 있는 Stability AI Community License까지 다양합니다. 비슷한 구조적 제어를 더 가벼운 VRAM 부담으로 원하는 독자는 T2I-Adapter도 함께 검토해야 하며, 아직 Stable Diffusion용 UI를 설정하지 않은 독자는 그것부터 먼저 시작해야 합니다. ControlNet만으로는 연결될 곳이 없기 때문입니다. 이미 로컬에서 이미지를 생성하고 있고 프롬프트 문구만으로는 얻을 수 없는 더 강력한 제어가 필요한 모든 이에게, ControlNet은 여전히 이를 얻을 수 있는 가장 폭넓게 지원되는 방법입니다.