ControlNet Test (2026): Strukturelle Kontrolle für Stable Diffusion

ControlNet verdoppelt die Encoder-Schichten eines vortrainierten Diffusionsmodells und verbindet die Kopie über sogenannte "Zero-Convolution"-Schichten mit dem Originalnetzwerk — Faltungsschichten, deren Gewichte bei null starten, sodass das Training beim exakten Ausgangsverhalten des Basismodells beginnt und die neue Konditionierung nur schrittweise erlernt wird. Die Gewichte des Originalmodells bleiben dabei eingefroren, weshalb ControlNet die Bildqualität des Basismodells nicht verschlechtert.

Praktisch bedeutet das: Sie füttern die Pipeline mit zwei Eingaben statt einer — einem Text-Prompt (wie gewohnt) und einem Kontrollbild (Pose-Skelett, Tiefenkarte, Kantenzeichnung oder grobe Skizze). Das Ergebnis folgt der Komposition und Struktur des Kontrollbilds und übernimmt gleichzeitig Stil und Motivbeschreibung aus dem Prompt.

ControlNet ist keine fertige Anwendung. Das Paper beschreibt eine Architektur, und das Referenz-Repository auf GitHub stellt Code und vortrainierte Modellgewichte bereit, aber es gibt keinen ControlNet-Installer zum Doppelklicken. Um es zu nutzen, installieren Sie es als Erweiterung oder integrierte Funktion in einer bereits genutzten Stable-Diffusion-Oberfläche — siehe Installation und Nutzung unten.

Hauptautor Lvmin Zhang ist Forscher an der Stanford University (zuvor an der Chinese University of Hong Kong und der Soochow University), der unter dem GitHub-Konto lllyasviel veröffentlicht. Dieselbe Person hat auch Fooocus entwickelt, eine vereinfachte Stable-Diffusion-Oberfläche mit möglichst wenigen Klicks zum ersten Bild — eine Verbindung, die nützlich zu kennen ist, wenn Sie beide Projekte nutzen, da Designentscheidungen manchmal von einem zum anderen übertragen werden.

Code und erste vortrainierte Gewichte von ControlNet wurden im Februar 2023 zusammen mit dem arXiv-Preprint auf GitHub veröffentlicht. Am 14. April 2023 folgte eine überarbeitete "ControlNet 1.1"-Version mit mehr unterstützten Konditionierungstypen und verbesserter Robustheit. Das Paper wurde offiziell auf der ICCV 2023 veröffentlicht und erhielt den Marr Prize der Konferenz, bestätigt auf der offiziellen Awards-Seite der Computer Vision Foundation.

ControlNet wurde rund um die ursprüngliche Stable-Diffusion-1.5-Architektur entwickelt und zuerst daran demonstriert. Die Open-Source-Community — und später Stability AI selbst — trainierte anschließend zusätzliche ControlNet-Checkpoints für neuere Basismodelle, darunter Stable Diffusion XL und Stable Diffusion 3.5, und übertrug damit dieselbe Konditionierungstechnik auf jede neue Modellgeneration. Siehe Stable Diffusion Test für Hintergründe zu diesen Basismodellen.

ControlNet 1.1 enthält über diesen Kernbestand hinaus weitere spezialisierte Modelle, etwa M-LSD (Geradenerkennung für Architektur und Innenräume), Shuffle (inhaltserhaltende Neukomposition), Inpaint und Tile (Detailverbesserung für Upscaling-Workflows). Jeder Konditionierungstyp ist eine eigene Modelldatei — Sie laden die zu Ihrem Kontrollbild passende, nicht ein einziges universelles Modell.

Die Einrichtung von ControlNet unterscheidet sich je Oberfläche, da es keinen eigenständigen Installer gibt. Die beiden häufigsten Wege sind unten skizziert.

Das ist die wichtigste Angabe, die vor kommerzieller Nutzung von ControlNet zu prüfen ist: Die Lizenz ist keine einzelne feste Größe. Der Code der Referenzimplementierung steht unter Apache License 2.0, einer uneingeschränkten, permissiven Lizenz. Der heruntergeladene Modell-Checkpoint ist jedoch eine separate Datei mit eigener Lizenz, die in der Regel der Lizenzfamilie des Stable-Diffusion-Basismodells entspricht, gegen das der Checkpoint trainiert wurde.

Die ursprünglichen ControlNet-Checkpoints für Stable Diffusion 1.5, veröffentlicht unter dem lllyasviel-Konto auf Hugging Face, sind als "openrail" gelistet — dieselbe CreativeML-OpenRAIL-M-Lizenzfamilie wie SD 1.5 selbst, die kommerzielle Nutzung unter nutzungsbasierten Inhaltsbeschränkungen statt einer Umsatzgrenze erlaubt.

Von der Community trainierte SDXL-ControlNet-Checkpoints, etwa die weit verbreiteten Modelle unter dem xinsir-Konto auf Hugging Face, werden meist unter der einfachen Apache License 2.0 veröffentlicht — prüfen Sie die konkrete Model Card, da verschiedene Community-Autoren unterschiedliche Bedingungen für ihre eigenen Checkpoints wählen können.

Stability AIs eigene offizielle ControlNets für Stable Diffusion 3.5 Large — für Blur-, Canny- und Depth-Konditionierung, veröffentlicht am 26. November 2024 — tragen die Stability AI Community License, dieselbe umsatzabhängige Lizenz wie SD 3.5 selbst: kostenlos für Einzelpersonen und Organisationen unter 1.000.000 USD kumuliertem Jahresumsatz mit Registrierung, darüber ist eine Enterprise-Lizenz nötig.

ControlNet fügt einen verdoppelten Satz an Encoder-Schichten zum jeweils genutzten Stable-Diffusion-Modell hinzu und erhöht damit den VRAM-Bedarf zusätzlich zum Basismodell, statt ihn zu ersetzen.

Community-Berichte und Dokumentationen der Oberflächen beschreiben für ein einzelnes ControlNet-Modell auf Stable Diffusion 1.5 üblicherweise etwa 1–2 GB zusätzlichen VRAM-Bedarf, und einen größeren Anstieg — häufig um 2–4 GB je Modell genannt — bei SDXL, da dessen Encoder-Schichten größer und damit aufwendiger zu duplizieren sind. Werden mehrere ControlNet-Modelle gleichzeitig genutzt (z. B. Tiefe plus Pose plus Canny zugleich), summiert sich dieser Mehrbedarf weiter. Leichtere Alternativen wie T2I-Adapter (siehe Alternativen-Abschnitt unten) sind darauf ausgelegt, deutlich weniger VRAM-Mehrbedarf als ControlNet zu verursachen, allerdings mit in manchen Community-Vergleichen etwas weniger präziser Kontrolle.

Da diese Werte aus Community-Benchmarks stammen und nicht aus einem von PromptQuorum selbst durchgeführten kontrollierten Test, sollten Sie sie als Planungsrahmen behandeln: Prüfen Sie aktuelles VRAM-Verhalten in der Dokumentation oder dem Issue-Tracker Ihrer konkreten Oberfläche, bevor Sie annehmen, dass eine grenzwertige GPU eine bestimmte Kombination aus Basismodell und ControlNet bewältigt.

ControlNet hat keinen separaten Preis — es ist kostenlos und offen, verteilt als Code und Modell-Checkpoints statt als Produkt mit eigenem Abonnement oder eigener Lizenzgebühr. Es gibt keine von PromptQuorum erfasste kostenpflichtige Stufe, Mitgliedschaft oder gehostetes ControlNet-as-a-Service-Angebot vom ursprünglichen Forschungsteam.

Die tatsächlichen Kosten entstehen durch die bereits genutzte Stable-Diffusion-Oberfläche (AUTOMATIC1111, ComfyUI und InvokeAI sind selbst alle kostenlos und Open Source) sowie durch eigene GPU-Hardware und Strom. Der einzige laufende Kostenpunkt, der anfallen könnte, ist ein gehosteter Cloud-GPU-Dienst, auf dem diese Oberfläche betrieben wird — unabhängig von ControlNet selbst.

ControlNet, T2I-Adapter und IP-Adapter schließen sich nicht gegenseitig aus — viele Workflows kombinieren ControlNet (für Pose oder Komposition) mit IP-Adapter (für Stil- oder Charakterkonsistenz) in derselben Generierung. Welche Kombination sinnvoll ist, hängt davon ab, was Sie festlegen wollen: Struktur (ControlNet, T2I-Adapter) versus Erscheinungsbild (IP-Adapter).

Zur zugrunde liegenden Stable-Diffusion-Modellwahl, an die diese Techniken andocken, siehe Stable Diffusion Test. Für einen breiteren Vergleich von lokaler versus Cloud-Bildgenerierung insgesamt siehe Lokale KI-Bildgenerierung vs. Cloud.

Auf Oberflächen-Seite hat ComfyUI native ControlNet-Nodes ohne separate Erweiterung; AUTOMATIC1111 benötigt die Community-Erweiterung sd-webui-controlnet; InvokeAI integriert es als eingebaute Control Layers in der Canvas; und Fooocus — entwickelt vom selben Forscher, der ControlNet geschaffen hat — enthält eigene vereinfachte, ControlNet-basierte Funktionen zur strukturellen Steuerung, statt die rohe ControlNet-Modellauswahl offenzulegen.

ControlNet hat sich als Standardweg etabliert, um Stable Diffusion um präzise strukturelle Kontrolle zu erweitern — nicht als eigenständiges Produkt, sondern als gut dokumentierte Forschungstechnik mit einem großen Ökosystem an Checkpoints, das seit dem ICCV-2023-Debüt rund um sie entstanden ist. Wer bereits AUTOMATIC1111, ComfyUI oder InvokeAI nutzt, kann Pose-, Tiefen-, Kanten- oder Skizzen-Konditionierung hinzufügen, ohne die Plattform zu wechseln, und der zugrunde liegende Code trägt eine uneingeschränkte Apache-2.0-Lizenz. Der Kompromiss ist real: Es ist keine App, es bringt einen echten Einrichtungsschritt und spürbaren VRAM-Mehrbedarf zum Basismodell mit sich, und die Lizenzierung ist keine einzelne Antwort — sie hängt vom heruntergeladenen Checkpoint ab, von "openrail" bei den ältesten SD-1.5-Modellen bis zur umsatzabhängigen Stability AI Community License bei Stabilitys eigenen SD-3.5-ControlNets. Wer geringeren VRAM-Mehrbedarf bei ähnlicher struktureller Kontrolle sucht, sollte zusätzlich T2I-Adapter prüfen; wer noch keine Stable-Diffusion-Oberfläche eingerichtet hat, sollte dort zuerst ansetzen, da ControlNet allein nichts hat, woran es andocken kann. Für alle, die bereits lokal Bilder generieren und mehr Kontrolle brauchen, als reine Prompt-Formulierung bietet, bleibt ControlNet der am gründlichsten unterstützte Weg dorthin.