Skip to main content
PromptQuorum
الرئيسية/LLM المحلية المتقدمة/مراجعة ControlNet (2026): تحكم بنيوي دقيق لـ Stable Diffusion
Image & Video Generation

مراجعة ControlNet (2026): تحكم بنيوي دقيق لـ Stable Diffusion

·12 دقيقة قراءة·بقلم Hans Kuepper · مؤسس PromptQuorum، أداة إرسال الذكاء الاصطناعي متعددة النماذج · PromptQuorum

ControlNet هو معمارية شبكة عصبية تضيف توجيهًا بنيويًا دقيقًا — هيكل وضعية، خريطة عمق، مخطط حواف، رسم تخطيطي — إلى توليد صور Stable Diffusion، بحيث تتبع الصورة المُولَّدة تلك البنية بدلًا من الاعتماد فقط على الوصف النصي. قُدِّم في ورقة ICCV 2023 بعنوان "Adding Conditional Control to Text-to-Image Diffusion Models" للباحثين Lvmin Zhang وAnyi Rao وManeesh Agrawala (جامعة ستانفورد)، والتي فازت بجائزة Marr Prize لأفضل ورقة بحثية في المؤتمر. ControlNet ليس تطبيقًا مستقلًا — يُوزَّع ككود (رخصة Apache 2.0) ونقاط تفتيش نموذج (تختلف رخصتها بحسب نقطة التفتيش) تُثبَّت داخل واجهة Stable Diffusion تستخدمها بالفعل، مثل AUTOMATIC1111 عبر إضافة مجتمعية، أو ComfyUI عبر عُقد أصلية (native nodes)، أو InvokeAI عبر طبقات تحكم مدمجة (Control Layers). تحقق من تراخيص نقاط التفتيش الحالية على Hugging Face قبل أي استخدام تجاري.

ControlNet هو معمارية شبكة عصبية تضيف اشتراطًا بنيويًا دقيقًا — الوضعية، العمق، خرائط الحواف، الرسومات التخطيطية، التجزئة — إلى توليد الصور بواسطة Stable Diffusion، ما يمنح نموذج تحويل النص إلى صورة مُدخلًا ثانيًا إلى جانب الوصف النصي (prompt). قُدِّم هذا الأسلوب في ورقة Adding Conditional Control to Text-to-Image Diffusion Models للباحثين Lvmin Zhang وAnyi Rao وManeesh Agrawala من جامعة ستانفورد، ونُشرت في مؤتمر ICCV 2023. ControlNet ليس تطبيقًا قابلًا للتنزيل: إنه أسلوب له تنفيذ مرجعي على GitHub، يُوزَّع كأوزان نموذج تُدمج في واجهة Stable Diffusion مثبَّتة مسبقًا لديك — سواء AUTOMATIC1111 أو ComfyUI أو InvokeAI. تشرح هذه المراجعة ما هو ControlNet فعليًا، وشروط ترخيصه الحقيقية (التي تختلف بين الكود، ونقاط التفتيش الأصلية، ونقاط التفتيش المجتمعية أو الرسمية الأحدث)، وأنواع الاشتراط المتاحة، ومكان الحصول على الأوزان، وكيف يقارَن بأساليب اشتراط أحدث.

مراجعة ControlNet (2026): تحكم بنيوي دقيق لـ Stable Diffusion

النقاط الرئيسية

  • ControlNet معمارية شبكة عصبية — وليس تطبيقًا — تضيف اشتراطًا بنيويًا دقيقًا (الوضعية، العمق، الحواف، الرسم التخطيطي، التجزئة) إلى Stable Diffusion، بحيث تتبع الصورة المُولَّدة تلك البنية لا مجرد صياغة الوصف النصي.
  • مصدره ورقة "Adding Conditional Control to Text-to-Image Diffusion Models" للباحثين Lvmin Zhang وAnyi Rao وManeesh Agrawala من جامعة ستانفورد، المنشورة في ICCV 2023، حيث فازت بجائزة Marr Prize لأفضل ورقة بحثية في المؤتمر.
  • الباحث نفسه، Lvmin Zhang (حساب GitHub باسم lllyasviel)، هو أيضًا مبتكر Fooocus، وهي واجهة مبسَّطة لـ Stable Diffusion.
  • الترخيص ليس موحَّدًا: الكود المرجعي برخصة Apache License 2.0، ونقاط تفتيش SD 1.5 الأصلية مُدرَجة على Hugging Face بترخيص "openrail"، ونقاط تفتيش SDXL المجتمعية (مثل حساب xinsir) عادةً Apache-2.0، وأدوات ControlNet الرسمية لإصدار SD 3.5 Large من Stability AI تستخدم رخصة Stability AI Community المقيَّدة بحسب الإيرادات — تحقق من رخصة كل نقطة تفتيش قبل أي استخدام تجاري.
  • لاستخدامه تحتاج إلى واجهة مثبَّتة مسبقًا: AUTOMATIC1111 عبر الإضافة المجتمعية sd-webui-controlnet، أو ComfyUI عبر عُقد أساسية أصلية، أو InvokeAI عبر طبقات تحكم مدمجة.
  • إنه مجاني ومفتوح الأوزان دون منتج ControlNet مدفوع منفصل — التكلفة الوحيدة هي بطاقة الرسومات والكهرباء عبر الواجهة المستخدَمة.

ما هو ControlNet

يعمل ControlNet عن طريق تكرار طبقات ترميز نموذج انتشار مُدرَّب مسبقًا، وربط النسخة بالشبكة الأصلية عبر ما تسمّيه الورقة طبقات "الالتفاف الصفري" (zero convolution) — طبقات التفافية تبدأ أوزانها من الصفر، بحيث يبدأ التدريب من السلوك الأصلي الدقيق للنموذج الأساسي ويتعلم إشارة الاشتراط الجديدة تدريجيًا فقط. تبقى أوزان النموذج الأصلي مجمَّدة خلال هذه العملية، وهو ما يفسّر لماذا لا تؤدي إضافة ControlNet إلى تدهور جودة صور نموذج Stable Diffusion الأساسي.

من الناحية العملية، هذا يعني تغذية خط المعالجة بمُدخلين بدلًا من واحد: وصف نصي (كالمعتاد) وصورة تحكم — هيكل وضعية، أو خريطة عمق، أو مخطط حواف، أو رسم تخطيطي تقريبي. يتبع الناتج تكوين وبنية صورة التحكم مع دمج أسلوب الوصف النصي ووصف الموضوع في الوقت نفسه.

ControlNet ليس تطبيقًا مكتملًا. تصف الورقة معمارية، ويوفر مستودع GitHub المرجعي الكود وأوزان نموذج مُدرَّبة مسبقًا، لكن لا يوجد مثبِّت لـ ControlNet يمكن النقر عليه مرتين. لاستخدامه فعليًا، تثبته كإضافة أو ميزة مدمجة داخل واجهة Stable Diffusion تستخدمها بالفعل — انظر كيفية التثبيت والاستخدام أدناه.

المؤلف الرئيسي، Lvmin Zhang، باحث منتسب إلى جامعة ستانفورد (بعد دراسة سابقة في جامعة هونغ كونغ الصينية وجامعة سوتشو)، وينشر تحت حساب GitHub lllyasviel. الشخص نفسه ابتكر أيضًا Fooocus، وهي واجهة مبسَّطة لـ Stable Diffusion صُمِّمت للوصول إلى أول صورة بأقل عدد ممكن من النقرات — وهي صلة يجدر معرفتها إذا كنت تستخدم كلا المشروعين، إذ تنتقل قرارات التصميم أحيانًا من أحدهما إلى الآخر.

📍 في جملة واحدة

ControlNet معمارية شبكة عصبية تُلحق مُدخلًا إضافيًا محدَّد الشكل بدقة — خريطة حواف، أو خريطة عمق، أو هيكل وضعية، أو رسم تخطيطي — بنموذج Stable Diffusion مُدرَّب مسبقًا، بحيث يتبع الناتج تلك البنية بدلًا من الاعتماد فقط على الوصف النصي.

💬 بعبارات بسيطة

يخبر الوصف النصي فنانًا بالكلمات بما يجب رسمه؛ أما مُدخل ControlNet فيمنح ذلك الفنان مخططًا مُقتفى الأثر ليرسم فوقه — يحدد المخطط الوضعية والتكوين، بينما يظل الوصف النصي هو الذي يحدد الأسلوب والمحتوى.

البحث العلمي وراء ControlNet

نُشر كود ControlNet وأول أوزان مُدرَّبة مسبقًا على GitHub في فبراير 2023، إلى جانب النسخة الأولية على arXiv. تلا ذلك إصدار أكثر نضجًا باسم "ControlNet 1.1" في 14 أبريل 2023، موسِّعًا أنواع الاشتراط المدعومة ومحسِّنًا متانتها. نُشرت الورقة رسميًا في ICCV 2023 وفازت بجائزة Marr Prize في المؤتمر، وهو ما تؤكده صفحة الجوائز الرسمية لمؤسسة Computer Vision Foundation.

صُمِّم ControlNet حول معمارية Stable Diffusion 1.5 الأصلية، وجرى التحقق منه أولًا عليها. ثم دربت مجتمعية المصادر المفتوحة — ولاحقًا Stability AI نفسها — نقاط تفتيش إضافية لـ ControlNet لنماذج أساسية أحدث، بما فيها Stable Diffusion XL وStable Diffusion 3.5، فامتد أسلوب الاشتراط نفسه إلى كل جيل جديد من النماذج. راجع مراجعة Stable Diffusion لخلفية عن هذه النماذج الأساسية.

عنوان الورقة

الحقيقة الموثَّقة:
"Adding Conditional Control to Text-to-Image Diffusion Models"

المؤلفون

الحقيقة الموثَّقة:
Lvmin Zhang, Anyi Rao, Maneesh Agrawala

الجهة

الحقيقة الموثَّقة:
جامعة ستانفورد

رقم arXiv

الحقيقة الموثَّقة:
2302.05543

المؤتمر

الحقيقة الموثَّقة:
ICCV 2023 (IEEE/CVF International Conference on Computer Vision)

الجائزة

الحقيقة الموثَّقة:
جائزة Marr Prize — أفضل ورقة بحثية في ICCV 2023

رخصة الكود

الحقيقة الموثَّقة:
Apache License 2.0

تم التحقق من الحقائق مباشرةً من arxiv.org، ومستودع GitHub الخاص بـ lllyasviel/ControlNet، وصفحة الوصول المفتوح لمؤتمر ICCV 2023 التابعة لمؤسسة CVF، وقائمة الجوائز الرسمية على thecvf.com بتاريخ 2026-09-06.

أنواع اشتراط ControlNet

يتضمن ControlNet 1.1 أيضًا نماذج متخصصة إضافية تتجاوز هذه المجموعة الأساسية، مثل M-LSD (كشف الخطوط المستقيمة للعمارة والديكورات الداخلية)، وShuffle (إعادة تكوين تحافظ على المحتوى)، وInpaint، وTile (تحسين التفاصيل لمسارات تكبير الدقة). كل نوع اشتراط هو ملف نموذج منفصل — تُحمِّل النوع المطابق لصورة التحكم الخاصة بك، لا نموذجًا عالميًا واحدًا.

📍 في جملة واحدة

يوفّر ControlNet 1.1 نماذج منفصلة لأنواع اشتراط مختلفة — حواف Canny، والعمق، ووضعية الجسم البشري، والرسم التخطيطي، والتجزئة، والرسم الخطي، والحافة الناعمة، والخريطة العادية هي الأكثر استخدامًا.

حواف Canny

ما الذي يتحكم به:
يتتبع الحواف المكتشَفة من صورة مرجعية للحفاظ على البنية مع تغيير الأسلوب

العمق

ما الذي يتحكم به:
يستخدم خريطة عمق للحفاظ على الترتيب المكاني والمنظور

OpenPose

ما الذي يتحكم به:
يستخرج هيكل وضعية بشرية (الجسم، اليدين، نقاط الوجه الرئيسية) لتثبيت وضعية الشخصية

رسم تخطيطي (Scribble)

ما الذي يتحكم به:
يتبع رسمًا تقريبيًا مرسومًا يدويًا كدليل تكوين مرن

التجزئة (Segmentation)

ما الذي يتحكم به:
يستخدم خرائط مناطق مرمَّزة بالألوان لتحديد مكان ظهور كل جسم أو سطح

رسم خطي (Lineart)

ما الذي يتحكم به:
يتبع مخططات رسم خطي نظيفة، شائعة في مسارات عمل الرسوم التوضيحية

حافة ناعمة (HED)

ما الذي يتحكم به:
يستخدم كشف حواف أكثر نعومة ومرونة من Canny لبنية أكثر مرونة

خريطة عادية (Normal map)

ما الذي يتحكم به:
يشفّر بيانات اتجاه السطح، مفيد للأعمال القريبة من الأبعاد الثلاثية أو الملمس

تم التحقق من أسماء النماذج وسلوكها من واقع توثيق مستودع lllyasviel/ControlNet-v1-1-nightly. تختلف الأنواع التي تعرضها واجهة معينة افتراضيًا — راجع قائمة النماذج الخاصة بتلك الواجهة.

كيفية تثبيت واستخدام ControlNet في AUTOMATIC1111 أو ComfyUI

يختلف إعداد ControlNet حسب الواجهة لأنه ليس مثبِّتًا مستقلًا. يوضَّح أدناه المساران الأكثر شيوعًا.

  1. 1
    تأكد من وجود واجهة Stable Diffusion تعمل بالفعل
    Why it matters: ليس لدى ControlNet ما يلتحق به دون تثبيت AUTOMATIC1111 أو ComfyUI أو InvokeAI مسبقًا وتوليد الصور — راجع [مراجعة Stable Diffusion](/power-local-llm/stable-diffusion-review) إذا لم تُعِدّ أيًّا منها بعد.
  2. 2
    ثبّت إضافة ControlNet (AUTOMATIC1111) أو تأكد من الدعم الأصلي (ComfyUI/InvokeAI)
    Why it matters: لا يأتي AUTOMATIC1111 مع ControlNet مدمجًا — أضِف الإضافة المجتمعية [sd-webui-controlnet](https://github.com/Mikubill/sd-webui-controlnet) عبر تبويب Extensions. يتضمن ComfyUI عُقدًا متعلقة بـ ControlNet في نواته؛ ويوفّر InvokeAI ControlNet عبر ميزة طبقات التحكم المدمجة، لذا لا يحتاج أيّ منهما تثبيت إضافة منفصلة.
  3. 3
    نزِّل نقطة تفتيش ControlNet مطابقة لنموذجك الأساسي
    Why it matters: نقطة تفتيش مُدرَّبة لـ SD 1.5 لن تعمل بشكل صحيح مع SDXL أو SD 3.5 — طابِق نموذج ControlNet مع إصدار Stable Diffusion الذي تستخدمه، وتحقق من رخصته قبل التنزيل (انظر قسم الترخيص أدناه).
  4. 4
    ضع نقطة التفتيش في مجلد النماذج الصحيح
    Why it matters: يتوقع AUTOMATIC1111 نماذج ControlNet في `extensions/sd-webui-controlnet/models`؛ ويستخدم ComfyUI وInvokeAI أدلّة نماذج موثَّقة خاصة بهما — راجع دليل الإعداد الحالي لتلك الواجهة لمعرفة المسار الدقيق.
  5. 5
    اختر نوع اشتراط ووفِّر صورة تحكم
    Why it matters: اختر المعالج المسبق المطابق (Canny، العمق، OpenPose، إلخ) لصورة التحكم الخاصة بك، أو دع الواجهة تولّد واحدة تلقائيًا من صورة مرجعية تم رفعها.
  6. 6
    اضبط وزن/قوة ControlNet ثم ولِّد
    Why it matters: القوة المنخفضة تتيح للوصف النصي التأثير أكثر في التكوين؛ والقوة الأعلى تُقيّد الناتج بإحكام أكبر بصورة التحكم — تعتمد معظم الواجهات افتراضيًا قيمة متوسطة يمكن تعديلها لكل نتيجة.

ترخيص ControlNet: الكود مقابل أوزان النموذج

هذه هي الحقيقة الأهم التي يجب التحقق منها قبل استخدام ControlNet في منتج تجاري: الترخيص ليس رقمًا واحدًا. كود التنفيذ المرجعي برخصة Apache License 2.0، وهي رخصة متساهلة دون قيود. لكن نقطة تفتيش النموذج التي تُنزّلها ملف منفصل له رخصته الخاصة، والتي تعكس عمومًا عائلة رخصة نموذج Stable Diffusion الأساسي الذي دُرِّبت نقطة التفتيش عليه.

نقاط تفتيش ControlNet الأصلية لـ Stable Diffusion 1.5، المنشورة تحت حساب lllyasviel على Hugging Face، مُدرَجة بترخيص "openrail" — عائلة رخصة CreativeML OpenRAIL-M نفسها التي يستخدمها SD 1.5 نفسه، والتي تسمح بالاستخدام التجاري مع قيود محتوى مبنية على الاستخدام لا سقف إيرادات.

نقاط تفتيش ControlNet لـ SDXL المُدرَّبة من قِبل المجتمع، مثل النماذج المستخدَمة على نطاق واسع والمنشورة تحت حساب xinsir على Hugging Face، تُنشَر عادةً برخصة Apache License 2.0 البسيطة — تحقق من بطاقة النموذج المحدَّدة، إذ يمكن لمؤلفين مجتمعيين مختلفين اختيار شروط مختلفة لنقاط تفتيشهم الخاصة.

أدوات ControlNet الرسمية من Stability AI نفسها لإصدار Stable Diffusion 3.5 Large — وتغطي اشتراطات Blur وCanny وDepth، صدرت في 26 نوفمبر 2024 — تحمل رخصة Stability AI Community، وهي الرخصة نفسها المقيَّدة بالإيرادات التي يستخدمها SD 3.5 نفسه: مجانية للأفراد والمنظمات تحت 1,000,000 دولار من الإيرادات السنوية المجمَّعة مع التسجيل، وتتطلب رخصة Enterprise فوق ذلك الحد.

📍 في جملة واحدة

الكود المرجعي لـ ControlNet على GitHub برخصة Apache License 2.0، لكن نقاط تفتيش النموذج التي تُنزّلها فعليًا تحمل تراخيص مختلفة بحسب إصدار Stable Diffusion الأساسي والجهة التي دربتها.

💬 بعبارات بسيطة

الوصفة (الكود) مفتوحة المصدر دون قيود؛ أما المكونات المحددة (أوزان النموذج) فيحمل كل منها ملصقه الخاص — اقرأ ملصق نقطة التفتيش التي تُنزّلها، لا رخصة الكود فقط.

كود ControlNet المرجعي (GitHub)

الترخيص:
Apache License 2.0
الاستخدام التجاري:
مسموح، دون قيود

نقاط تفتيش ControlNet الأصلية لـ SD 1.5 (lllyasviel على Hugging Face)

الترخيص:
"openrail" (عائلة CreativeML OpenRAIL-M، موروثة من Stable Diffusion)
الاستخدام التجاري:
مسموح، مع قيود محتوى مبنية على الاستخدام

نقاط تفتيش SDXL المجتمعية (مثل حساب xinsir)

الترخيص:
عادةً Apache License 2.0
الاستخدام التجاري:
مسموح، دون قيود — يُتحقَّق منه لكل نقطة تفتيش

أدوات ControlNet الرسمية لإصدار SD 3.5 Large من Stability AI

الترخيص:
رخصة Stability AI Community
الاستخدام التجاري:
مجاني تحت 1,000,000 دولار إيرادات سنوية مع التسجيل؛ تُطلب رخصة Enterprise فوق ذلك

شروط الترخيص نص قانوني، وليست مادة تسويقية — يلخّص هذا القسم شروطًا منشورة علنًا حتى 2026-09-06، لكنه ليس استشارة قانونية. اقرأ دائمًا ملف LICENSE الفعلي أو بطاقة النموذج على Hugging Face لنقطة التفتيش المحددة التي تنوي استخدامها قبل أي نشر تجاري.

الأجهزة وذاكرة VRAM مع ControlNet

يضيف ControlNet مجموعة مكرَّرة من طبقات الترميز فوق نموذج Stable Diffusion الذي تستخدمه، فيزيد استخدام ذاكرة VRAM إضافةً إلى متطلبات النموذج الأساسي نفسه بدلًا من استبدالها.

عادةً ما تصف تقارير المجتمع ووثائق الواجهات نحو 1–2 غيغابايت إضافية من VRAM لنموذج ControlNet واحد على Stable Diffusion 1.5، وزيادة أكبر — يُذكَر غالبًا نحو 2–4 غيغابايت لكل نموذج — على SDXL، لأن طبقات ترميزه أكبر وأكثر كلفة في التكرار. استخدام عدة نماذج ControlNet في آنٍ واحد (مثل العمق والوضعية وCanny معًا) يراكم هذه الأعباء أكثر. تُصمَّم بدائل أخف مثل T2I-Adapter (انظر قسم البدائل أدناه) لإضافة أعباء VRAM أقل بكثير من ControlNet، على حساب دقة تحكم أقل قليلًا في بعض مقارنات المجتمع.

بما أن هذه الأرقام تأتي من اختبارات المجتمع وليس من اختبار مضبوط أجرته PromptQuorum نفسها، تعامل معها كنطاقات تخطيطية: تحقق من سلوك VRAM الحالي في وثائق واجهتك المحدَّدة أو متتبّع المشكلات الخاص بها قبل افتراض أن بطاقة رسومات على حافة الأداء ستتحمّل تركيبة معينة من النموذج الأساسي وControlNet.

التسعير: مجاني ومفتوح الأوزان

لا يملك ControlNet سعرًا منفصلًا — إنه مجاني ومفتوح الأوزان، ويُوزَّع ككود ونقاط تفتيش نموذج بدلًا من كونه منتجًا له اشتراكه أو رسم ترخيصه الخاص. لا توجد فئة مدفوعة، أو عضوية، أو عرض ControlNet كخدمة مستضافة يتتبعه PromptQuorum من فريق البحث الأصلي.

التكلفة الفعلية هي واجهة Stable Diffusion التي تستخدمها بالفعل (AUTOMATIC1111 وComfyUI وInvokeAI مجانية ومفتوحة المصدر بحد ذاتها) إضافةً إلى عتاد بطاقة الرسومات والكهرباء. التكلفة المتكررة الوحيدة التي قد تنطبق هي خدمة بطاقة رسومات مستضافة أو سحابية قد تختارها لتشغيل تلك الواجهة، وهي أمر لا علاقة له بـ ControlNet نفسه.

ControlNet مقابل أساليب اشتراط بديلة

ControlNet وT2I-Adapter وIP-Adapter لا تُقصي بعضها البعض — تجمع كثير من مسارات العمل بين ControlNet (للوضعية أو التكوين) وIP-Adapter (لاتساق الأسلوب أو الشخصية) في التوليد نفسه. أي مزيج مناسب يعتمد على ما تريد تثبيته: البنية (ControlNet، T2I-Adapter) مقابل المظهر (IP-Adapter).

لاختيار نموذج Stable Diffusion الأساسي الذي تلتحق به هذه الأساليب، راجع مراجعة Stable Diffusion. لمقارنة أوسع بين توليد الصور المحلي والسحابي عمومًا، راجع توليد الصور بالذكاء الاصطناعي المحلي مقابل السحابي.

من جانب الواجهات، يمتلك ComfyUI عُقد ControlNet أصلية دون الحاجة لإضافة منفصلة؛ ويحتاج AUTOMATIC1111 الإضافة المجتمعية sd-webui-controlnet؛ ويدمجه InvokeAI كطبقات تحكم مدمجة في لوحته؛ أما Fooocus — الذي ابتكره الباحث نفسه الذي ابتكر ControlNet — فيتضمن ميزات توجيه بنيوي مبسَّطة خاصة به مبنية على ControlNet بدلًا من إتاحة اختيار نماذج ControlNet الخام.

ControlNet

الأفضل لـ:
أدق تحكم بنيوي، وأوسع نطاق من أنواع الاشتراط، وأكبر منظومة من نقاط التفتيش المُدرَّبة مسبقًا
أعباء VRAM:
أعلى — نحو 1–4 غيغابايت لكل نموذج بحسب النموذج الأساسي
الترخيص / التكلفة:
كود Apache-2.0؛ رخصة نقطة التفتيش تختلف (openrail / Apache-2.0 / رخصة Stability Community)
المقايضة الرئيسية:
يحتاج VRAM وإعدادًا أكثر من المحوّلات الأخف؛ يتطلب ترخيص نقطة التفتيش تحققًا لكل ملف على حدة
مقالات حول ControlNet (5)

مذكور أيضًا في:

T2I-Adapter

الأفضل لـ:
أنواع اشتراط مشابهة (رسم تخطيطي، عمق، Canny) باستدلال أسرع وVRAM أقل
أعباء VRAM:
أقل بكثير من ControlNet
الترخيص / التكلفة:
مجاني، مفتوح الأوزان
المقايضة الرئيسية:
نموذج أصغر، يُنظر إليه عمومًا كأقل دقة قليلًا من ControlNet في مقارنات المجتمع

IP-Adapter

الأفضل لـ:
الاشتراط على أسلوب أو موضوع صورة مرجعية بدلًا من بنيتها
أعباء VRAM:
منخفضة — محوِّل انتباه متقاطع خفيف
الترخيص / التكلفة:
مجاني، مفتوح الأوزان
المقايضة الرئيسية:
يتحكم في المظهر/نقل الأسلوب، لا الوضعية أو التكوين — يُستخدَم عادةً مع ControlNet لا بدلًا منه

هندسة الوصف النصي فقط (بلا إضافة اشتراط)

الأفضل لـ:
تكوينات بسيطة لا تهم فيها الوضعية أو التخطيط الدقيق
أعباء VRAM:
لا شيء
الترخيص / التكلفة:
لا ينطبق
المقايضة الرئيسية:
لا توجد طريقة موثوقة لتثبيت وضعية دقيقة أو زاوية كاميرا أو موضع جسم بالكلمات وحدها

لمن يناسب ControlNet

  • القارئ الذي يحتاج وضعية دقيقة أو زاوية كاميرا أو موضع جسم محدد. ControlNet هو الطريقة الأكثر مباشرة لتثبيت صورة مُولَّدة على بنية محددة لا يمكن لصياغة الوصف النصي وحدها إعادة إنتاجها بشكل موثوق.
  • القارئ المتمرّس بالفعل على واجهة Stable Diffusion. إذا كنت تستخدم AUTOMATIC1111 أو ComfyUI أو InvokeAI بالفعل، فإضافة ControlNet هي مجرد تنزيل نقطة تفتيش وضبط إعداد، لا تعلّم منصة جديدة.
  • الرسامون التوضيحيون وفنانو المفاهيم الذين يبدؤون من رسومات تخطيطية. يتيح اشتراط الرسم التخطيطي والرسم الخطي لرسم تخطيطي تقريبي أو رسم خطي نظيف أن يوجّه التكوين النهائي مباشرة.
  • المصورون أو فنانو الأبعاد الثلاثية الذين يعيدون استخدام هندسة مرجعية. ينقل اشتراط العمق والخريطة العادية الترتيب المكاني من صورة مرجعية أو تصيير ثلاثي الأبعاد إلى صورة جديدة مُنمَّطة.
  • الشركات الصغيرة أو الأفراد تحت حد الإيرادات ذي الصلة. يدعم كل من كود Apache-2.0 ونقاط التفتيش المرخَّصة بـ openrail/Apache-2.0 الاستخدام التجاري دون اشتراك عند هذا الحجم؛ وكذلك نقاط التفتيش بموجب رخصة Stability Community، حتى 1,000,000 دولار من الإيرادات السنوية مع التسجيل.

لمن لا يناسب ControlNet

  • المبتدئ التام الذي لم يُعِدّ بعد واجهة Stable Diffusion. يضيف ControlNet خطوة إعداد وضبط حقيقية فوق تثبيت محلي ليس تافهًا أصلًا — تعرّف أولًا على الأوصاف النصية البسيطة، ثم أضِف ControlNet بعد أن يصبح ذلك المسار مألوفًا.
  • القارئ الذي يريد تطبيقًا بنقرة واحدة دون إعداد. لا يوجد تطبيق باسم ControlNet؛ إنه إضافة لواجهة موجودة، وتعرضه كل واجهة بشكل مختلف قليلًا. من يريد صفر إعداد ينبغي أن ينظر بدلًا من ذلك إلى أداة سحابية.
  • القارئ الذي يعتمد فقط على صياغة الوصف النصي لصور بسيطة. إذا لم تكن الوضعية أو التخطيط الدقيق مهمَّين لحالة استخدامك، فهندسة الوصف النصي وحدها أسرع وتتجنب VRAM والإعداد الإضافيين اللذين يتطلبهما ControlNet.
  • القارئ الذي يمتلك بطاقة رسومات محدودة VRAM قريبة بالفعل من حدّها مع النموذج الأساسي. يضيف ControlNet أعباء VRAM ملموسة فوق Stable Diffusion نفسه — انظر الأجهزة وذاكرة VRAM — وقد يكون خيار أخف مثل T2I-Adapter أنسب.
  • المؤسسة التي تتجاوز حد الإيرادات ذي الصلة وتخطط لاستخدام أدوات ControlNet الرسمية لإصدار SD 3.5 من Stability AI. تتطلب رخصة Stability AI Community رخصة Enterprise فوق 1,000,000 دولار من الإيرادات السنوية — خطِّط ميزانية لتلك المفاوضات، أو استخدم بدلًا من ذلك نقطة تفتيش SDXL برخصة Apache-2.0 إذا كانت تناسب حالة استخدامك.

الأسئلة الشائعة

ما هو ControlNet؟

ControlNet معمارية شبكة عصبية تضيف اشتراطًا بنيويًا دقيقًا — الوضعية، العمق، خرائط الحواف، الرسم التخطيطي، التجزئة، والمزيد — إلى توليد صور Stable Diffusion. قُدِّم في ورقة "Adding Conditional Control to Text-to-Image Diffusion Models" للباحثين Lvmin Zhang وAnyi Rao وManeesh Agrawala من جامعة ستانفورد، المنشورة في ICCV 2023.

هل ControlNet تطبيق مستقل؟

لا. ControlNet أسلوب له تنفيذ مرجعي، يُوزَّع ككود ونقاط تفتيش نموذج بدلًا من تطبيق استهلاكي. لاستخدامه، تثبته داخل واجهة Stable Diffusion تستخدمها بالفعل — الإضافة المجتمعية sd-webui-controlnet لـ AUTOMATIC1111، أو عُقد أصلية في ComfyUI، أو طبقات تحكم مدمجة في InvokeAI.

هل ControlNet مجاني؟

نعم. الكود المرجعي على GitHub برخصة Apache License 2.0، وهي رخصة مفتوحة المصدر دون قيود، ولا يوجد منتج ControlNet مدفوع منفصل. تحمل نقاط تفتيش النموذج الفردية تراخيصها الخاصة التي تختلف بحسب إصدار Stable Diffusion الأساسي المستهدَف — انظر قسم الترخيص للتفاصيل.

هل يمكنني استخدام ControlNet تجاريًا؟

يعتمد ذلك على نقطة التفتيش المحددة. نقاط تفتيش ControlNet الأصلية لـ SD 1.5 مُدرَجة بترخيص "openrail"، ما يسمح بالاستخدام التجاري مع قيود محتوى. نقاط تفتيش SDXL المجتمعية (مثل تلك الخاصة بحساب xinsir) عادةً برخصة Apache License 2.0 دون قيود. أدوات ControlNet الرسمية لإصدار SD 3.5 Large من Stability AI تستخدم رخصة Stability AI Community، وهي مجانية تحت 1,000,000 دولار من الإيرادات السنوية مع التسجيل، وتتطلب رخصة Enterprise فوق ذلك. تحقق دائمًا من صفحة ترخيص نقطة التفتيش المحددة قبل الاستخدام التجاري.

من ابتكر ControlNet؟

قدَّم ControlNet كل من Lvmin Zhang وAnyi Rao وManeesh Agrawala من جامعة ستانفورد في ورقة "Adding Conditional Control to Text-to-Image Diffusion Models"، المنشورة في ICCV 2023، حيث فازت بجائزة Marr Prize لأفضل ورقة بحثية في المؤتمر. ابتكر Lvmin Zhang، الذي ينشر تحت حساب GitHub باسم lllyasviel، أيضًا Fooocus، وهي واجهة مبسَّطة لـ Stable Diffusion.

أي واجهات Stable Diffusion تدعم ControlNet؟

تدعم واجهة AUTOMATIC1111 لـ Stable Diffusion ControlNet عبر الإضافة المجتمعية sd-webui-controlnet (غير مدمجة افتراضيًا). يتضمن ComfyUI عُقدًا متعلقة بـ ControlNet أصليًا في نواته. يدمج InvokeAI ControlNet كطبقات تحكم مدمجة ضمن مسار عمل لوحته. يتضمن Fooocus، الذي ابتكره مبتكر ControlNet، ميزات توجيه بنيوي مبسَّطة خاصة به مبنية على ControlNet بدلًا من إتاحة اختيار النماذج الخام.

ما أنواع الاشتراط التي يدعمها ControlNet؟

يتضمن ControlNet 1.1 نماذج لكشف حواف Canny، وخرائط العمق، وهياكل وضعية OpenPose البشرية، والرسم التخطيطي، وخرائط التجزئة، والرسم الخطي، وكشف الحافة الناعمة (HED)، والخرائط العادية، إضافةً إلى أنواع متخصصة إضافية مثل M-LSD (الخطوط المستقيمة)، وShuffle، وInpaint، وTile.

كم من VRAM إضافية يستخدم ControlNet؟

يضيف VRAM فوق نموذج Stable Diffusion الأساسي بدلًا من استبدال ذلك المتطلب. تصف تقارير المجتمع عادةً نحو 1–2 غيغابايت إضافية من VRAM لكل نموذج ControlNet على Stable Diffusion 1.5، وزيادة أكبر على SDXL بسبب طبقات ترميزه الأكبر. استخدام عدة نماذج ControlNet في آنٍ واحد يراكم هذه الأعباء أكثر؛ هذه نطاقات تخطيطية لا معيارًا مضبوطًا أجرته PromptQuorum نفسها.

ما الفرق بين ControlNet وT2I-Adapter وIP-Adapter؟

يشترط كل من ControlNet وT2I-Adapter التوليد بمدخلات بنيوية مثل الحواف أو العمق أو الوضعية، لكن T2I-Adapter يستخدم معمارية أصغر بأعباء VRAM أقل واستدلال أسرع، على حساب بعض الدقة في مقارنات المجتمع. أما IP-Adapter فيشترط على أسلوب أو مظهر موضوع صورة مرجعية بدلًا من بنيتها، ويُجمَع عادةً مع ControlNet بدلًا من استخدامه بديلًا عنه.

الحكم النهائي

اكتسب ControlNet مكانته كالطريقة القياسية لإضافة تحكم بنيوي دقيق إلى Stable Diffusion — ليس كمنتج قائم بذاته، بل كأسلوب بحثي موثَّق جيدًا مع منظومة كبيرة من نقاط التفتيش بُنيت حوله منذ ظهوره الأول في ICCV 2023. يستطيع من يستخدم بالفعل AUTOMATIC1111 أو ComfyUI أو InvokeAI إضافة اشتراط الوضعية أو العمق أو الحواف أو الرسم التخطيطي دون تغيير المنصة، ويحمل الكود الأساسي رخصة Apache-2.0 دون قيود. المقايضة حقيقية: إنه ليس تطبيقًا، ويضيف خطوة إعداد حقيقية وأعباء VRAM ملموسة فوق النموذج الأساسي، والترخيص ليس إجابة واحدة — يعتمد على نقطة التفتيش التي تُنزّلها، من "openrail" في أقدم نماذج SD 1.5 إلى رخصة Stability AI Community المقيَّدة بالإيرادات في أدوات ControlNet الخاصة بـ SD 3.5 من Stability. من يريد أعباء VRAM أخف مع تحكم بنيوي مماثل ينبغي أن يقيّم أيضًا T2I-Adapter؛ ومن لم يُعِدّ بعد واجهة Stable Diffusion ينبغي أن يبدأ من هناك أولًا، إذ ليس لدى ControlNet وحده ما يلتحق به. لكل من يولّد الصور محليًا بالفعل ويحتاج تحكمًا أكبر مما توفره صياغة الوصف النصي وحدها، يبقى ControlNet الطريقة الأكثر دعمًا بشكل شامل لتحقيق ذلك.

المصادر

← العودة إلى LLM المحلية المتقدمة