LoRA مقابل الضبط الدقيق الكامل: أيهما تستخدم؟
إجابة سريعة
استخدم LoRA ما لم يكن لديك مجموعة بيانات كبيرة وعالية الجودة وذاكرة VRAM كافية للضبط الدقيق الكامل. يدرّب LoRA مجموعة صغيرة من الأوزان المضافة فوق نموذج أساسي مجمد، وهو ما يستهلك ذاكرة أقل بكثير مع تكييف السلوك بفعالية في معظم المهام.
- ▸يجمّد LoRA النموذج الأساسي ويدرّب مصفوفات أوزان مضافة صغيرة — تكلفة VRAM أقل بكثير.
- ▸يحدّث الضبط الدقيق الكامل كل معامل، ويمكن أن يتفوق قليلًا على LoRA في الجودة مع بيانات نظيفة كافية.
- ▸محولات LoRA ملفات صغيرة يمكن استبدالها على نفس النموذج الأساسي.
تحديث: ١٤ يوليو ٢٠٢٦
النقاط الرئيسية
- ✓تراخيص LoRA تجمّد النموذج الأساسي وتدرّب أوزانًا صغيرة مضافة، مستخدمة ذاكرة VRAM أقل بكثير من الضبط الدقيق الكامل
- ✓يحدّث الضبط الدقيق الكامل كل معامل ويمكن أن يحقق جودة أعلى قليلًا مع مجموعات بيانات كبيرة ونظيفة
- ✓محولات LoRA ملفات صغيرة قابلة للاستبدال — يمكن لعدة محولات مخصصة لمهام مختلفة مشاركة نموذج أساسي واحد
- ✓نموذج بحجم 7B يحتاج إلى أكثر من 80 جيجابايت من VRAM للضبط الدقيق الكامل يمكن غالبًا ضبطه بدقة باستخدام LoRA على وحدة معالجة رسومات استهلاكية واحدة
الخيار الأفضل: LoRA لمعظم الإعدادات المحلية
يُعد LoRA الخيار الافتراضي الصحيح لتكييف نموذج محلي على أجهزة استهلاكية، لأنه يدرّب جزءًا صغيرًا من المعاملات بينما يحقق نتائج قريبة من الضبط الدقيق الكامل في معظم مهام اتباع التعليمات وتكييف الأسلوب. استخدم LoRA إذا: كان لديك وحدة معالجة رسومات استهلاكية واحدة، أو مجموعة بيانات في حدود الآلاف (وليس الملايين) من الأمثلة، أو أردت الاحتفاظ بعدة إصدارات مخصصة لمهام مختلفة من نفس النموذج الأساسي دون تخزين نسخة كاملة من كل منها.
استخدم الضبط الدقيق الكامل إذا: كان لديك مجموعة بيانات كبيرة ومنسقة جيدًا (عادةً مئات الآلاف من الأمثلة أو أكثر)، ولديك إمكانية الوصول إلى عدة وحدات معالجة رسومات عالية VRAM، وتتطلب المهمة تغييرات أعمق في التمثيلات الأساسية للنموذج مما يمكن لمصفوفات LoRA المضافة التقاطه. عند الشك، ابدأ بـLoRA — فهو أسرع في التكرار ويمكن الترقية منه إلى الضبط الدقيق الكامل لاحقًا إذا توقفت الجودة عن التحسن.
الفروق الرئيسية
يُدرج LoRA (التكيّف منخفض الرتبة) مصفوفات أوزان صغيرة قابلة للتدريب في النموذج مع إبقاء الأوزان الأصلية مجمدة، وهو ما يقلل بشكل كبير من الذاكرة والحوسبة اللازمتين للتدريب مقارنةً بتحديث كل معامل. لا يزال يجب تحميل النموذج الأساسي المجمد للتدريب، لكن المُحسِّن (optimizer) يحتاج فقط إلى تتبع التدرجات للمصفوفات الصغيرة المضافة، وهو مصدر معظم توفير VRAM.
يحدّث الضبط الدقيق الكامل النموذج بأكمله وقد ينتج نتائج أفضل بشكل طفيف على مجموعات بيانات كبيرة ومنسقة جيدًا، لكنه يتطلب ذاكرة VRAM وتخزينًا أكبر بكثير، لأن الناتج نسخة كاملة من النموذج وليس ملف محول صغير. تتطلب حالة المُحسِّن في الضبط الدقيق الكامل (خاصة مع مُحسِّنات شائعة مثل Adam) عادةً عدة أضعاف حجم ذاكرة النموذج نفسه، وهو ما يفسر سبب حاجة الضبط الدقيق الكامل لنموذج بحجم 7B غالبًا إلى عدة وحدات معالجة رسومات عالية VRAM.
| LoRA | الضبط الدقيق الكامل | |
|---|---|---|
| المعاملات المحدَّثة | مصفوفات صغيرة مضافة فقط | كل معامل في النموذج |
| احتياج VRAM النموذجي (نموذج 7B) | وحدة معالجة رسومات استهلاكية واحدة، غالبًا أقل من 24 جيجابايت | عدة وحدات معالجة رسومات عالية VRAM |
| الناتج النهائي | ملف محول صغير (ميجابايتات) | نسخة كاملة من النموذج (جيجابايتات) |
| قابل للاستبدال بين المهام | نعم — عدة محولات، نموذج أساسي واحد | لا — كل نتيجة نموذج كامل منفصل |
متى تستخدم كلًا منهما
اختر LoRA عند تكييف نبرة النموذج أو تنسيقه أو سلوك مهمة ضيقة النطاق — فهذه بالضبط أنواع التغييرات التي تلتقطها مصفوفات LoRA المضافة جيدًا دون المساس بمعرفة النموذج الأوسع. اختر الضبط الدقيق الكامل عندما تتطلب المهمة من النموذج استيعاب معرفة واقعية جديدة كبيرة أو تغيير سلوكه جذريًا عبر نطاق واسع جدًا من المدخلات، وهو ما يستفيد أكثر من تحديث كل معامل.
عند الشك، ابدأ بـLoRA وقيّم الجودة على مجموعة اختبار محتجزة خاصة بك قبل النظر في الضبط الدقيق الكامل — تجعل سرعة تكرار LoRA (تدريب أسرع، نقاط تحقق أصغر) التجربة بمزيج بيانات ومعاملات فائقة مختلفة أرخص أولًا.