Mergekit والبدائل لدمج أوزان النماذج المحلية
تحتوي هذه الصفحة على روابط مرجعية لمنتجات طرف ثالث. لا يشارك PromptQuorum في أي برنامج تابع — هذه روابط عادية لا تدر أي عمولة. النقر على الروابط والخطوات التالية تقع على عاتقك بالكامل. لا تمثل هذه الروابط أي تأييد أو تحقق من قِبَل PromptQuorum.
إجابة سريعة
Mergekit هي الأداة الأكثر استخدامًا لهذا الغرض. تدمج ملفات أوزان النماذج المتوافقة باستخدام طرق مثل المتوسط الخطي أو SLERP أو TIES، دون أي خطوة تدريب على GPU — يعمل الدمج نفسه على المعالج المركزي (CPU) ويستغرق جزءًا صغيرًا من الوقت الذي يتطلبه الـ fine-tuning.
- ▸تدعم Mergekit عدة طرق دمج، ولكل منها موازنة مختلفة بين المزج والحفاظ على نقاط القوة الفردية لكل نموذج.
- ▸لا حاجة إلى تدريب GPU لعملية الدمج نفسها — يكفي وجود ذاكرة RAM كافية لاستيعاب ملفات الأوزان التي يتم دمجها.
- ▸يجب أن تشترك النماذج التي يتم دمجها في نفس البنية الأساسية وأشكال المعلمات (parameters) لكي تُدمج بشكل صحيح.
تحديث: ١٤ يوليو ٢٠٢٦
النقاط الرئيسية
- ✓Mergekit هي الأداة القياسية مفتوحة المصدر لدمج أوزان النماذج المحلية المتوافقة
- ✓الدمج لا يتطلب أي خطوة تدريب على GPU، فقط ذاكرة RAM كافية لاستيعاب ملفات الأوزان
- ✓طريقتا الدمج الخطي وSLERP نقطتا انطلاق بسيطتان؛ بينما تحافظ TIES وDARE بشكل أفضل على نقاط القوة الفردية لكل نموذج
- ✓يجب أن تشترك النماذج التي يتم دمجها في نفس البنية الأساسية وأشكال المعلمات
الخيار الأفضل: Mergekit
Mergekit هو الخيار القياسي لدمج أوزان النماذج المحلية لأنه مفتوح المصدر، ويدعم أوسع نطاق من طرق الدمج، ولا يتطلب أي خطوة تدريب على GPU — يكفي فقط وجود ذاكرة RAM كافية على النظام للاحتفاظ بالنماذج المصدرية في الذاكرة أثناء الدمج. هذا يجعله قابلاً للاستخدام على جهاز مكتبي أو محمول متواضع، على عكس الـ fine-tuning الكامل الذي يتطلب GPU قادرة على التدريب.
استخدم Mergekit إذا: أردت دمج سلوك نسختين مُهيّأتين (fine-tuned) من نفس النموذج الأساسي في واحد، أو لم تكن تملك ميزانية حوسبة كافية لتشغيل fine-tuning كامل، أو أردت تجربة عدة نسب دمج بسرعة دون إعادة التدريب. تجنّب Mergekit إذا: كانت النماذج التي تريد دمجها ذات بنيات أساسية أو أعداد معلمات مختلفة — فالدمج على مستوى الأوزان يتطلب تطابق الأشكال.
كيف يعمل دمج النماذج
يدمج دمج النماذج أوزان نموذجين أو أكثر يشتركان في نفس البنية الأساسية في مجموعة أوزان جديدة واحدة، باستخدام طريقة دمج رياضية بدلًا من تدريب إضافي. ونظرًا لعدم حدوث حساب للتدرجات (gradients) أو الانتشار العكسي (backpropagation) أثناء الدمج، تعمل العملية على المعالج المركزي في دقائق بدلًا من الساعات أو الأيام التي يتطلبها fine-tuning كامل.
الناتج هو ملف نموذج جديد واحد بنفس حجم النماذج المصدرية — وليس محولًا (adapter) ولا غلافًا حول عدة مصادر. بعد الدمج، يتصرف الناتج كنموذج عادي واحد عند الاستدلال، دون أي زمن استجابة إضافي ناتج عن دمج عدة مصادر.
مقارنة طرق الدمج
المتوسط الخطي هو الطريقة الأبسط — يمزج الأوزان المتناظرة بنسبة ثابتة ويُعد محاولة أولى معقولة، لكنه يميل إلى إضعاف نقاط القوة المميزة لكل نموذج مصدري كلما تم مزج المزيد من النماذج معًا.
SLERP (الاستيفاء الخطي الكروي) يمزج نموذجين على طول مسار منحنٍ في فضاء الأوزان بدلًا من خط مستقيم، مما يحافظ بشكل عام على المزيد من طابع كل نموذج مقارنة بالمتوسط الخطي البسيط عند دمج نموذجين بالضبط.
تُعد TIES وDARE طرقًا أكثر انتقائية تحاول حل تحديثات الأوزان المتضاربة بين النماذج المصدرية بدلًا من حساب متوسطها، مما يحافظ بشكل عام بشكل أفضل على نقاط القوة المميزة لكل نموذج مصدري عند دمج أكثر من نموذجين في وقت واحد.
العتاد اللازم لعمليات الدمج الأكبر
الدمج القائم على المعالج المركزي فقط لنموذجين بحجم 7B مريح على جهاز يحتوي على 32 جيجابايت من الذاكرة العشوائية (RAM). دمج نماذج أكبر (30B فأكثر) أو عدة مصادر في آن واحد قد يتجاوز ذاكرة RAM المعتادة لجهاز مكتبي، لأن Mergekit يحتاج إلى الاحتفاظ بكل نموذج مصدري في الذاكرة أثناء الدمج — استئجار مثيل سحابي بذاكرة كبيرة لخطوة الدمج فقط غالبًا ما يكون أرخص من شراء ذاكرة RAM محلية إضافية لمهمة عرضية.
إفصاح: يحتوي هذا المقال على روابط تابعة (affiliate). قد نحصل على عمولة إذا اشتريت عبر هذه الروابط، دون أي تكلفة إضافية عليك.