هل يمكنك تشغيل RAG بذاكرة 2 GB RAM؟
إجابة سريعة
نعم — لكن فقط لمجموعات وثائق شخصية صغيرة باستخدام Llama 3.2 1B (~750 MB) مع تضمينات MiniLM-L6-v2 (~80 MB) ومخزن متجهات في الذاكرة بإجمالي ~1.3-1.5 GB على جهاز 2 GB. النماذج الأكبر (7B+) ومجموعات الوثائق الأكبر (200+ صفحة) تحتاج 8 GB كحدٍّ أدنى.
- ▸Llama 3.2 1B Q4_K_M (~750 MB) + تضمينات MiniLM-L6-v2 (~80 MB) تناسب 2 GB
- ▸يجب أن تكون مجموعة الوثائق أقل من ~200 صفحة للبقاء ضمن الذاكرة
- ▸النماذج 7B+ أو المجموعات الأكبر تحتاج على الأقل 8 GB RAM
تحديث: ٢٠ يونيو ٢٠٢٦
نعم — لكن فقط الإعدادات الدنيا تعمل
على 2 GB RAM، الأنبوب الوحيد الصالح لـ RAG يستخدم نموذج LLM من فئة 1B (Llama 3.2 1B أو Phi-3 Mini) مع نموذج تضمين خفيف (MiniLM-L6-v2 بحجم ~80 MB) ومخزن متجهات في الذاكرة أو ملف مسطّح. اعتبارًا من مايو 2026، هذا يعمل — لكن فقط لمجموعات الوثائق الشخصية الصغيرة (أقل من ~200 صفحة).
يوضّح الجدول أدناه استخدام الذاكرة لكل مكوّن من مكوّنات RAG في الإعدادات الدنيا.
| المكوّن | استخدام الذاكرة | ملاحظات |
|---|---|---|
| نموذج LLM (Llama 3.2 1B Q4_K_M) | ~750 MB | أصغر نموذج instruction-tuned صالح للاستخدام |
| نموذج التضمين (MiniLM-L6-v2) | ~80 MB | يعمل على المعالج المركزي؛ لا يتطلب GPU |
| مخزن المتجهات (Chroma في الذاكرة) | ~150 MB | يتوسّع مع حجم المجموعة |
| وقت تشغيل Python + عبء الإطار | ~300 MB | LangChain أو llama-index المبسّط |
| الحدّ الأدنى الإجمالي | ~1.3-1.5 GB | يترك ~500 MB لنظام التشغيل على جهاز 2 GB |
ما الذي يفشل على 2 GB RAM
الفشل الأكثر شيوعًا هو تجاوز نموذج LLM للذاكرة المتاحة عند توسيع نافذة السياق. على 2 GB، يُقيَّد سياق نموذج 1B بحوالي 2k رمز قبل أن يبدأ نظام التشغيل في استخدام مساحة التبادل. تحميل نموذج 7B أو أكبر يفشل فورًا — Llama 3 8B Q4_K_M وحده يتطلب ~5 GB.
نمط الفشل الثاني هو نمو مخزن المتجهات. قاعدة بيانات Chroma لـ 500 صفحة PDF تستخدم تقريبًا 400-600 MB حسب حجم القطعة. مجتمعةً مع نموذج LLM ونموذج التضمين، يتجاوز إجمالي الذاكرة 2 GB. الحل: قصر الاستيعاب على أقل من 150 صفحة، استخدام قطع 256 رمزًا، وتقليم المخزن بعد كل جلسة.