كم من الذاكرة يحتاج نموذج 7B؟
إجابة سريعة
نموذج 7B بتكميم Q4_K_M يحتاج ~5.5 GB ذاكرة RAM أو VRAM. مع GPU: 5.5 GB VRAM كافية للتشغيل السلس. مع CPU فقط: خصص 8–10 GB RAM. القاعدة: عدد المعاملات بالمليار × 0.7 = GB عند تكميم Q4.
- ▸نموذج 7B بتكميم Q4_K_M: ~5.5 GB VRAM أو RAM
- ▸القاعدة العامة: معاملات × 0.7 = GB عند Q4
- ▸بدون GPU: يعمل بـ 8 GB RAM ولكن بسرعة ~5 توكن/ث فقط
النقاط الرئيسية
- ✓نموذج 7B بتكميم Q4_K_M يزن ~5.5 GB ويعمل على GPU بسعة 6 GB
- ✓الاستدلال عبر CPU يحتاج 8–10 GB RAM للأداء المقبول
- ✓Q4_K_M هو المعيار القياسي: جودة أقل بـ 10% من Q8 مع توفير 50% مساحة
أرقام ذاكرة نموذج 7B الفعلية
نموذج 7B بتكميم Q4_K_M يشغل ~5.5 GB. Q4_K_M هو التنسيق الأكثر شيوعاً لأنه يحقق توازناً مثالياً بين الجودة والحجم.
القاعدة العامة: أضف 2–3 GB على حجم النموذج لاستيعاب التخزين المؤقت KV للسياق والعمليات الداخلية للإطار. وهذا يعني أن GPU بسعة 6 GB مثل RTX 3060 تتناسب جيداً مع نموذج 7B.
| حجم النموذج | ذاكرة Q4 | سرعة GPU |
|---|---|---|
| نموذج 7B | ~5.5 GB | سريع (RTX 3060+) |
| نموذج 13B | ~9 GB | متوسط (RTX 3080+) |
| نموذج 30B | ~20 GB | بطيء (RTX 4090) |
| نموذج 70B | ~45 GB | غير مناسب للمستهلك |
متطلبات الذاكرة حسب نوع الإعداد
إعداد GPU (الأسرع): 5.5 GB VRAM كافية لنموذج 7B بتكميم Q4_K_M. RTX 3060 (12 GB) أو RTX 4060 (8 GB) تمنحك هامشاً جيداً.
إعداد CPU فقط (بدون GPU): تحتاج 8–10 GB RAM. النموذج يعمل لكن بسرعة أبطأ (2–6 توكن/ث بدلاً من 30–50). استخدم Ollama مع OLLAMA_NUM_GPU=0 إذا لم يكن لديك GPU.
إعداد مختلط (GPU + CPU): إذا كانت لديك 4 GB VRAM فقط، يمكنك تقسيم الطبقات بين GPU وCPU. راجع دليل VRAM للنماذج المحلية لحساب الطبقات المثلى.
أدلة ذات صلة
- ▸Mistral Small 24B مقابل Qwen 14B مقابل Llama 8B: مقارنة -- Mistral Small 24B vs Qwen 14B vs Llama 8B comparison
- ▸أفضل SSD لتحميل النماذج بسرعة -- best SSD for fast model loading
- ▸هل يمكنك تشغيل RAG بذاكرة 2 GB؟ -- can you run RAG on 2 GB RAM?
أسئلة شائعة حول ذاكرة نموذج 7B
هل 8 GB RAM كافية لتشغيل نموذج 7B بدون GPU؟▾
كم VRAM يحتاج Llama 3 8B بالضبط؟▾
ماذا يحدث عندما يتجاوز النموذج VRAM المتاحة؟▾
--num-ctx 2048.