ما هو نموذج 70B؟
نموذج 70B هو نموذج لغوي كبير يضم نحو 70 مليار معامل -- أي الأوزان المتعلَّمة التي تشكّل الشبكة. يرمز الحرف B إلى المليار. يضم Llama 3.3 70B نحو 70.6 مليار معامل، ويضم Qwen2.5 72B نحو 72.7 مليار.
الذاكرة المطلوبة هي عدد المعاملات مضروبًا في عدد البايتات لكل وزن: يشغل الوزن بدقة 16 بت بايتين (نحو 141 GB)، وبدقة 8 بت (Q8_0) نحو بايت واحد (75 GB)، وبدقة 4 بت Q4_K_M نحو 0.6 بايت (43 GB). ولهذا فإن 70B هو الحجم الذي يحتاج عنده عتاد المستهلك لأول مرة إلى أكثر من 40 GB من الذاكرة السريعة، بينما تتسع نماذج 7B-14B على حاسوب محمول عادي.
ما العتاد الذي تحتاجه لتشغيل LLM محلي بـ 70B؟
تحتاج إلى نحو 43 GB من الذاكرة السريعة للنموذج و3-10 GB للسياق، سواء كانت VRAM في GPU أو ذاكرة موحدة من Apple أو ذاكرة نظام -- وكلما كانت هذه الذاكرة أسرع، ولّد النموذج أسرع.
السرعات أدناه تقديرات لمحادثة مستخدم واحد بسياق قصير، مشتقة من عرض نطاق الذاكرة (انظر «لماذا يحدد عرض النطاق السرعة»). هي سقوف خُفّضت إلى كفاءة نموذجية بين 60-80%، وليست اختبارات أجرتها PromptQuorum؛ والاستثناء رقم DGX Spark الذي قاسه أطراف خارجية.
العتاد | هل يتسع 70B بـ Q4؟ | عرض نطاق الذاكرة | السرعة التقديرية (Q4_K_M) | ملاحظات |
|---|---|---|---|---|
| Mac Studio M5 Max (64-128 GB) | نعم -- GPU كاملة | حتى 614 GB/s | ~9-11 tok/s | التهيئة الأساسية 36 GB؛ 64 GB+ ترقية |
| Mac Studio M5 Ultra (96 GB+) | نعم -- يتسع Q8_0 | حتى 1.2 TB/s | ~17-21 tok/s | من $5,499 مع 96 GB |
| Mac mini M5 Pro (64 GB) | نعم -- بهامش ضيق | 307 GB/s | ~4-5 tok/s | الطراز الأساسي $1,699 بسعة 24 GB؛ 64 GB حسب الطلب |
| Mac mini M6 (32 GB كحد أقصى) | لا | 170 GB/s | غير متاح | 32 GB أقل من ملف Q4 البالغ نحو 43 GB |
| Mac Studio M2 Ultra (64 GB+، مستعمل) | نعم -- GPU كاملة | 800 GB/s | ~12-15 tok/s | سوق المستعمل فقط؛ تحقق من حجم الذاكرة |
| NVIDIA DGX Spark (128 GB) | نعم -- يتسع Q8_0 | 273 GB/s | ~4-5 tok/s | 2.7 tok/s مقيسة بـ FP8؛ سعر مُفاد $6,950 |
| AMD Ryzen AI Max+ 395 (128 GB) | نعم | 256 GB/s | ~4-5 tok/s | أجهزة Mini PC وحواسيب محمولة؛ حصة ذاكرة GPU قابلة للضبط |
| 2x RTX 3090 / 4090 (48 GB) | نعم -- بهامش ضيق | 936-1,008 GB/s لكل بطاقة | ~12-17 tok/s | Q4_K_M مع سياق قصير فقط |
| RTX 5090 (32 GB) + 64 GB RAM | offload جزئي | 1,792 GB/s لـ VRAM | ~4-6 tok/s | نحو 70% من الطبقات على GPU والباقي في ذاكرة النظام |
| RTX 4090 (24 GB) + 64 GB RAM | offload جزئي | 1,008 GB/s لـ VRAM | ~2-4 tok/s | نحو 55% من الطبقات على GPU والباقي في ذاكرة النظام |
| المعالج فقط، DDR5 ثنائية القناة | نعم -- المعالج فقط | ~90 GB/s | ~1-2 tok/s | للمهام الدُفعية فقط |
| المعالج فقط، ذاكرة خادم 8-12 قناة | نعم -- المعالج فقط | 350-460 GB/s | ~5-8 tok/s | Threadripper PRO / EPYC؛ ذاكرة 256 GB تتيح Q8_0 |
كم تحتاج من الذاكرة أو VRAM لنموذج 70B عند كل مستوى تكميم؟
الأحجام أدناه هي ملفات Llama 3.3 70B في مكتبة Ollama؛ وتختلف نماذج 70B الأخرى بنسبة بضعة بالمئة. وهي تخص الأوزان فقط -- أضف إليها ذاكرة السياق من القسم التالي.
التكميم | الذاكرة (الأوزان) | الجودة | عملي؟ |
|---|---|---|---|
| FP16 (دقة كاملة) | ~141 GB | جودة مرجعية | Mac Ultra بسعة 192 GB+ أو خادم RAM 256 GB |
| Q8_0 | ~75 GB | شبه بلا فقدان | ذاكرة موحدة 96-128 GB أو RAM 128 GB |
| Q6_K | ~58 GB | قريب جدًا من Q8_0 | أجهزة بسعة 72-96 GB |
| Q5_K_M | ~50 GB | فقدان ضئيل | Mac بسعة 64 GB بعد رفع حد GPU -- بهامش ضيق |
| Q4_K_M | ~43 GB | فقدان منخفض -- الافتراضي | نعم -- Mac بسعة 64 GB أو GPU مزدوجة 48 GB |
| Q3_K_S | ~31 GB | فقدان معتدل | نعم -- أجهزة بسعة 40-48 GB |
| Q2_K | ~26 GB | فقدان مرتفع | غير موصى به |
كم تضيف ذاكرة السياق إلى نموذج 70B؟
يضيف السياق ذاكرة فوق الأوزان: يخزّن Llama 3.3 70B نحو 0.33 MB من KV cache لكل token بدقة FP16، أي نحو 2.7 GB عند 8K token، و10.7 GB عند 32K، و43 GB عند 128K. ويأتي الرقم من بنية النموذج: 80 طبقة × 8 رؤوس مفتاح-قيمة × 128 بعدًا × 2 (المفاتيح والقيم) × 2 بايت = 327,680 بايتًا لكل token.
تحتفظ كل جلسة متزامنة بـ KV cache الخاص بها بينما تُشارَك الأوزان. فنظام متعدد الوكلاء بأربعة وكلاء، لكل منهم 32K token، يحتاج إلى نحو 43 GB للأوزان إضافةً إلى 43 GB للـ cache. وتفعيل flash attention وKV cache بدقة 8 بت في Ollama (OLLAMA_FLASH_ATTENTION=1 وOLLAMA_KV_CACHE_TYPE=q8_0) يخفض الـ cache إلى نحو النصف.
طول السياق | KV cache (FP16) | الإجمالي مع Q4_K_M |
|---|---|---|
| 8K token | ~2.7 GB | ~46 GB |
| 32K token | ~10.7 GB | ~54 GB |
| 128K token | ~43 GB | ~86 GB |
لماذا يحدد عرض نطاق الذاكرة سرعة نموذج 70B؟
يقرأ كل token مولَّد أوزان النموذج كلها مرة واحدة، لذا فإن سرعة التوليد محدودة بعرض نطاق الذاكرة مقسومًا على حجم النموذج. نموذج Q4_K_M بحجم 43 GB على عرض نطاق 614 GB/s سقفه نحو 14 token/ثانية؛ والسرعة الفعلية عادةً 60-80% من السقف.
وتفسّر القاعدة نفسها لماذا لا تعني الذاكرة الكبيرة سرعةً عالية: يملك DGX Spark بسعة 128 GB عرض نطاق 273 GB/s، أي سقفًا يقارب 6 token/ثانية عند Q4_K_M، وقاس LMSYS سرعة 2.7 token/ثانية لنموذج Llama 3.1 70B بدقة FP8 (نحو 70 GB، سقف 3.9). السعة تحدد هل يعمل النموذج، وعرض النطاق يحدد سرعته. أما معالجة المُدخل (prefill) فهي محكومة بالحوسبة وتتصرف بشكل مختلف.
الذاكرة | عرض النطاق | السقف عند 43 GB |
|---|---|---|
| DDR5-5600 ثنائية القناة | ~90 GB/s | ~2 tok/s |
| AMD Ryzen AI Max+ 395 | 256 GB/s | ~6 tok/s |
| NVIDIA DGX Spark | 273 GB/s | ~6 tok/s |
| Apple M5 Pro | 307 GB/s | ~7 tok/s |
| Apple M5 Max | حتى 614 GB/s | ~14 tok/s |
| Apple M2 Ultra | 800 GB/s | ~19 tok/s |
| Apple M5 Ultra | حتى 1.2 TB/s | ~28 tok/s |
هل Apple Silicon خيار جيد لنماذج 70B؟
Apple Silicon هو أبسط طريقة لإبقاء نموذج 70B كاملًا في ذاكرة يصل إليها GPU، لأن المعالج وGPU يتشاركان مجمّع ذاكرة موحدة واحدًا. يشغّل جهاز Mac بسعة 64 GB أو أكثر نموذج Q4_K_M دون layer offloading، بسرعة يحددها عرض نطاق الشريحة: نحو 9-11 token/ثانية على M5 Max و12-15 على M2 Ultra مستعمل (تقديرات). ولم نعثر بعد على اختبارات منشورة لنموذج 70B على شرائح M5.
أعلنت Apple عن Mac Studio بشريحتَي M5 Max وM5 Ultra في 25 أغسطس 2026، وبدأ شحن الطرازين في 22 سبتمبر 2026. يبدأ M5 Max من $2,499 مع 36 GB ويصل إلى 128 GB بعرض نطاق يبلغ 614 GB/s -- فاضبط التهيئة على 64 GB أو أكثر لنموذج 70B. ويبدأ M5 Ultra من $5,499 مع 96 GB ويصل إلى 512 GB بعرض نطاق يبلغ 1.2 TB/s، ويشغّل Q8_0 براحة؛ وأُدرجت تهيئة 512 GB على أنها تصل في أواخر أكتوبر.
يبدأ Mac mini M5 Pro من $1,699 مع 24 GB، وليس 64 GB. تهيئة 64 GB حسب الطلب (307 GB/s وThunderbolt 5) تستوعب نموذج 70B بتكميم Q4_K_M لكنها تولّد نحو 4-5 token/ثانية فقط، وتضعها المراجعات عند نحو $2,700-$3,200 بحسب المعالج والتخزين. أما Mac mini M6 الأساسي ($899) فيبلغ حده الأقصى 32 GB وعرض نطاق 170 GB/s ولا يستطيع تشغيل نموذج 70B عند أي تكميم.
يقيّد macOS ذاكرة GPU القابلة للعنونة افتراضيًا بنحو 75% من الذاكرة (نحو 48 GB على Mac بسعة 64 GB). ولتشغيل Q5_K_M (50 GB) ارفع الحد، مثلًا sudo sysctl iogpu.wired_limit_mb=57344 على Mac بسعة 64 GB؛ يُعاد ضبط الإعداد عند إعادة التشغيل ويترك لنظام التشغيل نحو 8 GB فقط.
هل NVIDIA DGX Spark (أو حاسوب Strix Halo بسعة 128 GB) جيد لنماذج 70B؟
NVIDIA DGX Spark هو حاسوب مكتبي مدمج للذكاء الاصطناعي بذاكرة موحدة LPDDR5x سعتها 128 GB وعرض نطاقها 273 GB/s، مبني على GB10 Grace Blackwell Superchip مع دعم CUDA. يحمّل نموذج 70B حتى عند Q8_0 (75 GB)، لكن عرض النطاق يحد من التوليد: قاس LMSYS سرعة 2.7 token/ثانية لنموذج Llama 3.1 70B بدقة FP8، وأُفيد بأن تجارب المجتمع على llama.cpp عند Q4_K_M تقع في نطاق 4-5 token/ثانية.
تحركت الأسعار بحدة. رفعت NVIDIA سعر إصدار Founders Edition من $3,999 إلى $4,699 في فبراير 2026 بسبب قيود إمداد الذاكرة، وأُفيد بسعر $6,950 في أكتوبر 2026، إلى جانب نسخة 64 GB بسعر $4,999 تبيعها جهات شريكة اعتبارًا من 23 أكتوبر 2026. تحقق من الأسعار الحالية قبل الشراء.
تقدّم أجهزة AMD Ryzen AI Max+ 395 («Strix Halo») من Mini PC والحواسيب المحمولة ذاكرة LPDDR5X بسعة 128 GB وعرض نطاق 256 GB/s، أي من الفئة نفسها، مع تقدير مماثل يبلغ نحو 4-5 token/ثانية لنموذج 70B كثيف. وكلتا المنصتين أنسب لنماذج مزيج الخبراء (انظر أدناه) ولأعمال CUDA أو الضبط الدقيق منهما لمحادثة نموذج 70B كثيف.
المواصفة | القيمة |
|---|---|
| الذاكرة | 128 GB موحدة LPDDR5x |
| عرض نطاق الذاكرة | 273 GB/s |
| 70B عند Q8_0 (75 GB) | يتسع |
| توليد 70B، مقيس | 2.7 tok/s بـ FP8 (LMSYS، SGLang) |
| أقصى حجم للنموذج | ~200B معامل بـ FP4 |
| السعر | مُفاد $6,950؛ سعر القائمة $4,699 (فبراير 2026) |
| أمر Ollama | ollama run llama3.3:70b |
كيف يعمل GPU من NVIDIA مع layer offloading لنماذج 70B؟
يقسّم Ollama وllama.cpp النموذج بين VRAM الخاصة بـ GPU وذاكرة النظام: تعمل الطبقات الموجودة في VRAM بسرعة GPU، وتعمل الطبقات الموجودة في RAM بسرعة ذاكرة المعالج، ويهيمن الجزء البطيء على الأداء. مع RTX 4090 (24 GB) يتسع نحو 55% من نموذج 70B بتكميم Q4_K_M على GPU، ويُقرأ الباقي من DDR5 بنحو 90 GB/s، مما يحصر التوليد في نحو 2-4 token/ثانية. وتستوعب RTX 5090 (32 GB) نحو 70% وتبلغ تقديريًا 4-6 token/ثانية.
يقوم Ollama بالـ offloading تلقائيًا دون الحاجة إلى أي علَم. شغّل ollama ps لرؤية التقسيم (العمود PROCESSOR، مثل 45%/55% CPU/GPU). وفي llama.cpp حدّد عدد الطبقات بالعلَم -ngl.
# Ollama offloads as many layers as fit in VRAM automatically
ollama run llama3.3:70b
# Show the CPU/GPU split of the loaded model:
ollama ps
# llama.cpp: choose the number of GPU layers explicitly
./llama-cli -m llama-3.3-70b-instruct-q4_k_m.gguf \
-ngl 44 \
--ctx-size 4096ما أفضل محرك استدلال لنموذج 70B على عدة GPU؟
لمستخدم واحد، يُعد Ollama أو llama.cpp مع تقسيم الطبقات أبسط مسار متعدد GPU؛ أما لعدة مستخدمين أو وكلاء متزامنين، فيقدّم vLLM أو SGLang مع tensor parallelism إنتاجية إجمالية أعلى بكثير. تمنحك بطاقتان بسعة 24 GB (RTX 3090 أو 4090) ذاكرة 48 GB، وهي تكفي لـ Q4_K_M مع سياق قصير.
يمرّر تقسيم الطبقات التنشيطات بين البطاقتين مرة واحدة لكل token ويعمل عبر PCIe العادي، فيناسب البطاقات المختلطة أو الاستهلاكية. أما tensor parallelism فيقسّم كل طبقة عبر وحدات GPU ويستفيد من الوصلات السريعة: تدعم RTX 3090 جسر NVLink بينما لا تدعمه RTX 4090 ولا 5090.
محرك الاستدلال | طريقة تعدد GPU | الأنسب لـ |
|---|---|---|
| Ollama | تقسيم تلقائي للطبقات | مستخدم واحد، أسهل إعداد |
| llama.cpp | --split-mode, --tensor-split | وحدات GPU مختلطة، تكميمات GGUF |
| vLLM | --tensor-parallel-size N | مستخدمون أو وكلاء كثر؛ AWQ/GPTQ/FP8 |
| SGLang | Tensor parallelism | وكلاء ببادئات prompt مشتركة |
| TensorRT-LLM | Tensor / pipeline parallel | أقصى إنتاجية NVIDIA؛ يتطلب بناء engine |
هل الاستدلال بـ 70B على المعالج فقط عملي، وهل تفيد ذاكرة 256 GB؟
يتحدد الاستدلال بـ 70B على المعالج فقط بعرض نطاق الذاكرة: تعطي DDR5 المكتبية ثنائية القناة (نحو 90 GB/s) تقريبًا 1-2 token/ثانية عند Q4_K_M، وزيادة سعة الذاكرة لا تجعله أسرع. عند 1.5 token/ثانية يستغرق رد من 200 كلمة (نحو 270 token) قرابة ثلاث دقائق.
تغيّر ذاكرة 256 GB ما يمكن تحميله لا سرعة تشغيله: فهي تستوعب Q8_0 (75 GB) أو FP16 (141 GB) مع سياق طويل. وتعتمد السرعة على قنوات الذاكرة -- فخادم Threadripper PRO بـ 8 قنوات أو EPYC بـ 12 قناة يملك عرض نطاق يعادل ثلاثة إلى خمسة أضعاف الحاسوب المكتبي. وكثيرًا ما تعمل اللوحات المكتبية ذات أربع شرائح ذاكرة كبيرة بذاكرة أبطأ مما لو استخدمت شريحتين. كما أن معالجة المُدخل على المعالج بطيئة أيضًا مع المدخلات الطويلة.
التقديرات أدناه تطبّق قاعدة عرض النطاق بكفاءة 70%؛ وهي ليست اختبارات مقيسة.
إعداد المعالج / الذاكرة | عرض النطاق | Q4_K_M (43 GB) | Q8_0 (75 GB) | FP16 (141 GB) |
|---|---|---|---|---|
| مكتبي، DDR5-5600 ثنائية القناة | ~90 GB/s | ~1-1.5 tok/s | ~0.6-0.9 tok/s | ~0.3-0.5 tok/s |
| Threadripper PRO، DDR5-5600 بـ 8 قنوات | ~358 GB/s | ~5-6 tok/s | ~3-3.5 tok/s | ~1.5-1.8 tok/s |
| EPYC، DDR5-4800 بـ 12 قناة | ~461 GB/s | ~7-8 tok/s | ~4-4.5 tok/s | ~2-2.5 tok/s |
هل تغيّر نماذج MoE من فئة 70B حسابات العتاد؟
تحتاج نماذج مزيج الخبراء (MoE) إلى ذاكرة لجميع معاملاتها لكنها تقرأ الخبراء النشطين فقط لكل token، لذا تولّد أسرع بكثير من نموذج 70B كثيف له البصمة الذاكرية نفسها. يضم gpt-oss-120b من OpenAI نحو 117 مليار معامل منها نحو 5.1 مليار نشطة؛ ويضم Llama 4 Scout من Meta نحو 109 مليارات منها 17 مليارًا نشطة.
تنطبق قاعدة عرض النطاق على الأوزان النشطة، لذا تستفيد نماذج MoE أفضل استفادة من الأجهزة عالية السعة ومتوسطة عرض النطاق مثل DGX Spark وأجهزة Ryzen AI Max+ 395 وMac mini M5 Pro بسعة 64 GB. أما لنموذج 70B كثيف على هذا العتاد فتوقع 4-5 token/ثانية؛ وقارن حجم ملف كل نموذج MoE بذاكرتك قبل التنزيل.
أي نموذج 70B تشغّله محليًا؟
Llama 3.3 70B هو نموذج 70B الكثيف الافتراضي: تعلن Meta عن 86.0 في MMLU (CoT) و88.4 في HumanEval، مع نافذة سياق 128K. ويُعد Qwen2.5 72B البديل الرئيسي للاستخدام متعدد اللغات والبرمجة. لا يوجد Qwen3 72B -- فنماذج Qwen3 الكثيفة تتوقف عند 32B -- لذا فإن أي إشارة إلى «Qwen3 72B» تعني Qwen2.5 72B.
الأوامر: ollama run llama3.3:70b، وollama run qwen2.5:72b، وollama run deepseek-r1:70b.
النموذج | المعاملات | الترخيص | الأنسب لـ |
|---|---|---|---|
| Llama 3.3 70B | 70.6B كثيف | Llama 3.3 Community License | الإنجليزية العامة، اتباع التعليمات |
| Qwen2.5 72B Instruct | 72.7B كثيف | Qwen License | متعدد اللغات، برمجة؛ 131K مع YaRN |
| DeepSeek-R1-Distill-Llama-70B | 70B كثيف | انظر بطاقة النموذج | الاستدلال؛ المخرجات الطويلة تبطئ الردود |
| Mistral Large 2 | 123B كثيف | Mistral Research License | للبحث فقط؛ نحو 75 GB عند Q4 |
ما العتاد اللازم للضبط الدقيق لنموذج 70B؟
يحتاج الضبط الدقيق بـ QLoRA لنموذج 70B إلى نحو 35-48 GB من ذاكرة GPU لكل تشغيل: بطاقتان بسعة 24 GB مع FSDP+QLoRA، أو بطاقة GPU واحدة بسعة 48-80 GB. يُبقي QLoRA النموذج الأساسي بدقة 4 بت (نحو 35 GB) ويدرّب محوّلات صغيرة؛ وقد أظهرت Answer.AI ذلك على بطاقتَي ألعاب بسعة 24 GB.
ويحتاج الضبط الدقيق الكامل بدقة 16 بت إلى نحو 16 بايتًا لكل معامل للأوزان والتدرجات وحالات المحسِّن -- أي ما يقارب 1 TB -- وهو عمل لخادم متعدد GPU. وغالبًا ما يكون استئجار GPU سحابية بسعة 80 GB أكثر عملية من بناء عتاد لتشغيلات متقطعة.
تشغيل نماذج 70B محليًا: السياق الإقليمي
الاتحاد الأوروبي / GDPR: يمثّل نموذج 70B محلي الحد العملي لجودة الذكاء الاصطناعي التي يمكن تشغيلها بخصوصية لدى معظم المؤسسات. تبقي معالجة المستندات القانونية أو الطبية أو المالية داخل مقر المؤسسة المُدخلات والمخرجات ضمن بنيتك التحتية، مما يدعم ضوابط تقليل البيانات ومخاطر النقل؛ لكنه لا يجعل النشر وحده متوافقًا مع GDPR، فقيّم نشاط المعالجة بأكمله.
للمؤسسات التي تشترط عتادًا بسلسلة توريد أوروبية: Apple (الولايات المتحدة) وNVIDIA (الولايات المتحدة) مزوّدان من خارج الاتحاد الأوروبي؛ وتبيع Dell وHP وLenovo أنظمة قائمة على GB10 مع دعم محلي. وعلى صعيد النماذج، يأتي Mistral Large 2 من مطوّر أوروبي لكنه يُصدر بترخيص بحثي لا يغطي الاستخدام التجاري.
اليابان: يُعد Qwen2.5 72B خيارًا شائعًا للنصوص اليابانية: `ollama run qwen2.5:72b`. ويدعم توثيق إصدارات العتاد والنموذج (يحدد مُخرج `ollama ps` النموذج المحمَّل) الحوكمة الداخلية بموجب الإرشادات اليابانية للذكاء الاصطناعي في الأعمال.
الصين: يُبقي استضافة Qwen2.5 72B محليًا البيانات على بنيتك التحتية، وهو أمر وثيق الصلة بقانون أمن البيانات الصيني (数据安全法). أما هل يندرج نموذج يُقدَّم داخليًا ضمن قواعد CAC للذكاء الاصطناعي التوليدي فيتوقف على ما إذا كان يُتاح للجمهور؛ استشر مستشارًا قانونيًا مؤهلًا للتأكد.
ما الأخطاء الشائعة عند تشغيل نماذج 70B على عتاد المستهلك؟
شراء GPU بأقل من 24 GB من VRAM مع توقع أداء 70B كاملًا
تستوعب بطاقة 12 GB نحو ربع نموذج 70B بتكميم Q4_K_M؛ ويعمل الباقي من ذاكرة النظام، فتقترب السرعة من المعالج فقط. وحتى RTX 4090 بسعة 24 GB لا تحقق سوى نحو 2-4 tok/s. للحصول على سرعة تفاعلية استخدم 48 GB من VRAM، أو جهاز Mac بمعالج Apple Silicon وبسعة 64 GB أو أكثر، أو نموذجًا أصغر بحجم 27B-34B.
افتراض أن الجهاز كبير الذاكرة هو أيضًا سريع
يملك DGX Spark وأجهزة Ryzen AI Max+ 395 ذاكرة 128 GB لكن عرض نطاقها 256-273 GB/s فقط، لذا يعمل نموذج 70B الكثيف بنحو 3-5 tok/s. أما Mac Studio M5 Max بسعة 64 GB فعرض نطاقه أكثر من الضعف. تحقق من عرض النطاق، لا من السعة وحدها.
عدم التحقق من حجم الجزء الذي يعمل على GPU من النموذج
يقوم Ollama بالـ offloading تلقائيًا، لكن الاتساع الضيق قد يترك طبقات على المعالج. شغّل `ollama ps` بعد التحميل واقرأ العمود PROCESSOR؛ الهدف هو «100% GPU»، ووجود حصة للمعالج يفسّر بطء المخرجات. قلّل طول السياق أو انتقل إلى Q3_K_S إذا كان التقسيم سيئًا.
نسيان أن السياق يحتاج إلى ذاكرة أيضًا
نموذج 70B بتكميم Q4_K_M حجمه 43 GB، لكن سياق 32K يضيف نحو 10.7 GB وسياق 128K يضيف نحو 43 GB بدقة FP16. قد ينفد الجهاز الذي يتسع للأوزان من الذاكرة عند السياق الطويل. استخدم KV cache بدقة 8 بت أو سياقًا أقصر.
تشغيل Q5_K_M أو Q8_0 عندما تكون السرعة هي المهمة
يقرأ كل token النموذج كاملًا، لذا يعمل Q8_0 (75 GB) بنحو نصف سرعة Q4_K_M (43 GB) على العتاد نفسه. على الأجهزة المحدودة بعرض النطاق (DGX Spark وStrix Halo وMac mini) اختر Q4_K_M للمحادثة، واستخدم Q8_0 فقط حين تكون الجودة هي الأولوية.
طلب Mac mini M5 Pro بسعر $1,699 مع توقع أن يعمل 70B
يأتي Mac mini M5 Pro بسعر $1,699 بذاكرة موحدة 24 GB. يحتاج نموذج 70B إلى تهيئة 64 GB حسب الطلب، ولا يستطيع Mac mini M6 الأساسي ($899، 32 GB كحد أقصى) تشغيله إطلاقًا. تأكد من «M5 Pro» و64 GB قبل الطلب.
الاصطدام بحد ذاكرة GPU الافتراضي في macOS
يسمح macOS افتراضيًا لـ GPU باستخدام نحو 75% من الذاكرة، أي نحو 48 GB على Mac بسعة 64 GB. يتسع Q4_K_M؛ أما Q5_K_M (50 GB) فلا يتسع حتى ترفع `iogpu.wired_limit_mb`.
أسئلة شائعة حول تشغيل نماذج 70B على عتاد المستهلك
ما العتاد الذي أحتاجه لتشغيل LLM محلي بـ 70B؟
تحتاج إلى نحو 43 GB من الذاكرة السريعة لنموذج Llama 3.3 70B عند Q4_K_M، إضافةً إلى 3-10 GB للسياق. توجد ثلاث تهيئات تحتفظ بالنموذج كاملًا في الذاكرة السريعة: جهاز Mac بمعالج Apple Silicon وبذاكرة موحدة 64 GB أو أكثر، أو بطاقتا NVIDIA GPU بسعة 24 GB لكل منهما (48 GB من VRAM إجمالًا)، أو جهاز بذاكرة موحدة 128 GB مثل NVIDIA DGX Spark أو حاسوب Mini PC بمعالج AMD Ryzen AI Max+ 395. السعة تحدد هل يعمل النموذج، وعرض نطاق الذاكرة يحدد سرعته. يمكن لبطاقة GPU واحدة بسعة 24 GB أو حاسوب بالمعالج فقط تشغيله، لكن بنحو 1-4 token/ثانية فقط.
ما هو نموذج 70B؟
نموذج 70B هو نموذج لغوي كبير يضم نحو 70 مليار معامل (أوزان). يضم Llama 3.3 70B نحو 70.6 مليار، ويضم Qwen2.5 72B نحو 72.7 مليار. ويتبع حجم الملف عدد المعاملات: نحو 141 GB بدقة 16 بت، و75 GB بدقة 8 بت (Q8_0)، و43 GB بدقة 4 بت (Q4_K_M).
كم أحتاج من VRAM أو الذاكرة لنموذج 70B؟
يحتاج Llama 3.3 70B إلى 43 GB عند Q4_K_M، و50 GB عند Q5_K_M، و75 GB عند Q8_0، و141 GB عند FP16 (أحجام مكتبة Ollama)، إضافةً إلى KV cache للسياق: نحو 2.7 GB عند 8K token، و10.7 GB عند 32K، و43 GB عند 128K. ومع 24 GB من VRAM يتسع على GPU نحو نصف نموذج Q4_K_M فقط، ويعمل الباقي من ذاكرة النظام.
ما أرخص عتاد قادر على تشغيل نموذج 70B بشكل مقبول؟
لسرعة تبلغ نحو 10 token/ثانية أو أكثر، الخيارات العملية هي Mac Studio M5 Max بتهيئة 64 GB أو أكثر (الطراز الأساسي بسعر $2,499 يأتي بسعة 36 GB)، أو Mac Studio M2 Ultra مستعمل بسعة 64 GB أو أكثر، أو بطاقتا GPU مستعملتان بسعة 24 GB لكل منهما. وأرخص خيار جديد من Apple هو Mac mini M5 Pro بسعة 64 GB: الطراز الأساسي بسعر $1,699 يأتي بسعة 24 GB فقط، وتضع المراجعات تهيئات 64 GB عند نحو $2,700-$3,200. ويحصر عرض نطاقه البالغ 307 GB/s سرعته في نحو 4-5 token/ثانية. وأسعار بطاقات GPU في السوق متقلبة: أُفيد بأن عروض RTX 5090 كانت أعلى بكثير من سعر الإطلاق $1,999 في أكتوبر 2026، فتحقق من الأسعار الحالية.
هل يمكنني تشغيل نموذج 70B على بطاقة GPU واحدة بسعة 24 GB؟
نعم، لكن ببطء. تستوعب بطاقة 24 GB مثل RTX 4090 نحو 55% من نموذج 70B بتكميم Q4_K_M؛ وتعمل الطبقات المتبقية من ذاكرة النظام بسرعة ذاكرة المعالج، مما يعطي نحو 2-4 token/ثانية مع DDR5 سريعة. وللسرعة التفاعلية استخدم نموذجًا أصغر (يتسع 27B-34B في 24 GB، مثل Qwen3.8-27B)، أو بطاقتَي GPU، أو جهازًا بذاكرة موحدة 64 GB أو أكثر.
هل يمكنني تشغيل نموذج 70B على بطاقتَي GPU؟
نعم. توفر بطاقتان بسعة 24 GB (RTX 3090 أو 4090) ذاكرة VRAM بسعة 48 GB، تتسع لنموذج 70B بتكميم Q4_K_M (43 GB) مع سياق قصير من بضعة آلاف token. يقسّم Ollama وllama.cpp الطبقات بين البطاقتين تلقائيًا أو باستخدام --tensor-split. توقع نحو 12-17 token/ثانية كتقدير، لأن كل token يمر عبر البطاقتين بالتتابع.
ما أفضل محرك استدلال لتشغيل نماذج LLM بحجم 70B على عتاد متعدد GPU؟
لمستخدم واحد، يُعد Ollama أو llama.cpp مع تقسيم الطبقات الأبسط ويعمل مع وحدات GPU المختلطة. أما لعدة مستخدمين أو وكلاء متزامنين، فيقدّم vLLM مع ضبط --tensor-parallel-size على عدد وحدات GPU، أو SGLang، إنتاجية إجمالية أعلى بكثير لأنه يجمّع الطلبات في دفعات؛ وكلاهما يفضّل وحدات GPU المتطابقة وأوزان AWQ أو GPTQ أو FP8. ويعطي TensorRT-LLM أعلى إنتاجية على NVIDIA لكنه يتطلب خطوة بناء engine.
كم ذاكرة GPU يحتاج نظام متعدد الوكلاء بخلفيات 70B؟
احسب الأوزان مرة واحدة إضافةً إلى KV cache واحد لكل جلسة متزامنة. يحتاج Llama 3.3 70B عند Q4_K_M إلى نحو 43 GB للأوزان؛ وتضيف كل جلسة نشطة نحو 0.33 MB لكل token من السياق بدقة FP16. لذا يحتاج أربعة وكلاء بسياق 32K token لكل منهم إلى نحو 43 GB + 43 GB = 86 GB. خدّم جميع الوكلاء من خادم مشترك واحد (vLLM أو SGLang أو llama.cpp مع خانات متوازية) بدلًا من تحميل نسخة من النموذج لكل وكيل.
هل تساعد ذاكرة 256 GB في استدلال نموذج 70B على المعالج؟
تساعد في السعة لا في السرعة. تتيح ذاكرة 256 GB تحميل Q8_0 (75 GB) أو FP16 (141 GB) مع سياق طويل، لكن سرعة التوليد تحددها قنوات الذاكرة: نحو 0.5-1.5 token/ثانية على حاسوب مكتبي ثنائي القناة، ونحو 3-6 على Threadripper PRO بـ 8 قنوات، ونحو 4-8 على EPYC بـ 12 قناة عند Q4_K_M إلى Q8_0 (تقديرات مبنية على عرض نطاق الذاكرة، وليست اختبارات أجريناها).
هل يستطيع Mac mini M6 تشغيل نموذج 70B؟
لا. يبلغ الحد الأقصى لـ Mac mini M6 (يبدأ من $899) ذاكرة موحدة 32 GB وعرض نطاق 170 GB/s، وهو أقل من 43 GB التي يحتاجها نموذج 70B بتكميم Q4_K_M. أما Mac mini M5 Pro (من $1,699، 307 GB/s، Thunderbolt 5) فيمكن تهيئته حتى 64 GB؛ والطراز الأساسي بسعر $1,699 يأتي بسعة 24 GB، فاطلب تهيئة 64 GB حسب الطلب. وقد بدأ شحن الطرازين في 22 سبتمبر 2026.
ما هو NVIDIA DGX Spark وهل يستحق الشراء للاستدلال بنماذج 70B؟
DGX Spark هو حاسوب NVIDIA المكتبي المدمج للذكاء الاصطناعي بذاكرة موحدة LPDDR5x سعتها 128 GB وعرض نطاقها 273 GB/s. يحمّل نماذج 70B عند Q8_0 لكنه محدود بعرض النطاق: قاس LMSYS سرعة توليد 2.7 token/ثانية لنموذج Llama 3.1 70B بدقة FP8. وهو أنسب لأعمال CUDA والضبط الدقيق ونماذج MoE الكبيرة من محادثة سريعة مع نموذج 70B كثيف. رفعت NVIDIA سعر Founders Edition من $3,999 إلى $4,699 في فبراير 2026، وأُفيد بسعر $6,950 في أكتوبر 2026، إلى جانب نسخة 64 GB بسعر $4,999 من جهات شريكة.
كيف تُقارن جودة نماذج 70B المحلية بالنماذج السحابية؟
تعلن Meta عن 86.0 في MMLU (CoT) و88.4 في HumanEval لنموذج Llama 3.3 70B Instruct. وتسجّل النماذج السحابية الرائدة التي صدرت بعده نتائج أعلى في المهام كثيفة الاستدلال، بينما تبقى نماذج 70B المحلية منافسة في التلخيص والاستخراج والصياغة وتوليد الكود الروتيني. اختبر الاثنين على prompts الخاصة بك، مثلًا عبر PromptQuorum، قبل الاستثمار في عتاد 70B.
كم من الكهرباء يستهلك تشغيل نموذج 70B؟
تسحب بطاقة GPU حتى قدرة اللوحة أثناء التوليد: 350 واط لـ RTX 3090، و450 واط لـ RTX 4090، و575 واط لـ RTX 5090. وبسعر $0.15 لكل kWh تكلّف RTX 4090 بكامل الحمل نحو $0.07 في الساعة لبطاقة GPU وحدها. أما Apple Silicon وأجهزة الذاكرة الموحدة فتسحب طاقة أقل بكثير للنموذج نفسه، لكن بسرعة أقل.
هل تستحق نماذج 70B العناء مقارنةً بالنماذج الأصغر للمهام اليومية؟
للاستدلال المعقّد وتحليل المستندات الطويلة والكتابة الدقيقة، غالبًا نعم. أما للتلخيص البسيط والأسئلة والأجوبة والتصنيف، فكثيرًا ما ينتج نموذج 7B-14B مخرجات مشابهة بجزء من كلفة العتاد. شغّل الاثنين على prompts الخاصة بك قبل الاستثمار في عتاد 70B.
هل يمكنني الضبط الدقيق لنموذج 70B على عتاد المستهلك؟
فقط باستخدام QLoRA. يُبقي QLoRA النموذج الأساسي بدقة 4 بت (نحو 35 GB) ويدرّب محوّلات صغيرة؛ وقد أظهرت Answer.AI تدريب نموذج 70B بـ FSDP+QLoRA على بطاقتَي ألعاب بسعة 24 GB. ويحتاج الضبط الدقيق الكامل بدقة 16 بت إلى ما يقارب 1 TB من الذاكرة، وهو عمل لخادم متعدد GPU. وفيما يتجاوز تشغيلات QLoRA المتقطعة، يكون استئجار GPU سحابية بسعة 80 GB أكثر عملية في الغالب.
ما أفضل تكميم لنموذج 70B على Apple Silicon؟
على جهاز Mac بسعة 64 GB استخدم Q4_K_M (43 GB). يقيّد macOS ذاكرة GPU القابلة للعنونة افتراضيًا بنحو 75% من الذاكرة (نحو 48 GB على Mac بسعة 64 GB)، لذا لا يعمل Q5_K_M (50 GB) إلا بعد رفع الحد باستخدام sysctl iogpu.wired_limit_mb، ويترك هامشًا ضيقًا. وعلى 96-128 GB يكون Q8_0 (75 GB) الخيار شبه الخالي من الفقدان، بنحو نصف سرعة Q4_K_M لأن كل token يقرأ ضعف عدد البايتات.
هل يختار Ollama أفضل تكميم تلقائيًا؟
لا. ينزّل ollama run llama3.3:70b تكميم Q4_K_M الافتراضي (43 GB). سمِّ الوسم لمستوى آخر، مثلًا ollama run llama3.3:70b-instruct-q5_K_M أو ollama run llama3.3:70b-instruct-q8_0. شغّل ollama ps بعد التحميل: يعرض العمود PROCESSOR مقدار ما يعمل من النموذج على GPU مقابل المعالج.
هل يستطيع iPhone أو حاسوب محمول تشغيل نموذج 70B؟
ليس iPhone: تملك أجهزة iPhone الحالية ذاكرة 8-12 GB بينما يحتاج نموذج 70B بتكميم Q4_K_M إلى نحو 43 GB، لذا تشغّل الهواتف نماذج 1B-8B. أما الحواسيب المحمولة فلا تستطيع إلا بذاكرة موحدة 64 GB أو أكثر (تهيئات MacBook Pro العليا) أو جهاز AMD Ryzen AI Max+ 395 بسعة 128 GB. وتقع حواسيب الألعاب المحمولة ذات VRAM بسعة 16-24 GB، مثل ASUS ROG Strix، ضمن حالة offload الجزئي البطيء.
المصادر
- Ollama: وسوم وأحجام Llama 3.3 -- Q4_K_M بحجم 43 GB، وQ5_K_M بحجم 50 GB، وQ8_0 بحجم 75 GB، وFP16 بحجم 141 GB
- بطاقة نموذج Meta Llama 3.3 70B Instruct -- MMLU (CoT) 86.0، وHumanEval 88.4، وسياق 128K، والترخيص
- بطاقة نموذج Qwen2.5 72B Instruct -- 72.7B معامل، وسياق 131K مع YaRN
- بطاقة نموذج Mistral Large Instruct 2407 -- 123B معامل، وترخيص Mistral Research License
- LMSYS: مراجعة معمّقة لـ NVIDIA DGX Spark -- Llama 3.1 70B بدقة FP8 بسرعة توليد 2.7 tok/s، وعرض نطاق 273 GB/s
- Apple Newsroom: Mac mini مع M6 وM5 Pro -- الأسعار والذاكرة وعرض النطاق
- 9to5Mac: Mac Studio مع M5 Max وM5 Ultra -- الأسعار والذاكرة الأساسية والقصوى وعرض النطاق
- منتدى مطوري NVIDIA: تغيير سعر DGX Spark -- من $3,999 إلى $4,699
- TechnoEdge: زيادة سعر DGX Spark ونسخة 64 GB -- أسعار مُفادة: $6,950 و$4,999
- Fstoppers: Mac mini M5 Pro review -- تكوين 64 GB / 1 TB مدرج بسعر $3,199
- Trusted Reviews: Mac mini M5 Pro review -- أسعار ترقية الذاكرة إلى 48 GB و64 GB
- Answer.AI: تدريب نموذج 70B في المنزل -- FSDP + QLoRA على بطاقتَي GPU بسعة 24 GB
- llama.cpp -- توثيق GPU offloading وتقسيم متعدد GPU