ما نماذج Ollama التي تدعم سياق 128K؟
إجابة سريعة
يدعم Llama 3.1 8B سياقاً بحجم 128K في Ollama. يصل Qwen3-30B-A3B، وهو نموذج mixture-of-experts، إلى سياق 256K. ملاحظة: تشغيل السياق الكامل يزيد VRAM بشكل كبير — نافذة بحجم 128K تحتاج إلى 3 إلى 4 أضعاف الـ VRAM مقارنةً بالنافذة الافتراضية البالغة 4K.
- ▸Llama 3.1 8B: سياق 128K، حوالي 16 GB من VRAM مع السياق الكامل
- ▸Qwen3-30B-A3B: سياق 256K، أكثر من 24 GB من VRAM مع السياق الكامل
- ▸اضبط --num-ctx 4096 للاستخدام العادي وحافظ على VRAM
النقاط الرئيسية
- ✓معظم نماذج 7B في Ollama تُعلن عن سياق 128K لكن جودتها تتراجع فوق 32K رمز
- ✓Llama 3.1 8B وQwen3-30B-A3B هما النموذجان اللذان يوفران بشكل موثوق سياقاً يفوق 128K على Ollama
- ✓نافذة سياق 128K قد تضاعف استخدام VRAM تقريباً ثلاث مرات — نموذج 7B بـ Q4 يحتاج حوالي 15 GB مع 128K مقابل حوالي 5.5 GB بالقيمة الافتراضية
- ✓اضبط <code>--num-ctx 4096</code> للمهام اليومية؛ وسّع السياق فقط عند الحاجة
ما النماذج التي تبلغ فعلاً 128K
تُعلن معظم نماذج Ollama عن سياق 128K، لكن قلة منها يوفر جودة مخرجات مفيدة عند هذا الطول. المشكلة هي تأثير "الضياع في المنتصف": النماذج المدربة على أطوال مستند نموذجية تجد صعوبة في الانتباه إلى المعلومات الموجودة في عمق السياق الطويل.
نموذجان يوفران بشكل موثوق سياقاً يفوق 128K على Ollama: Llama 3.1 8B (مدرب بشكل أصلي على 128K) وQwen3-30B-A3B (نموذج mixture-of-experts بنافذة سياق 256K في مكتبة Ollama الرسمية، يُفعّل فقط نحو 3 مليارات من أصل 30 مليار معامل لكل رمز). أحجام Qwen3 الأصغر الكثيفة تستخدم افتراضياً نافذة سياق 40K في Ollama، وبالنسبة لمعظم النماذج الأخرى من فئة 7B، تتراجع جودة المخرجات أيضاً بشكل ملحوظ فوق 32K رمز.
إذا كانت مهمتك تتضمن مستندات تزيد عن 20,000 كلمة، ابدأ بـ Llama 3.1 8B. إذا كنت بحاجة إلى أكبر نافذة سياق ولديك 20 GB أو أكثر من VRAM، فـ Qwen3-30B-A3B هو الخيار الأفضل.
📍 بجملة واحدة
النموذجان في Ollama اللذان يوفران بشكل موثوق سياقاً يفوق 128K هما Llama 3.1 8B (128K، مدرب أصلياً) وQwen3-30B-A3B (256K، mixture-of-experts).
💬 بعبارات بسيطة
تم تدريب Llama 3.1 8B منذ البداية على التعامل مع سياق بحجم 128K رمز، لذا تبقى جودة مخرجاته مستقرة عند هذا الطول. Qwen3-30B-A3B هو نموذج mixture-of-experts — يُفعّل فقط نحو 3 مليارات من أصل 30 مليار معامل لكل رمز — وتُدرجه Ollama بنافذة سياق 256K. تُعلن معظم النماذج الأخرى من فئة 7B عن دعم 128K، لكن جودة مخرجاتها تتراجع بشكل ملحوظ بعد 32K رمز.
تكلفة VRAM للسياق الطويل
توسيع نافذة السياق يزيد استخدام VRAM بشكل كبير. ذاكرة KV-cache، التي تخزن حالة الانتباه لجميع الرموز في السياق، يمكن أن تضيف قدراً من VRAM يعادل أوزان النموذج نفسها مع سياق 128K.
يوضح الجدول أدناه كيف يتوسع VRAM لـ KV-cache لنموذج 7B بـ Q4_K_M. تفترض هذه الأرقام نماذج تستخدم grouped query attention (GQA) — النماذج بدون GQA تستخدم KV-cache أكبر بكثير.
لتوفير VRAM في المهام اليومية، اضبط --num-ctx 4096 عند تشغيل Ollama. وسّع إلى 32K أو 128K فقط عند الحاجة لمهمة معينة. للدليل الكامل حول LLM محلية بسياق طويل، بما في ذلك اختيار النماذج وتقسيم RAM، راجع دليل LLM المحلية بسياق طويل.
| طول السياق | KV-Cache (7B) | إجمالي VRAM (7B Q4) |
|---|---|---|
| 4K (افتراضي) | ~0.5 GB | ~5.5 GB |
| 16K | ~1.5 GB | ~6.5 GB |
| 32K | ~3 GB | ~8 GB |
| 128K | ~10 GB | ~15 GB |
أدلة ذات صلة
- ▸دليل LLM المحلية بسياق طويل -- اختيار النموذج وتقسيم RAM
- ▸هل يمكن تشغيل Qwen 3 على Ollama؟ -- الإعداد ومتطلبات VRAM
- ▸ما نماذج Ollama التي تدعم الرؤية؟ -- النماذج متعددة الوسائط في Ollama
إجابات سريعة حول نماذج السياق الطويل
كيف أفعّل سياق 128K في Ollama؟▾
--num-ctx 131072 إلى أمر التشغيل: ollama run llama3.1:8b --num-ctx 131072. بدون هذا الخيار، تحدد مواصفة Modelfile في Ollama القيمة الافتراضية لـ num_ctx بـ 2048 رمزاً، وحتى القيمة الافتراضية المتدرجة حسب VRAM (4K لأقل من 24 GiB، 32K من 24-48 GiB، 256K وما فوق) قد لا تصل إلى الحد الأقصى لقدرة النموذج — اضبط num_ctx صراحةً لضمان ذلك.