تخطى إلى المحتوى الرئيسي
PromptQuorumمصمم للبشر. منظم للذكاء الاصطناعي.
الرئيسية/LLM المحلية المتقدمة
Overview & Reference

خوادم استدلال نماذج اللغة الكبيرة للمؤسسات 2026: مقارنة vLLM وTGI وNVIDIA NIM

·وقت القراءة 13 دقيقةبقلم · مؤسس PromptQuorum · محرك اكتشاف للذكاء الاصطناعي مفتوح الأوزان ومفتوح المصدر

يُعد vLLM خيارًا مفتوح المصدر واسع الاستخدام لخدمة نماذج LLM في المؤسسات على عدة وحدات GPU؛ أما NVIDIA NIM فهو الخيار المدفوع بدعم من الشركة المصنّعة؛ وقد دخل Hugging Face TGI وضع الصيانة (المستودع مؤرشف)؛ بينما صُمّم Ollama أساسًا للاستخدام من قِبل مستخدم واحد.

النقاط الرئيسية

  • vLLM هو خادم استدلال مفتوح المصدر واسع الاستخدام (Apache 2.0) للخدمة عالية الإنتاجية متعددة المستأجرين؛ ويقدّم Hugging Face TGI ميزات مشابهة لكنه في وضع الصيانة.
  • NVIDIA NIM حاوية خدمة مصغّرة مدفوعة وجاهزة (يتطلب الإنتاج ترخيص NVIDIA AI Enterprise) تحزّم محرك vLLM أو SGLang بتحسينات NVIDIA، مع دعم من الشركة المصنّعة.
  • Ollama غير مصمم لخدمة المؤسسات متعددة المستأجرين -- فهو بيئة تشغيل موجهة لعقدة واحدة ومستخدم واحد؛ استخدمه لأجهزة المطورين المحمولة والنماذج الأولية الطرفية أو القسمية، لا لحركة واجهة برمجة تطبيقات الإنتاج.
  • يختلف النشر على Kubernetes: يوثّق vLLM مسارات Helm وKServe وproduction-stack، ويوفّر TGI صورة حاوية فقط، ولدى NIM مشغّل NVIDIA الخاص، وتذكر وثائق Ollama مخططات مجتمعية فقط دون أي روابط توسيع تلقائي أصلية.
  • يحدد الترخيص التكلفة الإجمالية: vLLM وTGI مجانيان ومفتوحا المصدر؛ ويتطلب استخدام NIM في الإنتاج ترخيص NVIDIA AI Enterprise الذي تبدأ أسعاره وفق الأسئلة الشائعة لدى NVIDIA من 4,500 دولار لكل GPU سنويًا، فوق تكلفة وحدة GPU نفسها.
  • تختلف قابلية المراقبة: يعرض vLLM المقاييس عند /metrics ويوفّر TGI مقاييس Prometheus وتتبع OpenTelemetry؛ ويدعم NIM مقاييس DCGM والمقاييس الخاصة بـ NIM عبر مشغّله؛ ولا تصف وثائق Ollama نقطة نهاية للمقاييس.
  • استخدم vLLM للخدمة الإنتاجية المفتوحة المصدر، وNIM إن احتجت دعم الشركة المصنّعة وكنت مستعدًا للدفع، وانتقل بعيدًا عن TGI في المشاريع الجديدة، واحتفظ بـ Ollama للنماذج الأولية.

📍 في جملة واحدة

لخدمة LLM المؤسسية على عدة GPU، يُعد vLLM خيارًا مفتوح المصدر واسع الاستخدام، وNVIDIA NIM البديل المدفوع بدعم الشركة المصنّعة، وHugging Face TGI في وضع الصيانة، وOllama مصمَّم لمستخدم واحد لا لتعدد المستأجرين.

💬 بعبارات بسيطة

تشغيل نموذج ذكاء اصطناعي واحد على حاسوبك المحمول مشكلة مختلفة عن خدمة مئات الموظفين أو العملاء من أسطول GPU مشترك. vLLM برنامج مجاني مصمَّم للمشكلة الثانية. يؤدي NVIDIA NIM المهمة نفسها كمنتج مدفوع مُعَدّ مسبقًا ومدعوم من NVIDIA. وقد صُمّم TGI من Hugging Face لذلك أيضًا لكنه الآن في وضع الصيانة، أما Ollama، الأداة التي يستخدمها معظم الناس لتجربة نموذج محليًا، فلم يُصمَّم لهذا العدد من المستخدمين المتزامنين.

تختبر معظم مقارنات نماذج اللغة المحلية أي أداة يسهل تثبيتها على جهاز محمول واحد. يتوقف هذا السؤال عن الأهمية بمجرد أن يحتاج نموذج ما إلى خدمة مئات الموظفين أو العملاء في وقت واحد من مجموعة وحدات معالجة رسومات مشتركة -- عندها تفوز مجموعة أدوات مختلفة تماماً. يقارن هذا الدليل بين vLLM وHugging Face Text Generation Inference (TGI) وNVIDIA NIM وOllama كبنية تحتية لخدمة المؤسسات: الإنتاجية تحت الحمل المتزامن، النشر متعدد وحدات المعالجة الرسومية والعقد، أنماط Kubernetes، الترخيص، ونموذج الدعم. Ollama، الأسهل تثبيتاً على جهاز واحد من بين الأربعة، هو الأقل تجهيزاً لهذه المهمة -- فهو مصمم لمستخدم واحد ونموذج واحد وجهاز واحد، لا لأسطول إنتاج مشترك.

تحتوي هذه الصفحة على روابط مرجعية لمنتجات طرف ثالث. لا يشارك PromptQuorum في أي برنامج تابع — هذه روابط عادية لا تدر أي عمولة. النقر على الروابط والخطوات التالية تقع على عاتقك بالكامل. أي توصية في هذه الصفحة تعكس قراءتنا الخاصة للصفحات العامة للمزودين، وليست تأييداً من المزودين ولا نتيجة اختبار.

ما هو خادم استدلال نماذج اللغة الكبيرة للمؤسسات؟

خادم استدلال نماذج اللغة الكبيرة للمؤسسات هو طبقة البرمجيات التي تقبل طلبات متزامنة من مستخدمين أو تطبيقات كثيرة وتوجّهها بكفاءة عبر مجموعة وحدات معالجة رسومات مشتركة. يختلف هذا عن بيئة التشغيل لمستخدم واحد، التي تحمّل نموذجاً واحداً لعملية واحدة على جهاز واحد.

ثلاثة أمور تفصل برمجيات الخدمة على مستوى المؤسسات عن أداة الجهاز المحمول: التجميع المستمر (تعبئة عدة طلبات جارية في المرور نفسه على وحدة المعالجة الرسومية)، التوازي متعدد وحدات المعالجة الرسومية (تقسيم نموذج واحد عبر عدة وحدات معالجة رسومات أو عقد)، وسطح واجهة برمجة تطبيقات جاهز للإنتاج (فحوصات الصحة، المقاييس، آليات التوسّع التلقائي) يمكن لفريق المنصة تشغيله داخل Kubernetes.

بُني كل من vLLM وHugging Face TGI وNVIDIA NIM حول هذه المتطلبات الثلاثة منذ البداية. أما Ollama، المبني على llama.cpp، فقد صُمم من أجل قابلية النقل والبساطة على جهاز واحد -- وهو هدف مختلف ومشروع، لكنه ليس الهدف نفسه. راجع مقارنتنا لمحركات المستخدم الواحد إذا كان السؤال الذي تطرحه فعلياً هو "ما الأسهل تثبيتاً على جهازي" -- يغطي هذا الدليل الطرف الآخر من هذا القرار.

مقارنة الميزات: vLLM مقابل TGI مقابل NVIDIA NIM مقابل Ollama

القدرة
vLLM
TGI
NVIDIA NIM
Ollama
الترخيصApache 2.0 / مجانيApache 2.0 / مجانيNVIDIA AI Enterprise / مدفوعMIT / مجاني
الغرض التصميميخدمة GPU عالية الإنتاجيةتقديم HF قديم (وضع الصيانة)حزمة مؤسسية جاهزة من NVIDIAمستخدم واحد، لا تعدد مستأجرين
متعدد GPUتوازي موتري + خطوط أنابيبتوازي موتريتوازي تنسوري (حسب الملف)عقدة واحدة (وفق الوثائق)
تجميع مستمرنعم (PagedAttention)نعم (موجّه Rust)نعم (على مستوى المحرك)طلبات متوازية (الافتراضي 1)
التكميمGPTQ / AWQ / FP8 / INT4bitsandbytes / GPTQ / AWQ / EETQ / Marlin / FP8حسب ملف النموذجGGUF Q4-Q8
نشر KubernetesHelm / production-stack / KServeصورة حاوية / ملفات خاصةNIM Operator (رسمي)مخططات مجتمعية مذكورة
نموذج الدعممجتمعي / GitHubوضع الصيانة / مؤرشفدعم مؤسسي من NVIDIAمجتمعي (وفق الوثائق)
قابلية الملاحظةمقاييس Prometheus مدمجةPrometheus + تتبع OTelمقاييس DCGM / خاصة بـ NIMلا نقطة مقاييس موثّقة

فهم vLLM: محرك مفتوح المصدر عالي الإنتاجية

vLLM خادم استدلال مفتوح المصدر (Apache 2.0) مصمم خصيصاً للخدمة عالية الإنتاجية متعددة وحدات المعالجة الرسومية. نشأ من مختبر Sky Computing في جامعة كاليفورنيا بيركلي، وهو محرك مفتوح المصدر واسع الاستخدام لواجهات برمجة تطبيقات نماذج اللغة الكبيرة في الإنتاج.

  • PagedAttention: يدير ذاكرة التخزين المؤقت KV في كتل ذات حجم ثابت بدلاً من تخصيص متجاور لكل طلب، ما يرفع استخدام ذاكرة وحدة المعالجة الرسومية القابل للتحقيق ويتيح لمزيد من الطلبات المتزامنة مشاركة وحدة معالجة رسومية واحدة.
  • التجميع المستمر: تنضم الطلبات الجديدة إلى دفعة قيد التشغيل بدلاً من انتظار انتهاء الدفعة الحالية، ما يحافظ على استخدام مرتفع لوحدة المعالجة الرسومية تحت حركة متغيرة.
  • متعدد وحدات المعالجة الرسومية والعقد: يقسّم التوازي الموتري طبقات نموذج واحد عبر وحدات المعالجة الرسومية في عقدة واحدة؛ ويقسّم توازي خطوط الأنابيب عبر العقد للنماذج الأكبر من ذاكرة VRAM المجمّعة لعقدة واحدة.
  • التكميم: تقلل صيغ GPTQ وAWQ وFP8 وINT4 من استهلاك VRAM لكل نسخة، ما يزيد عدد نسخ النموذج المتزامنة التي يمكن لأسطول ثابت من وحدات المعالجة الرسومية استضافتها.
  • واجهة برمجة تطبيقات متوافقة مع OpenAI: يوفّر vllm serve <model> بديلاً مباشراً لواجهة OpenAI Chat Completions، ما يقلل من عمل التكامل في جانب التطبيق.
  • يوفّر vLLM مخطط Helm رسمياً ويتكامل مع KServe لخدمة النماذج الأصيلة في Kubernetes، مع توسّع تلقائي مدفوع بعمق طابور الطلبات أو استخدام وحدة المعالجة الرسومية.
# خدمة نموذج بتوازي موتري عبر 4 وحدات معالجة رسومات
pip install vllm

# يحمي --api-key المسارات /v1 و/v2 و/inference و/cohere فقط؛ وتبقى نقاط النهاية الأخرى مفتوحة. ضع جدار حماية أو وكيلًا عكسيًا أمامها قبل كشف المنفذ
vllm serve meta-llama/Llama-3.3-70B-Instruct \
  --tensor-parallel-size 4 \
  --gpu-memory-utilization 0.9 \
  --api-key "$VLLM_API_KEY" \
  --host 0.0.0.0 --port 8000

فهم Hugging Face TGI: الآن في وضع الصيانة

Hugging Face Text Generation Inference (TGI) خادم استدلال مفتوح المصدر (Apache 2.0) للنماذج المستضافة على Hugging Face Hub، لكنه الآن في وضع الصيانة: أُرشف مستودعه على GitHub (للقراءة فقط) في مارس 2026، وتوصي Hugging Face بـ vLLM وSGLang للنشرات الجديدة. ووفق ملف README ما زال يشغّل Hugging Chat وInference API وInference Endpoints، لذا تستمر النشرات القائمة في العمل -- لكن لا تتوقع ميزات جديدة.

  • موجّه طلبات مبني بلغة Rust: يدير الطوابير والتجميع المستمر وفق وثائق TGI.
  • Flash Attention وPaged Attention: تذكر وثائق TGI كليهما، وهما تقنيتا كفاءة الذاكرة نفسهما اللتان نشرهما vLLM.
  • التوازي الموتري: يقسّم نموذجاً عبر عدة وحدات معالجة رسومات في عقدة واحدة؛ الخدمة متعددة العقد مدعومة لكن بأدوات أصيلة أقل مقارنة بـ vLLM.
  • التكميم: صيغ bitsandbytes وGPTQ وAWQ وEETQ وMarlin وFP8.
  • تكامل أصيل مع Hugging Face Hub: لا يتطلب جلب نموذج ومحلّل الرموز الخاص به وأوزان safetensors أي خطوة تحويل يدوية إذا كان النموذج مستضافاً بالفعل على الـ Hub.
  • ملاحظة ترخيص: وُزّع TGI لفترة وجيزة تحت ترخيص أكثر تقييداً كتبته Hugging Face نفسها (HFOIL 1.0؛ راجع الأسئلة الشائعة حول ترخيص TGI) في 2023-2024 قبل العودة إلى Apache 2.0 -- تحقق من إصدار الترخيص المثبّت في بيان النشر لديك، إذ قد تظل صورة قديمة مخزنة مؤقتاً تحمل العلامة المقيّدة.
  • الترحيل: ابدأ المشاريع الجديدة على vLLM أو SGLang؛ وإن كان لديك أسطول TGI قائم فخطّط للانتقال إلى محرك يُصان بنشاط بدل البقاء على شيفرة مؤرشفة. آخر إصدار من TGI هو v3.3.7 في ديسمبر 2025.

فهم NVIDIA NIM: الخيار المدعوم من المورد

NVIDIA NIM (خدمات الاستدلال المصغّرة من NVIDIA) هو حاوية مدفوعة ومبنية مسبقاً تغلّف محرك استدلال مفتوح المصدر محسَّناً من NVIDIA خلف واجهة برمجة تطبيقات موحّدة، وتُباع كجزء من اشتراك NVIDIA AI Enterprise. تستبدل الإعداد اليدوي لـ vLLM وTGI بنشر مدعوم ومحسَّن مسبقاً.

  • حاويات المحرك بتحسينات NVIDIA: تذكر وثائق NIM for LLMs الحالية من NVIDIA أن كل صورة حاوية تحزّم محركًا واحدًا مفتوح المصدر، vLLM أو SGLang، بتحسينات NVIDIA؛ وتذكر صفحة النظرة العامة نفسها أن بنية 1.x السابقة كانت تجمع عدة واجهات خلفية في حاوية واحدة. تحقّق من المحرك الذي يستخدمه إصدار NIM لديك قبل مقارنة الإنتاجية مع vLLM المستضاف ذاتيًا.
  • دعم مؤسسي مدعوم من NVIDIA: الفارق عن الخيارات المفتوحة المصدر -- مسار دعم من الشركة المصنّعة بموجب ترخيص NVIDIA AI Enterprise؛ تحقّق من شروط اتفاقية مستوى الخدمة وزمن التشغيل بدقة في عقدك.
  • NIM Operator لـ Kubernetes: ينشئ مشغّل NVIDIA نشرًا على Kubernetes لكل خدمة NIM، ويمكنه تخزين النماذج مسبقًا على العُقد، ويدعم التوسيع التلقائي بحسب مقاييس DCGM أو مقاييس NIM الخاصة.
  • كتالوج النماذج: تحافظ NVIDIA على مجموعة منتقاة من النماذج مفتوحة الأوزان المعبّأة مسبقاً كحاويات NIM جاهزة للاستخدام، مع مسار لتعبئة نماذج مخصصة مضبوطة دقيقاً.
  • المقابل هو الارتباط بمورّد واحد وتكلفة الترخيص: NIM مصمَّم لوحدات NVIDIA GPU، ويتطلب الإنتاج ترخيص NVIDIA AI Enterprise الذي تبدأ أسعاره وفق الأسئلة الشائعة لـ NIM لدى NVIDIA من 4,500 دولار لكل GPU سنويًا. ويمكن لأعضاء NVIDIA Developer Program استضافة NIM ذاتيًا للبحث والتطوير والتجريب على ما يصل إلى 16 GPU. تأكّد من الشروط الحالية لدى NVIDIA AI Enterprise قبل إعداد الميزانية، لأن أسعار اشتراكات برمجيات المؤسسات تتغير دون إعلان عام كبير.

لماذا Ollama ليس محرك خدمة مؤسسي

Ollama غير مصمم لخدمة استدلال المؤسسات متعددة المستأجرين، وهذا خيار تصميمي، لا عيباً. يغلّف Ollama برنامج llama.cpp بواجهة برمجة تطبيقات REST بسيطة وسحب نموذج بأمر واحد، محسَّن لمطوّر يشغّل نموذجاً واحداً على جهاز واحد.

  • التزامن: وفق الأسئلة الشائعة، يعالج Ollama الطلبات المتوازية عبر OLLAMA_NUM_PARALLEL (الافتراضي 1) وطابور للطلبات (OLLAMA_MAX_QUEUE، الافتراضي 512)، لكنه لا يوثّق دفعات مستمرة ولا إدارة ذاكرة على نمط PagedAttention، لذا لم يُصمَّم لعدد كبير من المستخدمين المتزامنين كما هو حال vLLM أو NIM.
  • متعدد وحدات المعالجة الرسومية: يمكن لـ Ollama تقسيم نموذج كبير عبر وحدات معالجة رسومات جهاز واحد، لكن وثائقه لا تصف خدمة موزّعة متوازية موترياً أو متعددة العقد تضاهي vLLM.
  • Kubernetes: يُدرج ملف README على GitHub مخطط Helm يديره المجتمع؛ ولا تذكر الوثائق مشغّل Kubernetes أصيلًا ولا تكاملًا مع أدوات التوسّع التلقائي.
  • قابلية المراقبة: لا تصف وثائق Ollama نقطة نهاية للمقاييس، بخلاف vLLM وTGI.
  • أين يظل Ollama الأداة الصحيحة داخل مؤسسة: أجهزة المطورين المحمولة، نموذج أولي قسمي بحركة داخلية منخفضة، أو جهاز طرفي معزول يخدم مستخدماً واحداً في كل مرة. بمجرد أن تتطلب الحركة تزامناً متعدد المستأجرين، انتقل إلى vLLM أو TGI أو NIM -- راجع إعدادات نماذج اللغة المحلية متعددة وحدات المعالجة الرسومية للجانب الخاص بالأجهزة من هذا الانتقال.

قرارات البنية: عقدة واحدة مقابل عقد متعددة

القرار الأول في البنية هو عقدة واحدة مقابل عقد متعددة، ويُحسم بناءً على ما إذا كان النموذج يتسع في ذاكرة وحدة المعالجة الرسومية المجمّعة لعقدة واحدة، لا بناءً على حجم الحركة وحده.

يمكن للفرق التي تحتاج إلى عُقد متعددة وحدات GPU دون شراء أسطول كامل المقارنة بين مزودي استضافة خوادم GPU.

  • عقدة واحدة، متعدد وحدات معالجة رسومية: استخدم التوازي الموتري (--tensor-parallel-size في vLLM، --num-shard في TGI) لتقسيم طبقات نموذج واحد عبر وحدات المعالجة الرسومية في خادم واحد. هذا هو الافتراضي للنماذج التي تتسع في VRAM المجمّعة لعقدة واحدة.
  • عقد متعددة: أضف توازي خطوط الأنابيب بمجرد أن يتجاوز نموذج ذاكرة وحدة المعالجة الرسومية لعقدة واحدة، أو يتجاوز حجم الطلبات ما يمكن للتوازي الموتري على عقدة واحدة خدمته. يدعم vLLM ذلك عبر Ray؛ ويدعمه NIM عبر قوالب نشر متعددة العقد خاصة به.
  • موازنة الحمل: يعمل موازن دوري بسيط بشكل جيد للنسخ متساوية الحجم، لكن التوجيه الواعي بذاكرة التخزين المؤقت KV -- إعادة توجيه طلب متابعة في المحادثة نفسها إلى النسخة التي تحتفظ بالفعل بسياقها المخزَّن مؤقتاً -- يقلل زمن الاستجابة بشكل ملموس في أعباء عمل شبيهة بالمحادثة.
  • توجيه النماذج: تشغّل المؤسسات التي تستخدم أكثر من نموذج (مثلاً نموذج برمجة ونموذج محادثة عام) عادةً مجموعات نسخ منفصلة لكل نموذج خلف طبقة توجيه، بدلاً من مجموعة مشتركة -- إذ لا تُقسَّم ذاكرة وحدة المعالجة الرسومية بنظافة كافية بين نماذج مختلفة جداً لتبرير التعقيد.
  • التوسّع التلقائي: وسّع بناءً على عمق طابور الطلبات أو استخدام وحدة المعالجة الرسومية، لا على المعالج المركزي (الافتراضي التقليدي لـ HPA في Kubernetes) -- إذ غالبًا ما يكاد لا يتحرك استخدام المعالج المركزي لجراب استدلال يعمل على وحدة معالجة رسومية مع تغيّر الحمل. يُعد KEDA مع مقياس Prometheus مخصص النمط الشائع لـ vLLM/TGI؛ ويربط مشغّل NIM ذلك كجزء من المنتج. راجع توسيع نماذج اللغة المحلية للمؤسسات لتخطيط السعة الأوسع وراء هذا القرار.

كيفية نشر حزمة استدلال متعددة وحدات المعالجة الرسومية

يتّبع نشر حزمة استدلال مؤسسية تسلسلاً ثابتاً: تحديد اتفاقية مستوى الخدمة، تحديد حجم الأسطول، اختيار المحرك، ثم ربط النشر والتوجيه وقابلية الملاحظة حوله.

  1. 1
    حدد اتفاقية مستوى الخدمة الخاصة بزمن الاستجابة والتزامن قبل اختيار الأجهزة.
  2. 2
    حدد حجم أسطول وحدات المعالجة الرسومية بناءً على استهلاك النموذج لذاكرة VRAM وهدف عدد الطلبات المتزامنة، لا بناءً على عدد معاملات النموذج وحده.
  3. 3
    اختر محرك الخدمة -- vLLM (أو SGLang) للمرونة المفتوحة المصدر، وNIM لنشر جاهز بدعم الشركة المصنّعة؛ ولا تبدأ مشاريع جديدة على TGI.
  4. 4
    حوّل المحرك إلى حاوية وانشره عبر Helm (أو NIM Operator) في مجموعة Kubernetes الخاصة بك.
  5. 5
    اضبط التوازي الموتري داخل عقدة واحدة وتوازي خطوط الأنابيب عبر العقد إذا تطلب النموذج ذلك.
  6. 6
    أعدّ موازنة حمل واعية بذاكرة التخزين المؤقت KV أو دورية أمام مجموعة النسخ.
  7. 7
    اربط التوسّع التلقائي بعمق طابور الطلبات أو استخدام وحدة المعالجة الرسومية، لا بالمعالج المركزي.
  8. 8
    أضف قابلية ملاحظة عبر Prometheus/OpenTelemetry واختبر الحمل عند التزامن المستهدف قبل الإطلاق الفعلي.

مقارنة الترخيص ونموذج الدعم

الترخيص هو البند الذي يغيّر التكلفة الإجمالية للملكية أكثر من غيره بين هذه الخيارات. يخضع vLLM لترخيص Apache 2.0 ومجاني التشغيل بأي حجم، وكذلك TGI (Apache 2.0، مؤرشف الآن) -- تدفع فقط مقابل بنية GPU التحتية. ويتطلب NVIDIA NIM ترخيص NVIDIA AI Enterprise للإنتاج، وتبدأ أسعاره وفق الأسئلة الشائعة لدى NVIDIA من 4,500 دولار لكل GPU سنويًا فوق تكلفة GPU؛ والبحث والتطوير والتجريب على ما يصل إلى 16 GPU مجاني لأعضاء NVIDIA Developer Program. تأكّد من الشروط الحالية مباشرة مع NVIDIA قبل إعداد الميزانية. أما Ollama فبترخيص MIT ومجاني، والدعم محصور في GitHub وDiscord للمجتمع -- ولا تذكر وثائقه أي شريحة دعم مؤسسي مدفوعة.

نموذج الدعم لا يقل أهمية عن تكلفة الترخيص في أنظمة الإنتاج: يأتي دعم vLLM من قضايا GitHub وقنوات المجتمع (سريع للمشكلات الشائعة، بلا اتفاقية مستوى خدمة)، ويتلقى TGI صيانة طفيفة فقط، ويأتي NIM مع عقد دعم من NVIDIA، ولا تذكر وثائق Ollama أي مسار دعم خارج قنوات المجتمع.

نقاط قابلية الملاحظة للخدمة الإنتاجية

يعرض كل من vLLM وTGI نقطة نهاية /metrics متوافقة مع Prometheus جاهزة، تغطي زمن استجابة الطلبات، عمق الطابور، استخدام ذاكرة التخزين المؤقت KV لوحدة المعالجة الرسومية، وإنتاجية الرموز. اربط ذلك بحزمة Prometheus/Grafana قائمة للحصول على لوحات تحكم بمستوى الإنتاج دون أدوات قياس مخصصة.

يدعم NVIDIA NIM مقاييس GPU المبنية على DCGM ومقاييس NIM الخاصة التي يستطيع مشغّله استخدامها للتوسيع التلقائي -- وهو الأنسب إذا كانت بقية البنية التحتية متمحورة حول NVIDIA أصلًا.

لدى Ollama مقاييس مدمجة محدودة جدًا: لا تصف وثائقه نقطة نهاية للمقاييس، وهذا منسجم مع تصميمه لمستخدم واحد لكنه ثغرة حقيقية إن شغّلته كبنية مشتركة وأردت رؤية زمن الاستجابة لكل طلب عبر مستخدمين متزامنين كثيرين.

أي خادم استدلال تختار؟

خيار افتراضي قوي مفتوح المصدر: vLLM -- مجتمع واسع ودعم أجهزة واسع وأدوات لعدة GPU وإصدارات متكررة.

إن كنت على Hugging Face: خطّط مع ذلك على vLLM أو SGLang -- TGI في وضع الصيانة، فأبقِه للنشرات القائمة فقط.

مناسب إن احتجت دعم الشركة المصنّعة: NVIDIA NIM -- مدعوم من الشركة وجاهز للاستخدام، مقابل تكلفة ترخيص.

غير مناسب لحركة إنتاج متعددة المستأجرين: Ollama -- احتفظ به لأجهزة المطورين ونشر الحافة لمستخدم واحد.

  • 🧭 فريق منصة يشغّل واجهة LLM داخلية مشتركة لفرق كثيرة → vLLM مستضافًا ذاتيًا على Kubernetes.
  • 🧭 مؤسسة خاضعة للتنظيم تريد عقد دعم من المورّد → NVIDIA NIM؛ أضف سجل التدقيق الخاص بك أمامه (راجع دليل الامتثال المؤسسي ذي الصلة).
  • 🧭 فريق وحّد استضافة النماذج على Hugging Face Hub → vLLM الذي يحمّل نماذج Hub مباشرة؛ وأبقِ TGI للنشرات القائمة فقط.
  • 🧭 مطورون يبنون إثبات مفهوم قبل تجهيز البنية التحتية → Ollama، ثم الانتقال إلى vLLM حين تصبح الحركة المتزامنة حقيقية.
  • ❌ إن توقعت أكثر من حفنة مستخدمين متزامنين فإن Ollama غير مصمم لنقطة نهاية إنتاج مشتركة -- استخدم vLLM بدلًا منه.
  • ❌ إن احتجت توسيعًا تلقائيًا أصليًا على Kubernetes بحسب حمل الطلبات، فإن وثائق Ollama لا تذكر ما يعادل التوسيع بعمق الطابور عبر KEDA -- استخدم vLLM أو NIM.

أخطاء شائعة عند تحديد حجم بنية الاستدلال المؤسسية

  • تحديد حجم وحدات المعالجة الرسومية بناءً على عدد المعاملات بدلاً من عدد الطلبات المتزامنة. لا يترك أسطول وحدات معالجة رسومات مصمَّم فقط لتتسع نسخة واحدة من النموذج في VRAM أي هامش للمستخدمين المتزامنين -- حدد الحجم عند ذروة التزامن، ثم تحقق من أن النموذج ما زال يتسع.
  • نشر Ollama خلف موازن حمل إنتاج مشترك. يعمل في عرض توضيحي بمستخدمين اثنين؛ لكنه غير مصمم لنشر مخصص لمئات المستخدمين.
  • التوسّع بناءً على استخدام المعالج المركزي. غالبًا ما تكاد لا تتحرك جرابات الاستدلال العاملة على وحدة معالجة رسومية من حيث استخدام المعالج المركزي مع تغيّر الحمل -- وسّع بناءً على عمق الطابور أو استخدام وحدة المعالجة الرسومية بدلاً من ذلك.
  • تجاهل التحقق من الترخيص في صور TGI القديمة المخزَّنة مؤقتاً. تأكد من أن علامة الصورة المسحوبة تطابق إصدار Apache 2.0، لا نسخة مبنية من حقبة HFOIL 1.0 مخزَّنة مؤقتاً.
  • وضع ميزانية لـ NIM دون تأكيد الأسعار الحالية لكل وحدة معالجة رسومية مباشرة من NVIDIA. تتغير أسعار اشتراكات البرمجيات المؤسسية؛ وعرض سعر قديم ليس أساساً صالحاً للميزانية.

المصادر

  • توثيق vLLM الرسمي -- الوثائق الرسمية لـ vLLM: PagedAttention، التجميع المستمر، وأدلة النشر متعدد وحدات المعالجة الرسومية/العقد.
  • Hugging Face Text Generation Inference (GitHub) -- مستودع TGI الرسمي: إشعار وضع الصيانة وحالة الأرشفة وصيغ التكميم المدعومة وتاريخ التراخيص.
  • توثيق NVIDIA NIM الرسمي -- الوثائق الرسمية لـ NIM: النماذج المدعومة، صور محركَي vLLM وSGLang، وNIM Operator الخاص بـ Kubernetes.
  • مستودع Ollama على GitHub -- مستودع Ollama الرسمي ومتتبع القضايا، مُشار إليه لسلوك التزامن والنشر.
  • NVIDIA AI Enterprise -- صفحة منتج NVIDIA لاشتراك AI Enterprise الذي يُوزَّع NIM ضمنه.
  • الأسئلة الشائعة لـ NVIDIA NIM -- تصريحات NVIDIA حول ترخيص NIM: استخدام Developer Program على ما يصل إلى 16 GPU، وترخيص NVIDIA AI Enterprise للإنتاج، والسعر الابتدائي.

الأسئلة الشائعة

ما الفرق بين vLLM وNVIDIA NIM؟

vLLM خادم استدلال مجاني ومفتوح المصدر (Apache 2.0) تستضيفه وتديره بنفسك. أما NVIDIA NIM فحاوية جاهزة من NVIDIA تحزّم، وفق وثائق NVIDIA الحالية، محرك vLLM أو SGLang بتحسينات NVIDIA؛ ويتطلب الإنتاج ترخيص NVIDIA AI Enterprise ويأتي مع دعم الشركة. يمنحك vLLM التحكم دون رسوم ترخيص مقابل أن تتولى الضبط والدعم بنفسك؛ ويستبدل NIM ذلك برسوم ترخيص. لم تُجرِ PromptQuorum اختبارات أداء مقارنة بين الاثنين.

هل يمكن استخدام Ollama لخدمة استدلال متعددة المستخدمين على مستوى المؤسسات؟

غير موصى به لحركة الإنتاج متعددة المستأجرين. يعالج Ollama الطلبات المتوازية عبر OLLAMA_NUM_PARALLEL (الافتراضي 1) وطابور، لكنه لا يوثّق دفعات مستمرة ولا إدارة ذاكرة على نمط PagedAttention ولا تذكر وثائقه توسيعًا تلقائيًا أصليًا على Kubernetes. وهو مناسب لأجهزة المطورين وأجهزة الحافة لمستخدم واحد والنماذج الأولية الداخلية قليلة الحركة.

هل يستحق NVIDIA NIM تكلفة الترخيص مقارنة بـ vLLM أو TGI مفتوحي المصدر؟

يتوقف الأمر على ما إذا كان عقد الدعم وتحزيم NVIDIA يستحقان تكلفة الترخيص بالنسبة لك، مقابل إبقاء البنية التحتية مجانية وتشغيلها بنفسك. غالبًا ما تبرر المؤسسات الخاضعة للتنظيم التي تريد عقد دعم من المورّد هذه التكلفة (ويبقى سجل التدقيق مما يجب إضافته بشكل منفصل)؛ وكثيرًا ما تشغّل الفرق ذات الخبرة الداخلية في بنية ML التحتية vLLM دون تكلفة ترخيص.

كيف توسّع استدلال نماذج اللغة الكبيرة عبر عدة وحدات معالجة رسومات وعقد؟

استخدم التوازي التنسوري لتقسيم طبقات النموذج على وحدات GPU داخل عقدة واحدة، وتوازي خط الأنابيب للتقسيم عبر عدة عقد حين يتجاوز النموذج مجموع ذاكرة GPU في عقدة واحدة. يدعم vLLM كليهما (متعدد العقد عبر Ray أو multiprocessing)؛ ويدعم TGI التوازي التنسوري بأدوات أقل للعقد المتعددة وهو في وضع الصيانة؛ وينشر NIM النماذج متعددة GPU عبر ملفات تعريف النماذج ويعمل على Kubernetes بواسطة NIM Operator.

ما صيغ التكميم التي يدعمها كل خادم استدلال؟

يدعم vLLM صيغ GPTQ وAWQ وFP8 وINT4. ويذكر TGI صيغ bitsandbytes وGPTQ وAWQ وEETQ وMarlin وFP8. ويختار NVIDIA NIM الدقة بحسب ملف تعريف النموذج وGPU. ويستخدم Ollama صيغة GGUF بدقة Q4 حتى Q8، بهدف توفير الذاكرة على جهاز واحد لا إنتاجية تعدد المستأجرين.

كيف تنشر vLLM أو TGI على Kubernetes؟

يوثّق vLLM عدة مسارات لـ Kubernetes منها مخطط Helm وKServe وproduction-stack من vllm-project. ويوفّر TGI صورة حاوية تغلّفها بملفاتك الخاصة. اضبط طلبات الموارد بما يطابق تخصيص GPU، واضبط التوسيع التلقائي على عمق الطابور أو استخدام GPU بدل CPU، وأضف Prometheus ServiceMonitor لسحب نقطة نهاية المقاييس.

ما هو التجميع المستمر ولماذا يهم في الخدمة المؤسسية؟

تتيح الدفعات المستمرة للطلبات الجديدة الانضمام إلى دفعة GPU قيد التشغيل بدل انتظار انتهاء الدفعة الحالية. وتبقي استخدام GPU مرتفعًا في ظل حركة فعلية غير منتظمة، ولهذا هي معيار في vLLM وTGI والمحركات داخل NIM، وأحد أكبر الفروق عن أداة لمستخدم واحد مثل Ollama.

أي خادم استدلال يملك أفضل قابلية ملاحظة؟

يعرض vLLM المقاييس عند نقطة /metrics ويوفّر TGI مقاييس Prometheus وتتبع OpenTelemetry -- وهو مناسب مباشرة لمنظومة Prometheus/Grafana القائمة. ويدعم NVIDIA NIM مقاييس DCGM والمقاييس الخاصة بـ NIM عبر مشغّله، وهو أنسب للبنية المتمحورة حول NVIDIA. ولا تصف وثائق Ollama نقطة نهاية للمقاييس.

هل تحتاج النماذج المتعددة أساطيل وحدات معالجة رسومية منفصلة، أم يمكنها مشاركة مجموعة واحدة؟

من الناحية العملية، تشغّل المؤسسات التي تستخدم أكثر من نموذج عادةً مجموعات نسخ منفصلة لكل نموذج بدلاً من مشاركة مجموعة واحدة، لأن ذاكرة وحدة المعالجة الرسومية لا تُقسَّم بنظافة كافية بين نماذج بأحجام مختلفة جداً. وجّه الطلبات إلى المجموعة الصحيحة على مستوى التطبيق أو البوابة بدلاً من محاولة وضع عدة نماذج على النسخ نفسها من وحدات المعالجة الرسومية.

كيف يختلف الترخيص بين vLLM وTGI وNVIDIA NIM؟

vLLM وHugging Face TGI كلاهما بترخيص Apache 2.0 ومجانيان بأي حجم -- تدفع فقط مقابل بنية GPU التحتية. ويتطلب NVIDIA NIM ترخيص NVIDIA AI Enterprise للإنتاج، وتبدأ أسعاره وفق الأسئلة الشائعة لدى NVIDIA من 4,500 دولار لكل GPU سنويًا فوق تكلفة عتاد GPU؛ ويمكن لأعضاء Developer Program استضافة NIM ذاتيًا للبحث والتطوير على ما يصل إلى 16 GPU. تأكّد من الأسعار الحالية مباشرة مع NVIDIA. أما Ollama فبترخيص MIT ومجاني ودعمه مجتمعي فقط.

هل ما زال Hugging Face TGI يُصان؟

TGI في وضع الصيانة. يذكر ملف README أن Hugging Face تقبل فقط إصلاحات الأخطاء الطفيفة وتحسينات التوثيق وأعمال الصيانة الخفيفة، وقد أُرشف مستودع GitHub (للقراءة فقط) في مارس 2026. آخر إصدار هو v3.3.7 من ديسمبر 2025، وتوصي Hugging Face بـ vLLM وSGLang للنشرات الجديدة. تستمر نشرات TGI القائمة في العمل، لكن خطّط للترحيل.

كيف يقارن vLLM بـ TensorRT-LLM؟

vLLM محرك خدمة عام يحمّل النماذج بصيغة Hugging Face مباشرة ويعمل على وحدات NVIDIA وAMD GPU وعتاد آخر. أما TensorRT-LLM فمكتبة استدلال من NVIDIA لوحدات NVIDIA GPU. كانت الإصدارات السابقة تجمّع النموذج مسبقًا في محرك TensorRT خاص بوحدة GPU محددة؛ وتصف وثائق NVIDIA الحالية سير عمل قائمًا على PyTorch أُزيل فيه محرك TensorRT الخلفي، لذا تحقّق من الإصدار الذي تنشره. يعني vLLM عادةً نشرًا أبسط وتغطية أوسع للعتاد والنماذج؛ ويناسب TensorRT-LLM الفرق الملتزمة بوحدات NVIDIA GPU. راجع شرح TensorRT-LLM.

← العودة إلى LLM المحلية المتقدمة

MCP