النقاط الرئيسية
- مفتوحة المصدر على GitHub (BerriAI/litellm)؛ بنحو 58,663 نجمة و11,415 نسخة متفرعة حتى وقت هذه المراجعة
- المستودع الأساسي مرخّص بموجب MIT وفق ملف LICENSE الخاص به؛ ينطبق ترخيص منفصل فقط على الدليل الفرعي
enterprise/، وتم التحقق من ذلك مباشرةً من ملف LICENSE لهذه المراجعة - منتجان: حزمة Python باسم
litellm(pip install litellm) لاستدعاء المزوّدين مباشرةً من الشيفرة، وLiteLLM Proxy Server (`pip install 'litellm[proxy]'`، أو Docker) كبوابة مستضافة ذاتيًا بلوحة إدارة - توحّد أكثر من 100 واجهة برمجة لمزوّدين (OpenAI وAnthropic وGoogle Gemini وAWS Bedrock وAzure OpenAI وOllama وغيرها) خلف تنسيق طلب/استجابة واحد، وفق ملف README الخاص بالمشروع
- الميزات الموثّقة في README وموقع التوثيق: موازنة الحِمل، التوجيه، التراجع الاحتياطي/التبديل عند الفشل، ميزانيات لكل مفتاح ولكل مستخدم، تحديد معدل الطلبات، تخزين الطلبات مؤقتًا، وتسجيل الإنفاق
- لا حاجة إلى وحدة معالجة رسومية — تعيد LiteLLM توجيه الطلبات بدلاً من تشغيل أوزان النموذج؛ يتطلب نشر الوكيل في بيئة الإنتاج PostgreSQL (المفاتيح، بيانات الإنفاق) وRedis (تحديد معدل الطلبات عبر النُسخ المتعددة)، لا وحدة معالجة رسومية
- قابلة للنشر عبر Docker (
docker.litellm.ai/berriai/litellm)، ومخططات Helm، ووحدة Terraform رسمية لـ AWS ECS Fargate، ووحدة Terraform رسمية لـ Google Cloud Run، أو أزرار نشر بنقرة واحدة على Render/Railway - توجد فئة تجارية منفصلة بعنوان Enterprise على litellm.ai/enterprise، تشمل تسجيل الدخول الموحّد (SSO) وطلبات الميزات ذات الأولوية والدعم المخصص — تبقى حزمة SDK والوكيل مفتوحا المصدر قابلين للاستخدام الكامل دونها
📍 في جملة واحدة
LiteLLM بوابة مفتوحة المصدر تتيح للتطبيقات استدعاء أكثر من 100 واجهة برمجة لمزوّدي نماذج اللغة من خلال واجهة واحدة متوافقة مع OpenAI، وتتوفر كحزمة Python أو كخادم وكيل مستضاف ذاتيًا يوفّر التوجيه والتراجع الاحتياطي وتتبع التكاليف وتحديد معدل الطلبات.
💬 بعبارات بسيطة
إذا كان تطبيقك يحتاج إلى التحدث مع OpenAI اليوم، ومع Anthropic أو نموذج Ollama محلي غدًا، فعادةً ما تضطر لإعادة كتابة شيفرة التكامل لكل واحد منهما. تقف LiteLLM في المنتصف وتترجم واجهة برمجة كل مزوّد إلى نفس التنسيق الشبيه بـ OpenAI، بحيث لا تحتاج شيفرتك إلا إلى تعلّم تنسيق واحد — وتضيف نسخة الوكيل لوحة تحكم لمعرفة من ينفق كم.
📌ملاحظة: هذه المراجعة هي المقال المكمّل المتعمّق لمدخل LiteLLM في دليل برمجيات نماذج اللغة المحلية — راجع تلك الصفحة لمعرفة كيف تقارن LiteLLM بلمحة سريعة مع عشرات أدوات الذكاء الاصطناعي المحلية الأخرى.
ما هي LiteLLM؟
LiteLLM بوابة تترجم تنسيق طلب واحد متوافق مع OpenAI إلى استدعاءات لأكثر من 100 واجهة برمجة مختلفة لمزوّدي نماذج اللغة. يصفها ملف README الخاص بها بأنها "أسرع وأخف بوابة ذكاء اصطناعي"، مبنية بنواة Rust وحزمة Python فوقها — وهو تحوّل عن التنفيذ القائم بالكامل على Python في السنوات الأولى للمشروع. فبدلاً من كتابة شيفرة عميل منفصلة لواجهة برمجة OpenAI وواجهة برمجة Anthropic وخادم Ollama محلي، يستدعي التطبيق LiteLLM مرة واحدة، وتقوم LiteLLM بإعادة توجيه الطلب إلى المزوّد المُهيّأ لاسم ذلك النموذج.
- الوظيفة الأساسية: استقبال طلب بتنسيق
chat/completionsالخاص بـ OpenAI (أو بالتنسيق الأصلي للمزوّد المستهدف)، وإعادة توجيهه إلى المزوّد المُهيّأ، وإرجاع استجابة موحّدة - وضعا وصول: حزمة Python باسم
litellm، تُستورد مباشرةً في شيفرة التطبيق، وLiteLLM Proxy Server، وهي خدمة مستقلة تستدعيها تطبيقات أخرى عبر HTTP - الجهة المطوّرة: BerriAI، المؤسسة الواقفة خلف مستودع github.com/BerriAI/litellm
- ليست بيئة تشغيل نموذج: لا تحمّل LiteLLM أوزان النموذج ولا تُجري الاستدلال بنفسها — بل توجّه الطلبات إلى المزوّدين الذين يقومون بذلك، بما في ذلك واجهات برمجة سحابية وخوادم محلية مثل Ollama أو vLLM
- ميزات على مستوى الإنتاج وفق التوثيق: مفاتيح API افتراضية، ميزانيات إنفاق لكل مفتاح ولكل مستخدم، تحديد معدل الطلبات، موازنة الحِمل بين عدة عمليات نشر لنفس النموذج، وتراجع احتياطي تلقائي عند حدوث خطأ لدى أحد المزوّدين
ماذا يمكنك أن تفعل باستخدام LiteLLM؟
تغطي مجموعة ميزات LiteLLM توجيه الطلبات والتحكم بالتكاليف والموثوقية — وهي الأجزاء التي تزداد صعوبتها في تشغيل تطبيق قائم على نماذج اللغة كلما أضفت مزوّدين ومستخدمين، وفق توثيق LiteLLM نفسه.
- واجهة برمجة موحّدة — أرسل طلبًا بتنسيق OpenAI؛ تترجمه LiteLLM إلى التنسيق الأصلي الذي يتطلبه مزوّد النموذج المستهدف، وتُوحّد الاستجابة قبل إعادتها
- التوجيه وموازنة الحِمل — توزيع حركة المرور بين عدة عمليات نشر لنفس النموذج (مثل عدة مناطق لـ Azure OpenAI) لتجنّب نقطة فشل واحدة أو الوصول إلى سقف تحديد معدل الطلبات
- منطق التراجع الاحتياطي وإعادة المحاولة — إعادة محاولة طلب فاشل تلقائيًا مع مزوّد أو عملية نشر نموذج أخرى بدلاً من إظهار الخطأ للمستخدم النهائي
- تتبع التكاليف والميزانيات — تسجيل الإنفاق لكل مفتاح API أو مستخدم أو فريق، وتحديد حدود ميزانية صارمة تمنع الطلبات الإضافية عند تجاوزها
- تحديد معدل الطلبات — تحديد عدد الطلبات في الدقيقة/عدد الرموز لكل مفتاح أو مستخدم، مع تطبيقه بشكل متسق عبر عدة نُسخ من الوكيل بواسطة Redis
- حواجز حماية وتسجيل — نقاط ربط للإشراف على المحتوى وتكاملات المراقبة، بالإضافة إلى تسجيل منظّم للطلبات/الاستجابات لأغراض التدقيق
- لوحة تحكم إدارية — واجهة ويب (تُقدَّم على
/uiفي الوكيل) لإدارة المفاتيح الافتراضية، وعرض الإنفاق، وتهيئة النماذج دون تعديل ملف التهيئة مباشرةً - تعمل أيضًا مع بيئات التشغيل المحلية — يمكن لنفس طبقة التوجيه التي تستدعي OpenAI أو Anthropic أن تشير بالمثل إلى نقطة نهاية محلية من Ollama أو vLLM، مما يتيح لبوابة واحدة مزج النماذج السحابية والمحلية
أمثلة استخدام: طريقتان لاستخدام LiteLLM
هذه سير عمل ملموسة مبنية على مسارات التثبيت الموثّقة لـ LiteLLM أعلاه — وليست حالات استخدام افتراضية.
تثبيت LiteLLM: SDK والوكيل وDocker
LiteLLM إطار عمل وبوابة مستضافة ذاتيًا، وليست تطبيقًا قابلًا للتنزيل للمستخدم النهائي — لا يوجد مثبّت "لجلبه" من متجر تطبيقات. فيما يلي أوامر التثبيت والبدء السريع الفعلية، وفق توثيق LiteLLM نفسه ودليل البدء السريع عبر Docker؛ تحقّق دائمًا من التوثيق مباشرةً قبل النشر، إذ قد تتغيّر الخيارات الدقيقة وعلامات الصور بين الإصدارات.
حزمة Python
- الأمر:
pip install litellm(أوuv add litellm)
Proxy Server (عبر pip)
- الأمر:
- `pip install 'litellm[proxy]'
ثمlitellm --model gpt-4o`
Proxy Server (عبر Docker)
- الأمر:
docker run -v $(pwd)/config.yaml:/app/config.yaml -e OPENAI_API_KEY=<key> -e LITELLM_MASTER_KEY=sk-1234 -p 4000:4000 docker.litellm.ai/berriai/litellm:latest --config /app/config.yaml
Helm (Kubernetes)
- الأمر:
helm install litellm oci://ghcr.io/berriai/litellm-helm -f values.yaml
AWS ECS Fargate
- الأمر:
- وحدة Terraform رسمية باسم
BerriAI/litellm/aws(تُهيّئ VPC وAurora PostgreSQL وElastiCache Redis وALB وECS)
Google Cloud Run
- الأمر:
- وحدة Terraform رسمية باسم
BerriAI/litellm/google(تُهيّئ Cloud SQL وMemorystore Redis وGCS وموازن تحميل HTTPS)
يستخدم الوكيل المنفذ 4000 افتراضيًا، مع لوحة التحكم الإدارية على http://localhost:4000/ui (بيانات الدخول الافتراضية: اسم المستخدم admin، وكلمة المرور مطابقة لـ LITELLM_MASTER_KEY الخاص بك). يحتاج ملف config.yaml الأدنى إلى مصفوفة model_list تربط model_name بـ litellm_params (سلسلة النموذج الفعلية لدى المزوّد ومفتاح API الخاص بها) — راجع دليل البدء السريع للوكيل لمثال كامل. يوفّر Render وRailway أيضًا أزرار نشر بنقرة واحدة للوكيل، وفق توثيق النشر الخاص بـ LiteLLM.
أسعار LiteLLM: هل هي مجانية فعلًا؟
حزمة SDK مفتوحة المصدر وProxy Server مجانيتان — تدفع فقط مقابل استدعاءات واجهة برمجة المزوّد الأساسي التي توجّهها عبر LiteLLM، بالإضافة إلى تكاليف استضافتك الخاصة. لا تفرض LiteLLM نفسها رسومًا لكل طلب أو لكل رمز (token) في المسار مفتوح المصدر. توجد فئة مدفوعة منفصلة باسم LiteLLM Enterprise على litellm.ai/enterprise، تشمل تسجيل الدخول الموحّد (SSO) وطلبات الميزات ذات الأولوية والدعم المخصص، وفق موقع المشروع نفسه — لم تجد هذه المراجعة أسعارًا منشورة لفئة Enterprise، وتوصي بالتواصل مباشرةً مع LiteLLM للحصول على عرض سعر.
- حزمة SDK مفتوحة المصدر وProxy Server: بلا رسوم ترخيص، والمستودع الأساسي مرخّص بموجب MIT (راجع ملاحظة الترخيص أدناه)
- ستظل تدفع للمزوّد الذي توجّه إليه — لا تُخفّض LiteLLM أسعار واجهات برمجة OpenAI أو Anthropic أو Bedrock، بل توحّدها وتسجّلها فقط
- استضافة الوكيل ذاتيًا لها تكلفة بنية تحتية خاصة بها: خادم أو مضيف حاويات، بالإضافة إلى PostgreSQL وRedis للاستخدام في بيئة الإنتاج
- تضيف LiteLLM Enterprise تسجيل الدخول الموحّد ودعمًا ذا أولوية وميزات أخرى للأعمال فوق نفس النواة مفتوحة المصدر، وفق litellm.ai/enterprise — الأسعار غير منشورة وتتطلب التواصل مع الشركة
LiteLLM مقابل vLLM مقابل LocalAI
تحل LiteLLM وvLLM وLocalAI مشكلات مختلفة يسهل الخلط بينها لأن الثلاثة تعرض واجهة برمجة متوافقة مع OpenAI. توجّه LiteLLM الطلبات إلى نماذج تعمل في مكان آخر؛ بينما تُشغّل vLLM وLocalAI أوزان النموذج بنفسها.
الجانب | LiteLLM | vLLM | LocalAI |
|---|---|---|---|
| ماذا تفعل | توجّه الطلبات إلى المزوّدين | تُقدّم النماذج بنفسها | تُقدّم النماذج بنفسها |
| تشغيل أوزان النموذج | لا | نعم | نعم |
| الترخيص | MIT (+ استثناء enterprise) | Apache-2.0 | MIT |
| الحاجة لوحدة معالجة رسومية | لا (موجّه فقط) | نعم، للتقديم الفوري | حسب النموذج |
| الأنسب لـ | التوجيه متعدد المزوّدين وتتبع الإنفاق | تقديم مستضاف ذاتيًا بإنتاجية عالية | واجهة برمجة واحدة مستضافة ذاتيًا ومتوافقة مع OpenAI |
عادةً ما تُستخدم هذه الأدوات معًا وليس كبدائل لبعضها: يمكن لـ LiteLLM أن تقف أمام عملية نشر vLLM أو LocalAI كطبقة توجيه وتتبع تكاليف، بينما تقوم vLLM أو LocalAI بالاستدلال الفعلي للنموذج. راجع المقالين المخصصين شرح vLLM وشرح LocalAI لمزيد من التفاصيل عن الأداتين.
لمن تناسب LiteLLM؟
تعتمد ملاءمة LiteLLM على ما إذا كان تطبيقك يستدعي بالفعل، أو يخطط لاستدعاء، أكثر من مزوّد واحد لنماذج اللغة — فتطبيق أحادي المزوّد يحصل على فائدة أقل من طبقة توجيه.
LiteLLM مقابل بوابات وأطر عمل أخرى
حتى وقت هذه المراجعة، تُعد LiteLLM أول أداة في فئة الموجّهات/البوابات تحظى بمراجعة مخصصة خاصة بها ضمن دليل برمجيات نماذج اللغة المحلية الخاص بـ PromptQuorum — ولا توجد بعد أداة ثانية في نفس الفئة (موجّه/بوابة) للمقارنة المباشرة. لذا تأتي أقرب المقارنات المفيدة من أدوات مجاورة ضمن قسم "التشغيل والتقديم" نفسه في الدليل، إلى جانب بديل مُستضاف معروف على نطاق واسع خارج الدليل.
- vLLM — محرك استدلال مستضاف ذاتيًا يُقدّم أوزان النموذج فعليًا (يتطلب وحدة معالجة رسومية)؛ غالبًا ما يُستخدم إلى جانب LiteLLM بدلاً من منافستها، حيث تقف LiteLLM كطبقة توجيه أمام واحد أو أكثر من عمليات نشر vLLM.
- LocalAI — خادم واجهة برمجة مستضاف ذاتيًا ومتوافق مع OpenAI لتشغيل نماذج مفتوحة محليًا؛ يحل مشكلة مختلفة عن LiteLLM (التقديم مقابل التوجيه) لكنه يعرض واجهة برمجة بتنسيق OpenAI مشابهة، وهو مصدر شائع للخلط بين الأداتين.
- LangChain — إطار عمل تطبيقات لبناء تطبيقات مدعومة بنماذج اللغة (سلاسل، عملاء ذكيون، ذاكرة)؛ يمكنه استدعاء LiteLLM (أو أي مزوّد مباشرةً) كطبقة وصوله إلى النماذج بدلاً من استبدال ما تقوم به LiteLLM.
- OpenRouter (خارجية، وغير مدرجة في دليل PromptQuorum) — خدمة توجيه مُستضافة ومُدارة تغطي حالة استخدام متعددة المزوّدين مشابهة لوكيل LiteLLM، لكنها خدمة طرف ثالث تستدعيها بدلاً من بنية تحتية تستضيفها بنفسك؛ تستحق المقارنة المباشرة إذا كنت تريد توجيهًا بلا تشغيل ذاتي بدلاً من تشغيل وكيلك الخاص.
الأخطاء الشائعة عند تقييم LiteLLM
ينشأ معظم اللبس حول LiteLLM من الخلط بينها وبين محرك تقديم نماذج، أو من تبسيط ترخيصها أكثر من اللازم.
الأسئلة الشائعة
ما هي LiteLLM؟
LiteLLM (github.com/BerriAI/litellm) بوابة مفتوحة المصدر تتيح للتطبيقات استدعاء أكثر من 100 واجهة برمجة لمزوّدي نماذج اللغة من خلال واجهة واحدة متوافقة مع OpenAI، وتتوفر كحزمة Python أو كخادم وكيل مستضاف ذاتيًا يوفّر التوجيه وتتبع التكاليف وتحديد معدل الطلبات.
هل LiteLLM مجانية؟
حزمة SDK مفتوحة المصدر وProxy Server مجانيتان — تدفع فقط مقابل استدعاءات واجهة برمجة المزوّد الأساسي واستضافتك الخاصة. تضيف فئة مدفوعة منفصلة باسم LiteLLM Enterprise تسجيل الدخول الموحّد (SSO) ودعمًا مخصصًا؛ وأسعارها غير منشورة وتتطلب التواصل المباشر مع LiteLLM.
ما الترخيص الذي تستخدمه LiteLLM؟
المستودع الأساسي مرخّص بموجب MIT، وفق ملف LICENSE الخاص به. ينطبق ترخيص منفصل فقط على الدليل الفرعي enterprise/، بموجب enterprise/LICENSE — وتم التحقق من ذلك مباشرةً من ملف LICENSE الخاص بالمستودع لهذه المراجعة.
هل تحتاج LiteLLM إلى وحدة معالجة رسومية؟
لا. LiteLLM موجّه طلبات، لا محرك استدلال نماذج — تعيد توجيه الاستدعاءات إلى المزوّدين (واجهات برمجة سحابية أو بيئات تشغيل محلية مثل Ollama) بدلاً من تشغيل أوزان النموذج بنفسها، لذا تعمل جيدًا على أجهزة تعتمد على المعالج المركزي فقط.
كيف أثبّت LiteLLM؟
لحزمة Python: pip install litellm. للوكيل المستضاف ذاتيًا: `pip install 'litellm[proxy]' ثم litellm --model gpt-4o، أو شغّل صورة Docker docker.litellm.ai/berriai/litellm:latest مع تحميل config.yaml`. راجع جدول التثبيت أعلاه لخيارات Helm وAWS ECS Fargate وGoogle Cloud Run.
هل يتطلب وكيل LiteLLM قاعدة بيانات؟
للاستخدام في بيئة الإنتاج، نعم — يحفظ PostgreSQL المفاتيح الافتراضية وبيانات الإنفاق، ويحافظ Redis على اتساق تحديد معدل الطلبات عبر عدة نُسخ من الوكيل، وفق توثيق النشر الخاص بـ LiteLLM. يمكن تشغيل اختبار محلي سريع دون أيّ منهما، لكن هذا يفقد تلك الميزات.
هل يمكن لـ LiteLLM التوجيه إلى نموذج مستضاف محليًا؟
نعم. يمكن لنفس model_list في config.yaml التي تشير إلى OpenAI أو Anthropic أن تشير بالمثل إلى نقطة نهاية محلية من Ollama أو vLLM، مما يتيح لبوابة واحدة مزج النماذج السحابية والمحلية.
كيف تُقارَن LiteLLM بـ OpenRouter؟
يوحّد كلاهما عدة مزوّدين لنماذج اللغة خلف واجهة واحدة. LiteLLM بنية تحتية مستضافة ذاتيًا تُشغّلها بنفسك (وكيل أو حزمة مفتوحا المصدر)؛ أما OpenRouter فهي خدمة توجيه مُستضافة من طرف ثالث تستدعيها بدلاً من تشغيل خدمتك الخاصة. يعتمد الاختيار على ما إذا كنت تريد صفر تشغيل ذاتي (OpenRouter) أو تحكمًا كاملًا دون هامش ربح إضافي لكل طلب من مزوّد توجيه (LiteLLM المستضافة ذاتيًا).
من يطوّر LiteLLM؟
BerriAI، المؤسسة الواقفة خلف مستودع github.com/BerriAI/litellm، والذي يُظهر نحو 58,663 نجمة و11,415 نسخة متفرعة حتى وقت هذه المراجعة.