أفضل منظومة ⁨LLM⁩ محلية حسب حالة الاستخدام ⁨2026⁩: الكتابة، البرمجة، ⁨RAG⁩، الوكلاء

قرار سريع: المنظومة حسب فئة العتاد (أبريل 2026)

1. 1
   لـ 24 GB VRAM: `ollama pull llama3.3:70b` — أقصى جودة، تضاهي GPT-4 (2023) في قياسات الكتابة.
2. 2
   لـ 16 GB VRAM: `ollama pull mistral-small3.1` — سياق 128K، أفضل جودة دون 24 GB.
3. 3
   لـ 8 GB VRAM: `ollama pull llama3.2:8b` — جودة كتابة جيدة، وسريع على العتاد الاستهلاكي.
4. 4
   ثبّت OpenWebUI عبر Docker: `docker run -d -p 3000:8080 ghcr.io/open-webui/open-webui:latest`.
5. 5
   اضبط نافذة السياق (8K–32K token) في إعدادات OpenWebUI وفقاً لطول المستند.

1. 1
   ثبّت vLLM: `pip install vllm`.
2. 2
   ابدأ خادم vLLM مع Qwen3-Coder-7B: `python -m vllm.entrypoints.openai.api_server --model Qwen/Qwen3-Coder-7B-Instruct --port 8000`.
3. 3
   لـ 16+ GB VRAM، استخدم نموذج 14B: `--model Qwen/Qwen3-Coder-14B-Instruct`.
4. 4
   اربط امتداد IDE (VS Code Continue.dev، Cursor، إلخ) بـ `http://localhost:8000/v1`.
5. 5
   فعّل معالجة الدفعات لمراجعة الكود: عالج 10 ملفات بالتوازي باستدعاء API واحد (`vllm` يدعم batch=10 افتراضياً).

# Review 10 files in parallel using vLLM batch processing
from openai import OpenAI

client = OpenAI(base_url="http://localhost:8000/v1", api_key="not-needed")

code_files = [
    ("utils.py", open("utils.py").read()),
    ("models.py", open("models.py").read()),
    # ... up to 10 files
]

# vLLM processes all 10 in parallel (1 batch request)
reviews = []
for filename, code in code_files:
    prompt = f"Review this code for bugs, style, and performance:

{code}"
    response = client.chat.completions.create(
        model="Qwen3-Coder-7B-Instruct",
        messages=[{"role": "user", "content": prompt}],
        temperature=0.2,  # Deterministic for review tasks
    )
    reviews.append((filename, response.choices[0].message.content))

for filename, review in reviews:
    print(f"=== {filename} ===
{review}
")

1. 1
   ثبّت LlamaIndex (`pip install llama-index`).
2. 2
   حمّل المستندات (PDF، TXT، markdown) في LlamaIndex.
3. 3
   قسّم المستندات إلى أجزاء (1024 token افتراضياً)، وولّد embeddings بنموذج محلي أو OpenAI (احتياطي).
4. 4
   خزّن embeddings في قاعدة البيانات المتجهية Qdrant (تعمل محلياً عبر Docker).
5. 5
   استعلم عبر LlamaIndex: استرجع أعلى K مستندات متشابهة وأرسل السياق إلى LLM.
6. 6
   غلّفها في نقطة نهاية FastAPI لواجهة ويب أو تكامل مع IDE.

1. 1
   ثبّت LangGraph (`pip install langchain langgraph`).
2. 2
   عرّف الأدوات (البحث على الويب، الآلة الحاسبة، إدخال/إخراج الملفات) كتواقيع دوال.
3. 3
   أنشئ رسم الوكيل مع LLM كعقدة قرار والأدوات كعقد إجراء.
4. 4
   استخدم خلفية vLLM لاستدعاءات LLM منخفضة الكمون في الحلقات الضيقة.
5. 5
   شغّل حلقة الوكيل: LLM ← اختيار الأداة ← التنفيذ ← التكرار حتى الاكتمال.

1. 1
   انشر vLLM مع `--served-model-name model-name` على منفذ ثابت.
2. 2
   هيّئ nginx لموازنة الحمل بين مثيلين أو أكثر من vLLM (واحد لكل GPU إن كان لديك عدة بطاقات GPU).
3. 3
   استخدم نقطة النهاية `/v1/chat/completions` المتوافقة مع OpenAI للتوافق مع العملاء.
4. 4
   راقب عبر نقطة نهاية Prometheus للجمع (يصدّر vLLM كمون الطلبات ومقاييس الإنتاجية).
5. 5
   هيّئ تحديد المعدّل لكل مستخدم بخوارزمية token bucket.

1. 1
   نفّذ fine-tuning باستخدام مكتبة `peft` (LoRA) لتقليل استخدام VRAM.
2. 2
   التدريب: يحتاج 4× من VRAM النموذج (حالة المحسّن، التدرّجات). شغّله منفصلاً عن الاستدلال.
3. 3
   صدّر محوّل LoRA إلى HuggingFace Hub أو نظام الملفات المحلي.
4. 4
   حمّل النموذج المضبوط في Ollama: `ollama create mymodel -f Modelfile`.
5. 5
   أو استخدم HuggingFace TRL (Transformers Reinforcement Learning) لـ RLHF.

1. 1
   Ollama: استدعِ `/api/generate` مع `stream: true`. تصل الـ token كـ JSON مفصول بأسطر جديدة.
2. 2
   vLLM: استخدم `/v1/chat/completions` مع `stream: true`. يعيد تدفّق SSE متوافقاً مع OpenAI.
3. 3
   الواجهة الأمامية: استخدم EventSource API (JavaScript) لاستهلاك التدفّق وتحديث الواجهة لكل token.
4. 4
   عطّل معالجة الدفعات (batch=1) لأقل كمون ممكن.

قراءات ذات صلة

• أفضل مساعد برمجي بالذكاء الاصطناعي لنموذج LLM محلي — اختيار IDE لمنظومة البرمجة لديك (Cursor، Continue.dev، Cody).
• أفضل نماذج LLM المحلية للبرمجة 2026 — تصنيفات HumanEval: Qwen3-Coder مقابل DeepSeek-Coder.
• تهيئة RAG محلي 2026 — دليل تنفيذ شامل مع LlamaIndex + Qdrant + Ollama.
• وكلاء LLM محليون مع LangGraph — إطار عمل سير عمل الوكلاء مع أمثلة خطوة بخطوة.
• Ollama مقابل LM Studio — مقارنة الخلفيات: CLI مقابل GUI، السرعة، معالجة الدفعات.
• Open WebUI مقابل SillyTavern — مقارنة واجهات الدردشة: احترافية مقابل تقمّص أدوار.
• كم من VRAM تحتاج نماذج LLM المحلية؟ — متطلبات العتاد حسب حجم النموذج وحالة الاستخدام.

أخطاء شائعة عند اختيار منظومة LLM

• استخدام Ollama لـ API إنتاجي دون vLLM: لدى Ollama حد <10 طلب/ثانية. للإنتاج مع 10+ مستخدمين متزامنين، vLLM إلزامي. اختبر الإنتاجية تحت الحمل قبل النشر.
• تشغيل LangGraph دون خلفية vLLM: يجري وكلاء LangGraph 10+ استدعاءات LLM متتالية. يُدخل Ollama اختناقات كمون. ادمج دائماً LangGraph مع vLLM لأزمنة استجابة دون الثانية.
• خلط Ollama + vLLM على نفس GPU دون إدارة ذاكرة: كلتا الأداتين تحمّلان الأوزان في VRAM. مثيلان من نموذج 70B يستهلكان 32 GB. استخدم بطاقات GPU منفصلة أو كمّم بقوة (Q2) ليناسبا معاً.
• اختيار نافذة السياق الخاطئة للكتابة: السياق الافتراضي 4K يحد جلسات العصف الذهني. لكتابة النصوص الطويلة، اضبط نافذة 16K–32K token في OpenWebUI. المقايضة: استدلال أبطأ (2–3× أبطأ لكل token).
• افتراض أن جميع الخلفيات بالسرعة نفسها: يستخدم vLLM وOllama أنوية مختلفة. على العتاد نفسه، vLLM أسرع بمقدار 2–3× للاستدلال. فرق السرعة في الخلفية، لا في الواجهة الأمامية (OpenWebUI، LM Studio مجرد واجهات).

المصادر

• Ollama GitHub — الوثائق الرسمية، ومواصفات API الـ streaming، ومكتبة النماذج.
• vLLM GitHub — التوافق مع API من OpenAI، ومعالجة الدفعات، ووثائق continuous batching.
• التقرير التقني لـ Qwen3-Coder — Alibaba Qwen. نسبة 82% في HumanEval، متخصص في مهام البرمجة. ترخيص Apache 2.0.
• وثائق LlamaIndex — إطار عمل لفهرسة المستندات، والتقطيع، واسترجاع RAG.
• وثائق LangGraph — إطار عمل سير عمل الوكلاء، وآلات الحالة، وأنماط استخدام الأدوات.
• وثائق Qdrant — قاعدة بيانات متجهية للتخزين المحلي لـ embeddings، جاهزة لـ Docker، Apache 2.0.
• وثائق Continue.dev — امتداد IDE لـ VS Code وJetBrains باستخدام خلفيات LLM محلية.