مراجعة LLaVA (2026): النموذج البحثي الذي أطلق الذكاء الاصطناعي البصري المحلي

التاريخ: من ورقة بحثية إلى معيار للذكاء الاصطناعي المحلي

ما الذي يفعله LLaVA فعليًا

• مشفِّر CLIP بالإضافة إلى مفكك ترميز نموذج لغوي كبير. يستخدم LLaVA مشفِّرًا بصريًا CLIP ViT-L/14 لتحويل صورة إلى سلسلة من السمات البصرية، ويُسقِط هذه السمات في نفس فضاء تضمين رموز نص النموذج اللغوي عبر وحدة موصل، ويغذي التسلسل المدمج إلى نموذج Vicuna (قائم على Llama 2) أو، في الإصدارات اللاحقة، Mistral أو نموذج لغوي أساسي آخر لتوليد استجابة.
• الضبط الدقيق بالتعليمات البصرية. بدلًا من التدريب على أزواج صورة-تعليق خام، خضع LLaVA لضبط دقيق على مجموعة بيانات LLaVA-Instruct-150K، وهي محادثات بصرية متعددة الأدوار وُلِّدت عبر توجيه GPT-4 بتعليقات الصور وتوصيفات الكشف عن الأشياء — ما يعلّم النموذج اتباع تعليمات بصرية مفتوحة بدلًا من مجرد توليد التعليقات.
• ثلاثة أحجام للنموذج عبر Ollama. تُعبِّئ مكتبة Ollama LLaVA بأحجام 7B (4.7 جيجابايت) و13B (8.0 جيجابايت) و34B (20 جيجابايت) — تنتج النماذج الأكبر عمومًا أوصافًا أكثر تفصيلًا ودقة، على حساب المزيد من ذاكرة VRAM واستدلال أبطأ.
• تحسينات الدقة في LLaVA-1.6 (LLaVA-NeXT). تتعامل النسخة الحالية المدعومة عبر Ollama والمستودع الرسمي مع دقات إدخال أعلى عبر التصحيح الديناميكي، ما يحسّن بشكل ملحوظ مهام قراءة النصوص والتفاصيل الدقيقة مقارنة بالإصدار الأصلي لعام 2023.
• تدريب يتمحور حول الإنجليزية. إن LLaVA-Instruct-150K والمعايير القياسية الأساسية التي جرى تقييمه عليها هي بمعظمها باللغة الإنجليزية، لذا فإن الأداء على النصوص غير الإنجليزية داخل الصور أضعف جاهزيًا مقارنة بالنماذج المدرَّبة خصيصًا على بيانات مستندات متعددة اللغات.

تثبيت وتشغيل LLaVA: خطوة بخطوة

1. 1
   تثبيت Ollama.
   Why it matters: نزّل وثبّت [Ollama](https://ollama.com) لأنظمة macOS وLinux وWindows. هذه هي الطريقة المدرَجة رسميًا لتشغيل LLaVA وفقًا [لصفحته في مكتبة Ollama](https://ollama.com/library/llava)، وتستغرق أقل من دقيقتين.
2. 2
   تنزيل حجم نموذج LLaVA.
   Why it matters: شغّل `ollama pull llava` للنموذج الافتراضي 7B (~4.7 جيجابايت)، أو `ollama pull llava:13b` (~8.0 جيجابايت) أو `ollama pull llava:34b` (~20 جيجابايت) لجودة أعلى على حساب المزيد من ذاكرة VRAM ومساحة القرص.
3. 3
   تشغيله بصورة من واجهة سطر الأوامر.
   Why it matters: شغّل `ollama run llava "describe this image: ./photo.jpg"`، مع الإشارة مباشرة إلى مسار ملف صورة محلي في نص الموجِّه — لا حاجة إلى علامة منفصلة.
4. 4
   (بديل) استخدام المستودع الأصلي للتحكم على مستوى البحث.
   Why it matters: استنسخ [haotian-liu/LLaVA](https://github.com/haotian-liu/LLaVA)، وثبّت ملف `requirements.txt` الخاص به، ونزّل نقطة تحقق من Hugging Face للوصول الكامل إلى سكريبتات التدريب وأدوات التقييم وعرض Gradio التوضيحي على الويب — مفيد للبحث أو الضبط الدقيق، لكنه يمثل عتبة تثبيت أعلى بكثير من Ollama.
5. 5
   (اختياري) استدعاؤه برمجيًا عبر واجهة برمجة تطبيقات Ollama.
   Why it matters: أرسل طلب POST إلى `http://localhost:11434/api/generate` مع الصورة كسلسلة مُرمَّزة بترميز base64 ضمن مصفوفة `images`، أو استخدم مكتبة `ollama` الرسمية للغة Python أو JavaScript — انظر مثال الشيفرة أدناه.

أمثلة استخدام حقيقية

• تكفي الإشارة إلى مسار ملف في موجِّه واجهة سطر الأوامر — يكتشف Ollama مسار .jpg/.png ويرفق الصورة تلقائيًا؛ لا توجد علامة --image منفصلة.
• تكلف أحجام النماذج الأكبر المزيد من ذاكرة VRAM والوقت. نموذج 7B هو الخيار الأسرع والأقل استهلاكًا لذاكرة VRAM؛ استخدم 13B أو 34B عندما تكون دقة الوصف أهم من السرعة.

# التثبيت وتنزيل النموذج
# (نزّل Ollama أولًا من https://ollama.com)
ollama pull llava

# واجهة سطر الأوامر: وصف صورة بالإشارة إلى مسار ملفها في الموجِّه
ollama run llava "describe this image: ./photo.jpg"

# --- واجهة برمجة تطبيقات HTTP (موثَّقة في docs/api.md الخاص بـ Ollama) ---
# /api/generate بصورة مُرمَّزة بترميز base64
curl http://localhost:11434/api/generate -d '{
  "model": "llava",
  "prompt": "What is in this picture?",
  "stream": false,
  "images": ["<بيانات صورة مُرمَّزة بترميز base64>"]
}'

# /api/chat بصورة مُرمَّزة بترميز base64 (محادثات متعددة الأدوار)
curl http://localhost:11434/api/chat -d '{
  "model": "llava",
  "messages": [
    { "role": "user", "content": "What is in this image?", "images": ["<بيانات صورة مُرمَّزة بترميز base64>"] }
  ]
}'

# --- مثال بلغة Python باستخدام مكتبة ollama الرسمية ---
import ollama

response = ollama.chat(
    model="llava",
    messages=[{
        "role": "user",
        "content": "What is in this image?",
        "images": ["photo.jpg"],
    }],
)
print(response["message"]["content"])

الترخيص والتكلفة

ما لا يصلح له LLaVA

• المهام النصية فقط. LLaVA نموذج رؤية-لغة؛ لمحادثة نصية بحتة دون إشراك صورة، استخدم نموذجًا لغويًا نصيًا مخصصًا (عبر Ollama أو غيره) — تشغيل نموذج متعدد الوسائط لمحادثة نصية فقط يهدر ذاكرة VRAM التي يشغلها مشفِّره البصري دون أي فائدة.
• الحاجة إلى أقوى استخراج نصوص أو فهم مستندات محلي متاح. اعتبارًا من 2026، تتفوق عليه النماذج التي صدرت بعد LLaVA-NeXT — MiniCPM-V وQwen2.5-VL وLlama 3.2 Vision — في استخراج نصوص المستندات والجداول والاستخراج المُهيكَل، وفقًا لـمقارنة نماذج الرؤية المحلية من PromptQuorum. صُمِّم مشفِّر LLaVA البصري ودُرِّب قبل وجود هذا الجيل من بيانات التدريب عالية الدقة المركّزة على المستندات.
• قراءة نصوص غير إنجليزية في الصور. إن LLaVA-Instruct-150K وبيانات التدريب الأساسية للنموذج بمعظمها باللغة الإنجليزية. لاستخراج نصوص مستندات صينية أو يابانية أو كورية أو غيرها من الكتابات غير اللاتينية، سيتفوق عليه بوضوح نموذج مدرَّب خصيصًا على مجموعات بيانات مستندات متعددة اللغات (Qwen2.5-VL).
• الاستخراج الرقمي الدقيق من المخططات والرسوم البيانية. مثل جميع نماذج الرؤية-اللغة المحلية تقريبًا في 2026، لا يُعتمَد على LLaVA في قراءة قيم دقيقة من مخططات معقدة — تحقق من أي أرقام مستخرجة مقابل البيانات المصدرية بغض النظر عن النموذج المستخدم.
• افتراض تطوير نشط مستمر. بدون التزامات في المستودع الرسمي منذ 11 مايو 2024، لا تتوقع ميزات جديدة أو إصلاحات أخطاء أو نقاط تحقق أحدث من المشروع الأصلي — لقد حلّت محله فعليًا تحديثات محرك Ollama متعدد الوسائط الخاصة به وعائلات النماذج الأحدث كخيار قيد التطوير النشط.
• قصة ترخيص واحدة وبسيطة. بما أن الشيفرة (Apache-2.0) والأوزان المُصدَرة رسميًا (Apache-2.0 بالإضافة إلى شروط رخصة Llama 2 المجتمعية الموروثة، بالإضافة إلى تصريح أكثر صرامة للاستخدام البحثي فقط على الصفحة الرئيسية المنفصلة للمشروع) تخضع لثلاثة تصريحات متداخلة غير متطابقة تمامًا، لا يقدّم LLaVA وضوح الترخيص في سطر واحد الذي يقدّمه مشروع مثل Bark (المرخّص بالكامل بموجب MIT، دون شروط إضافية).

بدائل LLaVA

الأسئلة الشائعة

الخلاصة

المصادر

• LLaVA على GitHub — المستودع الرسمي: README وLICENSE وتعليمات التثبيت وسجل الالتزامات.
• ورقة "Visual Instruction Tuning" (NeurIPS 2023) — الصفحة الرئيسية للمشروع مع روابط الورقة وتصريحات الترخيص وتاريخ الإصدارات.
• LLaVA على Ollama — صفحة النموذج المدرَجة رسميًا: الأحجام والوصف والبيانات الوصفية للمكتبة.
• وثائق واجهة برمجة تطبيقات Ollama — الصيغة الموثَّقة لطلبات/استجابات /api/generate و/api/chat للنماذج متعددة الوسائط.
• نماذج الرؤية المحلية 2026: LLaVA وLlama 3.2 Vision وQwen3-VL وإعداد Ollama متعدد الوسائط — مقارنة PromptQuorum الأوسع لنماذج الرؤية المحلية الحالية.

قراءات ذات صلة

• نماذج الرؤية المحلية 2026: LLaVA وLlama 3.2 Vision وQwen3-VL وإعداد Ollama متعدد الوسائط — مركز مقارنة متعدد النماذج تكمِّله هذه المراجعة بتعمق خاص بـ LLaVA.