نماذج الرؤية المحلية ⁨2026⁩: ⁨LLaVA⁩ و⁨Llama 3.2 Vision⁩ و⁨Qwen3-VL⁩ وإعداد ⁨Ollama⁩ متعدد الوسائط

حقائق سريعة

• ما الذي تفعله نماذج VLM: تقبل مدخلات الصور والنصوص → وتُنتج نصاً. ليست نماذج توليد صور — بل هي نماذج *فهم* الصور.
• دعم Ollama: جميع النماذج في هذه المقارنة لديها تكامل رسمي أو مجتمعي مع Ollama اعتباراً من مايو 2026.
• أصغر نموذج قابل للاستخدام: Moondream 2 بحجم 1.9 مليار معامل، ويتطلب نحو 2 غيغابايت من VRAM.
• أكبر نموذج محلي عملي: Llama 3.2 Vision 90B بنحو 64 غيغابايت من الذاكرة الموحدة (Apple M-series أو معالجات رسومات متعددة).
• صيغ الصور المقبولة: JPEG وPNG وWebP. يتفاوت الحد الأقصى للدقة حسب النموذج (عادةً من 1024×1024 إلى 4096×4096).
• قوة استخراج النصوص: Qwen3-VL 8B ≈ MiniCPM-V 4.5 > Llama 3.2 Vision 11B > LLaVA 1.6 13B > LLaVA 1.6 7B > Moondream 2.
• تعدد الوسائط يعني بطء أكبر: تضيف نماذج الرؤية مشفِّر بصري فوق النموذج اللغوي — توقع تباطؤاً بنسبة 30–60٪ في توليد الرموز مقارنةً بنموذج نصي بحت من نفس عدد المعاملات.

ما هي نماذج الرؤية واللغة (VLMs)؟

• الفرق عن نماذج توليد الصور: برامج مثل Stable Diffusion وFLUX وDALL-E 3 هي نماذج نص إلى صورة — تُنتج صوراً من نصوص. نماذج VLM هي نماذج صورة إلى نص — تصف الصور وتحللها وتجيب على الأسئلة حولها.
• الفرق عن أدوات استخراج النص التقليدية: يستخرج نظام OCR التقليدي (مثل Tesseract وPaddleOCR) النصوص من المستندات المنظمة عبر التعرف على الأنماط. نماذج VLM تفهم السياق — يمكنها وصف معنى جدول، والإجابة على أسئلة حول مخطط، وتحديد الأشياء في صورة.
• سبب تشغيلها محلياً: المستندات الخاصة (السجلات الطبية، المستندات القانونية، البيانات المالية)، ولقطات الشاشة السرية (لوحات التحكم الداخلية، الكود المصدري)، أو أي سير عمل ترفع فيه إرسال الصور إلى واجهات برمجية سحابية مخاوف بشأن الامتثال أو السرية.
• ما لا تستطيع فعله: توليد الصور، أو تنفيذ الكود الظاهر في لقطات الشاشة، أو الوصول إلى الإنترنت. نماذج VLM تُنتج نصاً فقط بناءً على ما هو مرئي في الصورة.

نماذج الرؤية المحلية المتاحة — جدول مقارنة

اختبار دقة واقعي: استخراج بيانات الفواتير

دعم الصور المتعددة

• يقبل MiniCPM-V 4.5 حتى 4 صور لكل موجّه؛ ويعالج Qwen3-VL حتى 8 صور. لا يقبل LLaVA وMoondream سوى صورة واحدة لكل طلب.
• متى يكون دعم الصور المتعددة مهماً: إرسال جميع صفحات ملف PDF متعدد الصفحات للاستخراج الكامل للمستند. مقارنة صورتين لمنتج جنباً إلى جنب. تحليل لقطات الشاشة قبل وبعد في موجّه واحد.

الإعداد عبر Ollama — خطوة بخطوة

• الخطوة 1 — تثبيت Ollama: قم بالتنزيل من ollama.com لنظام macOS أو Linux أو Windows. يستغرق التثبيت أقل من دقيقتين.
• الخطوة 2 — سحب نموذج رؤية: ollama pull llama3.2-vision (11B، ~8 غيغابايت تنزيلاً) أو ollama pull moondream (1.9B، ~2 غيغابايت) للأجهزة ذات VRAM المحدود.
• الخطوة 3 — الاستخدام من سطر الأوامر: ollama run llama3.2-vision "ما الذي في هذه الصورة؟" --image /مسار/إلى/الصورة.jpg
• الخطوة 4 — استخدام HTTP API: أرسل طلب POST إلى http://localhost:11434/api/generate مع الصورة كسلسلة مُرمَّزة بـ Base64 في مصفوفة images.
• الخطوة 5 — مثال Python: استخدم مكتبة requests مع ترميز Base64 — انظر مقطع الكود أدناه.

import base64
import requests

def ask_vision_model(image_path: str, prompt: str, model: str = "llama3.2-vision") -> str:
    with open(image_path, "rb") as f:
        image_b64 = base64.b64encode(f.read()).decode("utf-8")

    response = requests.post(
        "http://localhost:11434/api/generate",
        json={
            "model": model,
            "prompt": prompt,
            "images": [image_b64],
            "stream": False,
        },
    )
    return response.json()["response"]

# مثال على الاستخدام
result = ask_vision_model("invoice.png", "استخرج جميع بنود الفاتورة والمجاميع.")
print(result)

حالة الاستخدام 1: استخراج النصوص من المستندات

• ما يعمل بشكل جيد: الفواتير الممسوحة ضوئياً، ولقطات شاشة ملفات PDF، والملاحظات المكتوبة بخط الطباعة، والجداول ذات الحدود الواضحة، وبطاقات الأعمال.
• ما يعمل بشكل أقل جودة: خط الكتابة اليدوية المتصلة، والمسوحات الضوئية منخفضة الدقة (أقل من 150 DPI)، وملفات JPEG المضغوطة بشدة، والنصوص المتداخلة.
• أفضل النماذج لاستخراج النصوص: MiniCPM-V 4.5 (أعلى دقة في فئة 6 غيغابايت)، وLlama 3.2 Vision 11B (الأفضل لأنواع المستندات المتنوعة).
• هندسة الموجّهات لاستخراج النصوص: "استخرج جميع النصوص من هذا المستند بالضبط كما هي مكتوبة، مع الحفاظ على فواصل الأسطر." أو: "أعِد محتوى هذه الفاتورة بتنسيق JSON بالحقول: المورد، التاريخ، البنود[]، المجموع."
• مقارنةً بنظام OCR التقليدي: نماذج VLM أبطأ لكنها أكثر فهماً للسياق. برنامج Tesseract أسرع لاستخراج النص الخالص من المستندات النظيفة. استخدم نماذج VLM عندما تحتاج استخراج بيانات منظمة لا مجرد نص خام.

حالة الاستخدام 2: الأسئلة والأجوبة حول الصور ووصفها

• وصف المشاهد: "ما الذي في هذه الصورة؟" — الأشياء والأشخاص والأنشطة والبيئة والمزاج.
• فهرسة المنتجات: معالجة صور المنتجات بقالب موجّه مثل "صِف هذا المنتج: اللون، الشكل، المادة، الحالة." مفيد للمخزون في التجارة الإلكترونية دون واجهات برمجية سحابية.
• إمكانية الوصول: توليد النص البديل (alt text) للصور على نطاق واسع. دقة كافية لمتطلبات إمكانية الوصول في صور المنتجات القياسية.
• أفضل النماذج: LLaVA 1.6 13B أو Llama 3.2 Vision 11B للأسئلة العامة على الصور. LLaVA 1.6 7B لمعالجة الصور بحجم كبير حيث تكون السرعة أهم من الدقة.
• اعتبارات السرعة: على معالج رسومات بسعة 6 غيغابايت، يولّد Llama 3.2 Vision 11B Q4 نحو 8–12 رمزاً في الثانية للردود على الصور — معالجة 100 صورة تستغرق نحو 2–5 دقائق بحسب طول الوصف.

حالة الاستخدام 3: تحليل لقطات الشاشة وواجهة المستخدم

• سير عمل المطورين: أرسل لقطات شاشة لرسائل الخطأ إلى النموذج: "ما المشكلة في هذه اللقطة وكيف تُعالجها؟"
• توليد تقارير الأخطاء: إنشاء تلقائي لأوصاف الأخطاء من لقطات الشاشة باستخدام موجّه منظم.
• مراقبة لوحات المعلومات: تحليل لقطات شاشة لوحات المراقبة للكشف عن الشذوذات — "هل توجد مقاييس على مستوى التحذير في لقطة Grafana هذه؟"
• اختبار إمكانية الوصول: مقارنة لقطات الشاشة قبل وبعد تغييرات واجهة المستخدم للتحقق من خصائص إمكانية الوصول البصري.
• أفضل النماذج: InternVL 2.5 8B (أفضل فهم لواجهة المستخدم)، MiniCPM-V 4.5 (الخيار الثاني مع دعم Ollama).

حالة الاستخدام 4: قراءة الرسوم البيانية والمخططات

• ما يعمل: قراءة تسميات المحاور، تحديد الاتجاهات، مقارنة ارتفاعات الأعمدة النسبية، قراءة قيم الجداول بخطوط واضحة.
• ما ليس موثوقاً: الاستخراج الرقمي الدقيق من الرسوم البيانية المستمرة (مثل "الشريط في الربع الثالث = 43.7 وحدة")، ونسب مخططات الدائرة دون تسميات صريحة.
• استراتيجية الموجّه: "صِف الاتجاه الظاهر في هذا المخطط الخطي" أجدى من "ما القيمة الدقيقة في مارس 2026؟"
• أفضل النماذج للرسوم البيانية: InternVL 2.5 (أفضل فهم للمخططات)، Llama 3.2 Vision 11B (جيد مع المخططات ذات التسميات الواضحة).
• ملاحظة حول القيود: لا يستطيع أي نموذج VLM محلي في 2026 استخراج أرقام دقيقة بشكل موثوق من الرسوم البيانية البصرية المعقدة. استخرج البيانات المنظمة من المصدر الأصلي متى أمكن.

حالة الاستخدام 5: تحليل إطارات الفيديو

• استخراج الإطارات: استخدم ffmpeg للاستخراج بمعدل إطار في الثانية: ffmpeg -i video.mp4 -vf fps=1 frames/frame_%04d.jpg
• تحليل إطار بإطار: شغّل كل إطار عبر نموذج الرؤية باستخدام موجّه ثابت (مثل "صِف ما يجري في هذا الإطار في جملة واحدة").
• تلخيص عبر الإطارات: اجمع جميع أوصاف الإطارات ومررها إلى نموذج لغوي نصي مع موجّه تلخيص.
• حالات الاستخدام: مراجعة كاميرات المراقبة (تحديد الإطارات ذات النشاط غير المعتاد)، تحليل تسجيلات المحاضرات (إنشاء ملاحظات لكل شريحة)، فحص الجودة في التصنيع (تحديد الإطارات التي تظهر فيها عيوب).
• أفضل النماذج لإطارات الفيديو: Llama 3.2 Vision 11B للجودة، وLLaVA 1.6 7B للسرعة (معدلات إطارات أعلى).
• الواقع العملي للسرعة: عند استخراج إطار في الثانية واستدلال نحو ثانية لكل إطار على RTX 4070، يستغرق معالجة فيديو مدته 10 دقائق نحو 20–30 دقيقة كاملة.

import base64
import subprocess
import os
import requests

def extract_frames(video_path: str, output_dir: str, fps: int = 1) -> list[str]:
    os.makedirs(output_dir, exist_ok=True)
    subprocess.run([
        "ffmpeg", "-i", video_path,
        "-vf", f"fps={fps}",
        f"{output_dir}/frame_%04d.jpg",
        "-y"
    ], check=True)
    return sorted([
        os.path.join(output_dir, f)
        for f in os.listdir(output_dir)
        if f.endswith(".jpg")
    ])

def analyze_frame(image_path: str, model: str = "llama3.2-vision") -> str:
    with open(image_path, "rb") as f:
        image_b64 = base64.b64encode(f.read()).decode("utf-8")
    response = requests.post(
        "http://localhost:11434/api/generate",
        json={
            "model": model,
            "prompt": "Describe what is happening in this frame in one sentence.",
            "images": [image_b64],
            "stream": False,
        },
    )
    return response.json()["response"]

frames = extract_frames("lecture.mp4", "frames/", fps=1)
descriptions = [analyze_frame(f) for f in frames]
print("\n".join(f"[{i+1}s] {d}" for i, d in enumerate(descriptions)))

متطلبات VRAM والأداء الفعلي

مقارنة نماذج الرؤية المحلية مع GPT-5.5 Vision

• المستندات المنظمة (الفواتير، النماذج): النماذج المحلية تصل إلى 80–90٪ من جودة GPT-5.5 — كافية للاستخدام الإنتاجي مع المستندات النظيفة المنسقة بشكل جيد.
• المشاهد المعقدة والصور الغامضة: النماذج المحلية تصل إلى 50–70٪ من GPT-5.5 — فجوة جودة ملحوظة في الصور ذات السياق غير المعتاد أو الإضاءة الخاصة أو المحتوى الغامض.
• التعرف على الخط اليدوي: النماذج المحلية أضعف بشكل ملحوظ، خاصةً مع الخط المتصل (الكرسيف). يتفوق GPT-5.5 Vision في معالجة الخط اليدوي بصورة ملموسة.
• استخراج بيانات المخططات: غير موثوق في كلا النموذجين المحلي وGPT-5.5، لكن GPT-5.5 أكثر دقة في الأرقام الدقيقة.
• التكلفة: GPT-5.5 Vision بتكلفة $0.01–0.03 لكل صورة مقابل $0 محلياً. 10,000 صورة شهرياً = توفير $100–300 باستخدام النماذج المحلية.
• الخصوصية: النماذج المحلية تعالج الصور على الجهاز — لا يغادر أي بيان الجهاز. GPT-5.5 يرسل الصور إلى خوادم OpenAI.
• السرعة: النماذج المحلية بين 10–20 رمزاً/ثانية مقابل GPT-5.5 بين 30–80 رمزاً/ثانية، لكن المعالجة المحلية لا تعاني من زمن الاستجابة الشبكي في المعالجة الدُّفعية.

تعمق في نموذج LLaVA

• البنية: مشفِّر بصري CLIP ViT-L/14 + مفكك ترميز نصي Llama-2 أو Mistral، تصلهما طبقة إسقاط خطية بسيطة.
• LLaVA 1.5 مقابل 1.6: أضافت النسخة 1.6 (أُصدرت مطلع 2024) دعماً للمدخلات عالية الدقة عبر التصحيح الديناميكي، مما حسّن دقة استخراج النصوص وقراءة المخططات بشكل ملحوظ.
• التدريب: ضبط دقيق بالتعليمات على مجموعة بيانات LLaVA-Instruct-150K — محادثات بصرية مُولَّدة من تعليقات الصور وتوصيفات الكشف عن الأشياء.
• نقاط القوة: معرفة عامة واسعة، توثيق جيد، مجتمع كبير، تكامل واسع مع Ollama.
• نقاط الضعف: استخراج نصوص أضعف من MiniCPM-V 4.5، وتحليل واجهة مستخدم أضعف من InternVL 2.5، وتفوّق Llama 3.2 Vision 11B عليه في معايير الجودة.
• سبب الاستمرار في التوصية به: لدى LLaVA 1.6 أكبر مجتمع، وأكثر الدروس التعليمية، وأكثر أمثلة الموجّهات من بين جميع نماذج VLM المحلية. عند وجود مشكلة، تجد المساعدة أسرع.

Qwen3-VL — أفضل أداء لاستخراج النصوص متعددة اللغات

• البنية: دعم دقة ديناميكية حتى 4096×4096 — أعلى بكثير من LLaVA 1.6 (672×672) أو Llama 3.2 Vision (1120×1120). يتيح قراءة المسوحات الضوئية عالية الدقة دون تقليل العينة.
• استخراج النصوص متعددة اللغات: الأفضل في فئته للصينية واليابانية والكورية والإنجليزية. شملت بيانات التدريب مجموعات مستندات متعددة اللغات على نطاق واسع — ميزة كبيرة على LLaVA وLlama 3.2 Vision للمستندات غير الإنجليزية.
• 7B مقابل 72B: تتسع النسخة 7B في ~6 غيغابايت VRAM (Q4) وتنافس Llama 3.2 Vision 11B في معظم مهام المستندات. تستخدم النسخة 72B ~48 غيغابايت وتتصدر معظم معايير مفتوحة المصدر.
• التثبيت على Ollama: ollama pull qwen3-vl:7b — متاح مباشرةً من مكتبة نماذج Ollama.
• دعم الصور المتعددة: يقبل حتى 8 صور لكل طلب — أعلى قدرة متعددة الصور من بين جميع النماذج في هذه المقارنة.
• صفحة النموذج: Qwen3-VL 8B على Hugging Face

كيفية اختيار نموذج الرؤية المناسب

• أقل من 4 غيغابايت VRAM: Moondream 2 (1.9B) — الخيار الوحيد عند 2 غيغابايت. تجاوز Moondream 2، يوجد PaliGemma 2 (3B) وSmolVLM (2.2B) كبدائل. PaliGemma 2 لديه فهم أفضل للمستندات من Moondream مع تكلفة VRAM طفيفة (~3 غيغابايت). SmolVLM يتنازل عن الجودة لأقصى كفاءة. لا يصلح أي منها لاستخراج النصوص الكثيفة.
• 6 غيغابايت VRAM: MiniCPM-V 4.5 لاستخراج نصوص المستندات ومعالجة الفواتير. LLaVA 1.6 7B للأسئلة العامة على الصور حيث يهم دعم المجتمع. Qwen3-VL 8B لاستخراج النصوص متعدد اللغات أو عند الحاجة إلى أعلى دقة.
• 8–16 غيغابايت VRAM: Llama 3.2 Vision 11B هو التوصية الواضحة — أفضل جودة شاملة في هذه الفئة من VRAM، ودعم واسع في Ollama.
• 16 غيغابايت أو أكثر من VRAM: LLaVA 1.6 13B يضيف طاقة أكبر لفهم المشاهد المعقدة مقارنةً بالنسخة 7B. InternVL 2.5 8B إذا كان الاستخدام الأساسي هو لقطات واجهة المستخدم أو الكود.
• 64 غيغابايت أو أكثر من الذاكرة الموحدة (Apple M-Max/Ultra، معالجات رسومات متعددة): Llama 3.2 Vision 90B لأفضل جودة VLM محلية متاحة، يقترب من أداء مستوى السحابة في مهام المستندات. Qwen3-VL 72B بديل بأعلى درجات معايير مفتوحة المصدر.
• تحقق دائماً من الأرقام: بصرف النظر عن النموذج، قابل أي قيمة رقمية مستخرجة من الرسوم البيانية أو الجداول مع البيانات الأصلية. نماذج VLM المحلية تُهلوس أرقاماً دقيقة من الرسوم البصرية.

الأسئلة الشائعة

المصادر

• صفحة مشروع LLaVA — بطاقات نموذج LLaVA 1.5 و1.6، وتفاصيل البنية، ووصف مجموعة بيانات التدريب.
• Llama 3.2 Vision على Hugging Face — الإصدار الرسمي للنموذج من Meta، وبطاقة النموذج، وأرقام المعايير.
• MiniCPM-V 4.5 على Hugging Face — بطاقة نموذج OpenBMB، ومعايير استخراج النصوص، وتعليمات الضبط الدقيق.
• Moondream على GitHub — وصف البنية، وسكريبتات الاستدلال، وتنزيل النموذج.
• InternVL 2.5 على Hugging Face — بطاقة نموذج OpenGVLab، ودرجات المعايير في مهام المستندات وواجهة المستخدم.
• توثيق Ollama — دعم نماذج الرؤية، ومرجع الواجهة البرمجية، ومكتبة النماذج.
• Qwen3-VL على Hugging Face — بطاقة نموذج Qwen3-VL من Alibaba، وتفاصيل البنية، ومعايير استخراج النصوص متعددة اللغات.
• PaliGemma 2 على Hugging Face — بطاقة نموذج PaliGemma 2 3B من Google.
• SmolVLM على Hugging Face — بطاقة نموذج SmolVLM من HuggingFace وتعليمات الاستدلال.

قراءات ذات صلة

• خط أنابيب الذكاء الاصطناعي متعدد الوسائط المحلي 2026 — دمج نماذج الرؤية مع تحويل الكلام إلى نص وتحويل النص إلى كلام في حزمة محلية متكاملة.
• تحويل الكلام إلى نص محلياً 2026: Whisper.cpp مقابل faster-whisper — أضف إدخال الصوت لتكملة مخرجات الرؤية.
• تحويل النص إلى كلام ونسخ الصوت محلياً 2026 — أضف مخرجات صوتية لقراءة ردود نماذج VLM بصوت مسموع.
• كيفية تثبيت Ollama — المتطلب الأساسي: إعداد وتكوين Ollama.
• دليل عتاد النماذج اللغوية المحلية 2026 — متطلبات VRAM وذاكرة الوصول العشوائي لاستدلال نماذج الرؤية.