خط أنابيب الذكاء الاصطناعي متعدد الوسائط المحلي ⁨2026⁩: دمج الصوت والرؤية والنص دون اتصال

حقائق سريعة

• إجمالي VRAM للمجموعة الكاملة: ~15 غيغابايت (Whisper 3 غيغابايت + LLaVA 7B 6 غيغابايت + Llama 3.3 8B 6 غيغابايت). يعمل برنامج Piper على وحدة المعالجة المركزية.
• المجموعة المبسطة (Llama 3.2 Vision 11B): ~8 غيغابايت VRAM — يتولى الرؤية والاستدلال النصي معًا في نموذج واحد.
• تأخير الصوت (Whisper small، RTX 4070): ~200–500 مللي ثانية STT. 500–1500 مللي ثانية أول رمز LLM. 100 مللي ثانية Piper TTS.
• تأخير معالجة الصورة (LLaVA 7B، RTX 4070): ~2–5 ثوانٍ لكل صورة تبعًا للدقة والمطالبة.
• لا فيديو في الوقت الفعلي: تعالج VLMs الإطارات الفردية، وليس تدفقات الفيديو المستمرة. للفيديو، استخرج الإطارات بمعدل 1 إطار في الثانية وعالج كل منها.
• نفس مثيل Ollama لـ VLM + LLM: يمكن لـ Ollama تشغيل Llama 3.2 Vision كنموذج رؤية ونموذج نصي في آنٍ واحد، مما يوفر VRAM.
• جميع المكونات مرخصة بموجب MIT أو Apache 2.0 (whisper.cpp MIT، LLaVA MIT، Llama 3.3 8B Llama 3 Community License، Piper MIT).

ما هو خط الأنابيب متعدد الوسائط للذكاء الاصطناعي؟

• النهج السحابي (GPT-5.5): نموذج ضخم مدرَّب على جميع الوسائط في آنٍ واحد. يُكتسب الاستدلال متعدد الوسائط أثناء التدريب — يمكن للنموذج الاستدلال أصليًا على العلاقة بين محتوى الصورة واستفسارات الصوت.
• النهج المحلي (هذا الدليل): نماذج متخصصة مستقلة لكل وسيط، تُربط بواسطة منسِّق. أكثر نمطية وأقل تكلفة في التشغيل، لكنه يُنتج "درزات" — تُسلسَل مخرجات نموذج الرؤية إلى نص قبل تمريرها إلى LLM.
• لماذا البناء محليًا: الخصوصية (الصور الطبية، المستندات المملوكة، لقطات الشاشة السرية)، التكلفة (صفر رسوم لكل استعلام)، القدرة على العمل دون اتصال (لا حاجة للإنترنت بعد تنزيل النموذج)، التخصيص (استبدال أي مكوِّن).
• ميزة النمطية: يمكنك ترقية أي مكوِّن بشكل مستقل. عند ظهور نموذج STT محلي أفضل، استبدل طبقة STT فقط. عند ظهور VLM أفضل، استبدل نموذج الرؤية فقط — يبقى باقي خط الأنابيب دون تغيير.

التكلفة: خط الأنابيب المحلي مقابل واجهات برمجة التطبيقات السحابية (شهريًا)

نظرة عامة على البنية المعمارية

• أنواع المدخلات: صوت الميكروفون (كلام)، صورة الكاميرا أو الملف (رؤية)، نص لوحة المفاتيح (نص).
• منطق التوجيه: اكتشف نوع المدخل عند الحد. الصوت ← نموذج STT. الصورة ← VLM. النص ← مباشرةً إلى LLM. إذا وصل الصوت والصورة معًا، عالج بشكل متوازٍ واجمع.
• سجل النماذج: يُعيَّن كل نوع مدخل إلى دالة معالج تستدعي النموذج المناسب وتُعيد وصفًا نصيًا/نصًا مفرَّغًا.
• المنسِّق: يجمع جميع مخرجات النماذج، يجمعها في مطالبة واحدة لـ LLM النصي، يحصل على استجابة LLM، ويوجهها إلى TTS للإخراج الصوتي أو إلى الشاشة كنص.
• أنواع المخرجات: استجابة صوتية (Piper TTS)، نص على الشاشة، أو بيانات منظمة (JSON) للتكامل مع أنظمة أخرى.
• المعالجة المتوازية: يمكن لـ STT وVLM المعالجة في آنٍ واحد — يمكن لاستعلام صوتي حول صورة معالجة كليهما بالتوازي، مما يقلل إجمالي التأخير بنسبة 40–60% مقارنةً بالمعالجة المتسلسلة.

مجموعة المكونات

مستويات الأجهزة لمتعدد الوسائط

حالة الاستخدام 1: محلل المستندات بالتحكم الصوتي

• مثال: التقط صورة لفاتورة وقل "ما المبلغ الإجمالي المستحق وما الموعد النهائي للدفع؟"
• خط الأنابيب: يُفرِّغ Whisper السؤال ← تُرسل الصورة إلى LLaVA أو Llama 3.2 Vision ← يستخرج VLM نص الفاتورة وبنيتها ← يجمع LLM السؤال + مخرجات VLM ← يقرأ Piper الإجابة بصوت عالٍ.
• المطالبة: "إليك صورة: [وصف VLM]. يسأل المستخدم: [النص المفرَّغ]. أجب على السؤال استنادًا إلى محتوى الصورة."
• أفضل VLM: MiniCPM-V 2.6 أو Llama 3.2 Vision 11B لدقة التعرف البصري على الحروف في الفواتير والمستندات.
• قيمة الخصوصية: السجلات الطبية، الوثائق القانونية، البيانات المالية — تُعالَج محليًا بالكامل دون خروج أي بيانات من الجهاز.

حالة الاستخدام 2: مساعد الأسئلة والأجوبة البصري

• التطبيقات: جرد المستودعات (التقط صورة لرف، اسأل "كم عدد وحدات SKU-4429 الموجودة؟")، التفتيش الميداني (التقط صورة لتلف الآلات، اسأل "هل هذا آمن للتشغيل؟")، إمكانية الوصول (وصف الأشياء للمستخدمين ضعاف البصر).
• التنفيذ: التقط إطار كاميرا (OpenCV cv2.VideoCapture(0).read())، احفظه بصيغة JPEG، مرره إلى VLM مع النص المفرَّغ من Whisper.
• أفضل النماذج: LLaVA 1.6 7B أو Llama 3.2 Vision 11B لفهم الكائنات والمشاهد العامة.
• التأخير: 3–6 ثوانٍ لالتقاط الصورة + معالجة VLM + LLM + TTS على RTX 4070. قلله باستخدام VLM أصغر (Moondream 2 لتحديد الكائنات البسيطة).

حالة الاستخدام 3: نسخ الاجتماعات + تحليل الشرائح

• STT: شغِّل faster-whisper في وضع البث خلال الاجتماع. اجمع المقاطع في مخزن مؤقت للنص المفرَّغ.
• الرؤية: في كل مرة تظهر شريحة جديدة (اكتشف بالتفاضل بين لقطات الشاشة)، التقط لقطة شاشة ومررها إلى LLaVA للوصف.
• الدمج: في نهاية الاجتماع (أو عند الطلب)، مرر النص المفرَّغ + أوصاف الشرائح إلى Llama 3.3 8B: "لخِّص هذا الاجتماع وسرد بنود العمل. إليك النص المفرَّغ: [...]. إليك محتوى الشرائح: [...]."
• المخرجات: ملخص يُقرأ بصوت عالٍ (Piper TTS) + ملف نصي محفوظ محليًا.
• قيمة اللائحة العامة لحماية البيانات: معالجة الاجتماع بالكامل محلية. لا يُرسَل صوت أو نص مفرَّغ أو شرائح إلى أي خدمة سحابية. متوافق مع السياقات القانونية والطبية والمؤسسية.

حالة الاستخدام 4: أداة إمكانية الوصول المحلية

• قارئ الشاشة: التقط لقطة شاشة كل ثانيتين ← يصف LLaVA محتوى الشاشة ← يقرؤها Piper بصوت عالٍ. أضف أوامر صوتية (Whisper) للتحكم في ما يُوصَف تاليًا.
• التنقل الصوتي: يُفرِّغ Whisper الأوامر الصوتية ← يفسر LLM القصد ← ينفذ إجراءات لوحة المفاتيح/الفأرة عبر pyautogui. لا يتطلب إنترنت.
• ميزة الخصوصية: يستخدم المستخدمون ذوو الإعاقات أدوات إمكانية الوصول في سياقات حساسة (بوابات طبية، حسابات مالية). تضمن الأداة المحلية عدم إرسال محتوى الشاشة إلى أطراف ثالثة.
• الاستخدام في ظل محدودية الاتصال: يعمل في المستشفيات والمباني الحكومية والمناطق ذات الإنترنت المقيد — مهم للنشر المؤسسي لإمكانية الوصول.
• اختيار النموذج لإمكانية الوصول: Moondream 2 لأوصاف الشاشة السريعة (2 غيغابايت VRAM، ~1 ثانية/إطار). LLaVA 7B لأوصاف أغنى (6 غيغابايت VRAM، ~3 ثوانٍ/إطار).

حالة الاستخدام 5: تحليل كاميرا الأمان المحلية

• التقاط الإطارات: استخدم OpenCV لالتقاط إطار كل 5–10 ثوانٍ من كاميرا IP عبر RTSP (cv2.VideoCapture("rtsp://camera-ip:554/stream")). للكاميرات USB، استخدم فهرس الجهاز 0.
• كشف الحركة: احسب الفرق بين الإطارات المتتالية باستخدام cv2.absdiff(). تجاهل الإطارات التي تقل عن حد الحركة — هذا يتجنب استدعاءات VLM غير الضرورية على المشاهد الساكنة.
• تحليل VLM: عند اكتشاف الحركة، أرسل الإطار إلى VLM: "صف ما يحدث. هل يوجد شخص؟ ماذا يفعل؟"
• مخرجات التنبيه: إذا أشارت الاستجابة إلى شخص أو خلل، فعِّل إشعار سطح المكتب المحلي وإعلان Piper TTS ("تم اكتشاف شخص عند الباب الأمامي"). لا تتطلب خدمة إشعارات سحابية.
• ميزة الخصوصية: ترسل Ring وNest مقاطع الفيديو إلى خوادم AWS وGoogle على التوالي. يحتفظ هذا الإعداد بجميع اللقطات على أجهزتك — بدون اشتراك، بدون تخزين فيديو تابع لطرف ثالث، بدون مشاركة بيانات مع خدمات خارجية.
• أفضل VLM للسرعة: Moondream 2 لمعالجة الإطارات السريعة (~1 ثانية/إطار، ~2 غيغابايت VRAM) أو LLaVA 7B لأوصاف مشهد أغنى (~3 ثوانٍ/إطار، ~6 غيغابايت VRAM).
• ملاحظة الأجهزة: يستهلك Mac Mini M5 مخصص (~600 دولار) يُشغِّل هذه المجموعة 24/7 ما بين ~15–25 واط في وضع الخمول — أقل كهرباءً سنويًا من اشتراك Ring Doorbell Pro.

بناء منسِّق Python

#!/usr/bin/env python3
"""Local multimodal orchestrator: voice + vision + text, all offline."""

import asyncio
import base64
import subprocess
import tempfile
import sounddevice as sd
import soundfile as sf
import numpy as np
import requests

OLLAMA_URL = "http://localhost:11434/api/generate"
WHISPER_BIN = "./whisper.cpp/main"
WHISPER_MODEL = "./whisper.cpp/models/ggml-small.bin"
VISION_MODEL = "llava:7b"        # or "llama3.2-vision" for combined VLM+LLM
TEXT_MODEL = "llama3.1:8b"
PIPER_VOICE = "voices/en_US-lessac-medium.onnx"
SAMPLE_RATE = 16000

async def transcribe_audio(audio: np.ndarray) -> str:
    """Convert audio array to text using whisper.cpp."""
    with tempfile.NamedTemporaryFile(suffix=".wav", delete=False) as f:
        sf.write(f.name, audio, SAMPLE_RATE)
        loop = asyncio.get_event_loop()
        result = await loop.run_in_executor(None, lambda: subprocess.run(
            [WHISPER_BIN, "-m", WHISPER_MODEL, "-f", f.name, "--no-timestamps", "--no-prints"],
            capture_output=True, text=True
        ))
    return result.stdout.strip()

async def describe_image(image_path: str) -> str:
    """Get text description of an image using local VLM via Ollama."""
    with open(image_path, "rb") as f:
        image_b64 = base64.b64encode(f.read()).decode("utf-8")
    loop = asyncio.get_event_loop()
    response = await loop.run_in_executor(None, lambda: requests.post(
        OLLAMA_URL,
        json={
            "model": VISION_MODEL,
            "prompt": "Describe the content of this image in detail, including any text visible.",
            "images": [image_b64],
            "stream": False,
        },
    ))
    return response.json()["response"]

async def reason(transcript: str, image_description: str | None = None) -> str:
    """Generate a response combining transcript and optional image description."""
    if image_description:
        prompt = (
            f"The user asked (via voice): {transcript}\n\n"
            f"The image shows: {image_description}\n\n"
            "Answer the question based on the image content. Be concise — 2-3 sentences."
        )
    else:
        prompt = transcript
    # Note: /api/generate is for single-turn queries.
    # For multi-turn conversation with context, use
    # /api/chat with a messages array instead.
    loop = asyncio.get_event_loop()
    response = await loop.run_in_executor(None, lambda: requests.post(
        OLLAMA_URL,
        json={"model": TEXT_MODEL, "prompt": prompt, "stream": False},
    ))
    return response.json()["response"]

async def speak(text: str) -> None:
    """Convert text to speech using Piper TTS."""
    with tempfile.NamedTemporaryFile(suffix=".wav", delete=False) as f:
        await asyncio.get_event_loop().run_in_executor(None, lambda: subprocess.run(
            f'echo "{text}" | piper --model {PIPER_VOICE} --output_file {f.name}',
            shell=True, check=True
        ))
        data, sr = sf.read(f.name)
        sd.play(data, sr)
        sd.wait()

async def process_query(audio: np.ndarray, image_path: str | None = None) -> None:
    """Process a multimodal query: transcribe audio and optionally describe image in parallel."""
    if image_path:
        # Run STT and vision in parallel
        transcript, image_desc = await asyncio.gather(
            transcribe_audio(audio),
            describe_image(image_path),
        )
    else:
        transcript = await transcribe_audio(audio)
        image_desc = None

    if not transcript or len(transcript) < 3:
        return

    print(f"You: {transcript}")
    if image_desc:
        print(f"Image: {image_desc[:100]}...")

    response = await reason(transcript, image_desc)
    print(f"Assistant: {response}")
    await speak(response)

async def main():
    print("Multimodal assistant ready. Ctrl+C to stop.")
    while True:
        audio = sd.rec(int(5 * SAMPLE_RATE), samplerate=SAMPLE_RATE, channels=1, dtype="int16")
        sd.wait()
        await process_query(audio)  # Pass image_path="photo.jpg" for image queries

if __name__ == "__main__":
    asyncio.run(main())

تحسين الأداء

• STT + VLM متوازيَان: استخدم asyncio.gather(transcribe_audio(), describe_image()) لتشغيل كليهما في آنٍ واحد. يوفر 0.3–2 ثانية حسب حجم نموذج STT.
• أبقِ النماذج دافئة: يحتفظ Ollama بالنماذج تلقائيًا في VRAM بين الطلبات. يبقى whisper.cpp في وضع البث محمَّلًا. لا تُعد التحميل بين الاستعلامات أبدًا.
• ابث LLM ← TTS: اكتشف حدود الجمل في مخرجات LLM المُبثَّثة (.، !، ?). مرر كل جملة مكتملة إلى Piper بينما يواصل LLM التوليد.
• إدارة VRAM: إذا كانت إجمالي VRAM ضيقة، ألغِ تحميل VLM بعد معالجة الصورة (نقطة نهاية HTTP الحذف في Ollama) قبل تحميل LLM النصي. يضيف ~2–3 ثوانٍ لكن يتيح لـ GPU بسعة 8 غيغابايت التعامل مع المجموعة الكاملة.
• استخدم Llama 3.2 Vision كـ VLM + LLM مدمجَين: يلغي عبء التبديل بين النماذج كليًا — نموذج واحد يتولى وصف الرؤية والاستدلال النصي معًا. المقايضة: أداء أضعف قليلًا في الاستدلال النصي الخالص مقارنةً بـ Llama 3.3 8B المخصص.
• هدف أول صوت TTS: يُولِّد Piper أول صوت في غضون 50–100 مللي ثانية من استلام النص. ابث جملة واحدة في كل مرة لتأخير TTS مُدرَك دون ثانية.

القيود والتقييم الصادق

• درزات الوسائط: تُسلسَل مخرجات الرؤية إلى نص قبل تمريرها إلى LLM النصي. لا يمكن لـ LLM الاستدلال مباشرةً على ميزات الصورة — يستدل على وصف نصي للصورة. يفقد هذا معلومات للمهام التي تتطلب استدلالًا بصريًا دقيقًا.
• لا فيديو في الوقت الفعلي: تعالج VLMs المحلية الإطارات الفردية، وليس الفيديو المستمر. للفيديو، استخرج الإطارات بمعدل 0.5–2 إطار/ثانية وعالجها بشكل متسلسل. هذا يعني أنك لا تستطيع السؤال "ماذا حدث للتو في آخر 5 ثوانٍ من هذا الفيديو".
• فجوة جودة VLM: نماذج الرؤية المحلية (LLaVA 7B، Llama 3.2 Vision 11B) متأخرة عن GPT-5.5 Vision في الرسوم البيانية المعقدة والنص المكتوب بخط اليد والمشاهد الغامضة والمهام التي تتطلب معرفة واسعة بالعالم إلى جانب فهم الرؤية.
• ضغط VRAM: تشغيل ثلاثة نماذج في آنٍ واحد على GPU واحدة يتطلب إدارة دقيقة لـ VRAM. على وحدات GPU بسعة 12 غيغابايت أنت عند الحد — يجب اختيار أحجام النماذج بعناية لتجنب أخطاء OOM (نفاد الذاكرة).
• التأخير مقابل السحابة: تستغرق استدعاء متعدد الوسائط السحابي (GPT-5.5) 1–3 ثوانٍ للصوت + الصورة + النص. يستغرق خط الأنابيب المحلي 3–8 ثوانٍ على أجهزة مماثلة — أبطأ، لكن مع خصوصية كاملة وتكلفة صفر لكل استعلام.
• الاتساق: تُنتج النماذج المحلية جودة مخرجات أكثر تفاوتًا من النماذج السحابية ذات RLHF الموسّع. توقع هلوسات عرضية في كلٍّ من أوصاف الرؤية واستجابات LLM.

الأسئلة الشائعة

المصادر

• whisper.cpp على GitHub — مصدر مكوِّن STT وتوثيقه.
• faster-whisper على GitHub — بديل STT بلغة Python مع VAD مدمج للبث.
• صفحة مشروع LLaVA — بنية نموذج الرؤية وبطاقات النموذج.
• بطاقة نموذج Llama 3.2 Vision — النموذج متعدد الوسائط من Meta الذي يدعم استدلال الصورة + النص.
• توثيق Ollama — API نماذج الرؤية، تنسيق الطلبات متعددة الوسائط.
• Piper TTS على GitHub — مكوِّن إخراج TTS، مكتبة حزم الأصوات.
• Coqui TTS على GitHub — TTS بديل مع دعم استنساخ الصوت.

مزيد من القراءة

• التعرف على الكلام المحلي 2026: Whisper.cpp مقابل faster-whisper — تحليل معمّق لمكوِّن STT.
• نماذج الرؤية المحلية 2026: LLaVA وLlama 3.2 Vision وOllama — تحليل معمّق لمكوِّن الرؤية.
• TTS المحلي واستنساخ الصوت 2026 — تحليل معمّق لمكوِّن TTS.
• بناء مساعد صوتي يعمل بالكامل دون اتصال في 2026 — النسخة الصوتية فقط (أبسط، صوت + LLM + TTS بدون رؤية).
• دليل أجهزة LLM المحلي 2026 — اختيار الأجهزة لخطوط الأنابيب متعددة النماذج.
• شرح تكميم LLM — ملاءمة نماذج متعددة في VRAM محدودة عبر التكميم.