تسجيل الإجماع للذكاء الاصطناعي: كيفية اكتشاف الهلوسة عبر نماذج متعددة
عندما تتفق خمسة نماذج ذكاء اصطناعي بشكل مستقل على حقيقة ما، تكون الإجابة أكثر موثوقية بكثير من إجابة نموذج واحد. هذا هو المبدأ الذي يقوم عليه تسجيل الإجماع للذكاء الاصطناعي.
ما هو تقييم التوافق في الذكاء الاصطناعي؟
تقييم التوافق في الذكاء الاصطناعي هو أسلوب لتقييم موثوقية المعلومات المولَّدة بالذكاء الاصطناعي من خلال قياس مدى الاتفاق عبر عدة نماذج لغوية مستقلة. عندما ترسل الـ prompt نفسه إلى خمسة نماذج ذكاء اصطناعي أو أكثر وتحلل أين تتقارب استجاباتها وأين تتباعد، تحصل على إشارة إحصائية حول أي الادعاءات على الأرجح دقيقة وأيها ربما يكون هلوسة.
ينبع المبدأ الأساسي من أساليب المجموعات (ensemble methods) في الإحصاء: المصادر المستقلة التي تصل إلى الاستنتاج نفسه أكثر احتمالاً أن تكون صحيحة من مصدر واحد، حتى لو كان ذلك المصدر الواحد عالي القدرة. ينطبق هذا على نماذج الذكاء الاصطناعي تماماً كما ينطبق على الخبراء البشريين.
يمنح تقييم التوافق مستوى ثقة لكل ادعاء ضمن مجموعة من استجابات الذكاء الاصطناعي بناءً على عدد النماذج التي اتفقت عليه بشكل مستقل. توافق عالٍ = موثوقية عالية. توافق منخفض = استقصِ أكثر.
يعمل تقييم التوافق على أفضل وجه عند دمجه مع تقييم منهجي للـ prompts. للاطلاع على الإطار الذي يغطي مقاييس الدقة والاتساق واتباع التعليمات، راجع [كيفية تقييم جودة الـ prompt](https://www.promptquorum.com/ar/prompt-engineering/how-to-evaluate-prompt-quality).
لماذا لا يمكن الوثوق بإجابات النموذج الواحد في القرارات عالية المخاطر
كل نموذج لغوي كبير يهلوس. GPT-5.6 وClaude وGemini وGrok وMistral — جميعها تختلق حقائق بلغة تبدو واثقة. الفرق بين النماذج ليس في ما إذا كانت تهلوس، بل في أي الحقائق تخطئ فيها، ومتى.
يخلق هذا مشكلة جوهرية لأي شخص يعتمد على الذكاء الاصطناعي في البحث أو الكتابة أو اتخاذ القرار: لا يمكنك أن تحدد من استجابة واحدة ما إذا كان ادعاء بعينه دقيقاً أم مختلقاً. فالنموذج يقدم الحقائق الحقيقية والمختلقة بالطريقة نفسها تماماً.
- •تتراوح معدلات الهلوسة من 3–7% في المجالات الموثقة جيداً (مثل الأحداث التاريخية الكبرى) إلى 20–30% في الموضوعات التقنية المتخصصة والأحداث الحديثة والادعاءات الرقمية المحددة
- •النماذج المدرَّبة على بيانات الإنترنت نفسها تتشارك بعض أنماط الهلوسة — لكن لكل نموذج أيضاً أنماط فشل فريدة مبنية على تدريبه وضبطه الدقيق (fine-tuning)
- •من غير المرجح أن يهلوس Claude بشكل مستقل بادعاء اختلقه GPT-5.6 بالطريقة نفسها تماماً — ما يجعل المقارنة عبر النماذج إشارة قوية
- •يقلل التفكير التسلسلي (chain-of-thought) من معدلات الهلوسة لكنه لا يزيلها — فالـ prompting المنظَّم والتحقق متعدد النماذج استراتيجيتان متكاملتان وليستا بديلتين
كيف يعمل تقييم التوافق: المنهجية
يعمل تقييم التوافق عبر أربع مراحل. كل مرحلة تضيّق نطاق عدم اليقين وتُبرز أكثر المعلومات موثوقية من بين جميع استجابات النماذج.
- •المرحلة 1 — الإرسال: أرسل prompt متطابقاً ومُحسَّناً إلى عدة نماذج ذكاء اصطناعي في وقت واحد. يجب أن يكون الـ prompt متسقاً عبر جميع النماذج لضمان أن تكون الاستجابات قابلة للمقارنة.
- •المرحلة 2 — الجمع: اجمع كل الاستجابات دون تحرير أو تصفية. فالاستجابات الخام هي المُدخل لتحليل التوافق.
- •المرحلة 3 — الاستخراج: فكّك كل استجابة إلى ادعاءات منفصلة قابلة للتحقق بشكل مستقل. "وقعت معركة هاستينغز عام 1066 وأدت إلى الغزو النورماندي لإنجلترا" تصبح ادعاءين منفصلين.
- •المرحلة 4 — التقييم: لكل ادعاء مُستخرَج، احسب عدد النماذج التي ذكرته بشكل مستقل. الادعاء الذي يظهر في 5/5 من الاستجابات يحصل على أقصى توافق. أما الذي يظهر في 1/5 فيُعلَّم للمراجعة.
مستويات ثقة التوافق
يربط PromptQuorum درجات التوافق بخمسة مستويات ثقة، لكل منها إجراء موصى به:
| المستوى | التوافق | التفسير | الإجراء |
|---|---|---|---|
| توافق كامل | 5 من 5 نماذج | ادعاء واقعي شبه مؤكد | اقبله بثقة عالية |
| توافق قوي | 4 من 5 نماذج | موثوق للغاية، تباين طفيف | اقبله مع ملاحظة النموذج المتباعد |
| توافق الأغلبية | 3 من 5 نماذج | دقيق على الأرجح، بعض عدم اليقين | اقبله مع ملاحظة تحقق |
| توافق ضعيف | 2 من 5 نماذج | ادعاء متنازَع عليه أو غامض | تحقق منه بشكل مستقل قبل الاستخدام |
| لا توافق | 1 من 5 نماذج | هلوسة محتملة أو حقيقة نادرة | علّمه للتحقق اليدوي من الحقائق |
اكتشاف الهلوسة عبر التحليل بين النماذج
اكتشاف الهلوسة هو أهم تطبيق لتقييم التوافق. المنطق مباشر: إذا ذكر نموذج واحد فقط حقيقة بعينها، فهناك تفسيران محتملان. إما أن الحقيقة نادرة إلى درجة أن نموذجاً واحداً فقط صادفها في التدريب، أو أن النموذج اختلقها.
الرؤية الأساسية هي أن نماذج الذكاء الاصطناعي تهلوس بشكل مستقل. فلكل نموذج توزيعه الخاص لبيانات التدريب وتاريخه في الضبط الدقيق (fine-tuning) وأنماط فشله. ومن غير المرجح أن يولِّد خمسة نماذج مختلفة ادعاءً خاطئاً محدداً بشكل مستقل — تاريخ نشر خاطئ، أو إحصائية مختلقة، أو اقتباس منسوب خطأً.
عندما تتفق خمسة نماذج على أن شخصية تاريخية وُلدت عام 1847، ويقول نموذج واحد 1851، فإن 1851 هي الهلوسة شبه المؤكدة. وعندما يدعي نموذج أن دراسة وجدت معدل تحسّن بنسبة 73% ولا يشير أي نموذج آخر إلى تلك الدراسة، تُعلَّم الإحصائية باعتبارها اختلاقاً محتملاً.
- •الهلوسات الرقمية (تواريخ وإحصائيات ونسب مئوية خاطئة) هي الأسهل اكتشافاً — فالنماذج تتباعد بشدة حول الأرقام المختلقة
- •هلوسات أسماء العَلَم (أسماء ومؤسسات وألقاب خاطئة) تُلتقط عندما تختلف نماذج متعددة في النسبة
- •هلوسات العلاقات (ادعاءات سببية خاطئة، تسلسلات غير صحيحة) تظهر عندما تتناقض النماذج في روايتها
- •هلوسات الإغفال (حذف قيد أو استثناء حاسم) تُحدَّد بمقارنة أي التحفظات تظهر عبر النماذج
مثال واقعي: تقييم التوافق أثناء العمل
لنفترض أنك تسأل خمسة نماذج: "ما كانت القيمة السوقية لشركة OpenAI في عام 2024؟"
النموذج A: "80 مليار دولار (جولة تمويل أكتوبر 2024)" — النموذج B: "86 مليار دولار (أواخر 2024)" — النموذج C: "80 مليار دولار، بناءً على جولة أكتوبر 2024" — النموذج D: "157 مليار دولار (أكتوبر 2024)" — النموذج E: "80 مليار دولار عقب جولة الاستثمار في أكتوبر 2024"
يُبرز تقييم التوافق تبايناً على الفور: أربعة نماذج تتفق على 80 مليار دولار، وواحد يذكر 157 مليار دولار. كان رقم الـ 157 مليار دولار هو تقييم OpenAI في جولة تمويل لاحقة (2025) — فالنموذج D هلوس بتقييم السنة الخطأ. وبدون تحليل التوافق، ربما كنت ستقبل أول استجابة تقرأها.
لهذا السبب يكون تقييم التوافق الأكثر قيمة في: الأحداث الحديثة (لدى النماذج بيانات تدريب أقل)، والادعاءات الرقمية (سهلة التذكر الخاطئ)، والحقائق الخاصة بمجال معين (تتفاوت تغطية بيانات التدريب المتخصصة).
أنواع تحليل الكوورَم الـ13 في PromptQuorum
ينفّذ PromptQuorum تقييم التوافق عبر 13 نوعاً متمايزاً من التحليل، يستهدف كل منها بُعداً مختلفاً من أبعاد مقارنة الاستجابات متعددة النماذج:
- •ملخص التوافق — يستخرج الادعاءات التي تتفق عليها كل النماذج في ملخص واحد موثوق
- •الدمج المرجَّح — يركّب أفضل استجابة من الجميع، مرجَّحة بدرجات الثقة لكل نموذج
- •استخراج الحقائق الذرية — يفكّك الاستجابات إلى ادعاءات فردية قابلة للتحقق لتقييم دقيق
- •رسم خرائط التداخل — يحدد أي أقسام المحتوى تظهر عبر أكبر عدد من استجابات النماذج
- •اكتشاف التناقض — يعلّم النقاط المحددة التي تتناقض فيها النماذج مباشرة
- •تقييم الثقة — يمنح كل ادعاء درجة ثقة من 1–5 بناءً على الاتفاق بين النماذج
- •فحص الاكتمال — يحدد المعلومات الموجودة في بعض النماذج والغائبة عن غيرها
- •اكتشاف الهلوسة — يعلّم الادعاءات التي تظهر في نموذج أو نموذجين فقط للتحقق اليدوي
- •إزالة التكرار — يزيل المعلومات المكررة لإبراز الرؤى الفريدة لكل نموذج
- •اختيار أفضل إجابة — يحدد أي استجابة نموذج واحد هي الأكثر اكتمالاً ودقة
- •المجموعة متعددة النماذج — ينشئ استجابة هجينة تستمد أقوى العناصر من كل نموذج
- •علَم الجدل — يميّز الموضوعات التي تختلف فيها النماذج باستمرار، ما يشير إلى عدم يقين حقيقي
- •ترتيب الاستجابات — يرتّب الاستجابات من الأكثر موثوقية إلى الأقل بناءً على محاذاة التوافق
متى يكون تقييم التوافق الأهم
يضيف تقييم التوافق أكبر قيمة في السياقات عالية المخاطر والحساسة للتحقق:
- •البحث والتحقق من الحقائق — حيث يمكن لإحصائية مهلوسة واحدة أن تبطل حجة بأكملها
- •المعلومات الطبية والقانونية — حيث تكون الدقة غير قابلة للتفاوض وللأخطاء عواقب
- •الأحداث الحديثة — لدى النماذج بيانات تدريب أقل موثوقية للأحداث القريبة من حد معرفتها
- •المواصفات التقنية — أرقام الإصدارات ونقاط نهاية الـ API وصياغة المكتبات تتغير كثيراً وتتباعد النماذج بشدة
- •الادعاءات الرقمية — التواريخ والأرقام والنسب المئوية والقياسات هي أكثر مسارات الهلوسة شيوعاً
- •النسبة والاقتباسات — كثيراً ما تنسب النماذج الاقتباسات خطأً وتختلق عناوين أوراق بحثية أو أسماء مؤلفين
النقاط الرئيسية
- •يقيس تقييم التوافق في الذكاء الاصطناعي الموثوقية بمقارنة عدد النماذج المستقلة التي تتفق على ادعاء بعينه
- •لا يمكن لأي نموذج ذكاء اصطناعي منفرد — مهما بلغت قدرته — أن يزيل الهلوسة؛ فالتحقق عبر النماذج هو طبقة الموثوقية القابلة للتوسع الوحيدة
- •الادعاءات التي تظهر في 5/5 من النماذج شبه مؤكدة؛ أما التي تظهر في 1/5 فعلى الأرجح مهلوسة أو نادرة للغاية
- •يعمل اكتشاف الهلوسة لأن النماذج تهلوس بشكل مستقل — فوجود ادعاء خاطئ مشترك عبر خمسة نماذج شبه مستحيل إحصائياً
- •ينفّذ PromptQuorum تقييم التوافق عبر 13 نوعاً من تحليل الكوورَم، يستهدف كل منها بُعداً مختلفاً من أبعاد موثوقية الاستجابة متعددة النماذج