جدول المحتويات
لقياس الهلوسة في مساعد صناعي، قسّموا كل إجابة إلى ادعاءاتها الوقائعية وتحققوا من كل ادعاء في المقطع الذي يستشهد به. احسبوا الادعاءات غير المدعومة، والاستشهادات التي لا تدعم جملتها، والإجابات الخاطئة عن أسئلة لا تجيب عنها الوثائق. وتحققوا من الأرقام الحرجة بالشيفرة، وواصلوا القياس بعد التشغيل.
أهم النقاط
- يعرّف NIST التلفيق (confabulation)، المعروف شيوعًا بـ«الهلوسة»، بأنه محتوى خاطئ أو زائف يُقدَّم بثقة وقد يضلّل المستخدمين (NIST AI 600-1).
- الاسترجاع يقلّل الهلوسة ولا يزيلها: ففي اختبار مسجّل مسبقًا، هلوست كل واحدة من أدوات البحث القانوني القائمة على الاسترجاع في ما بين 17% و33% من الحالات (Magesh et al., 2024).
- الاستشهادات نفسها تحتاج إلى تحقق. ففي تدقيق لأربعة محركات بحث توليدية، لم تكن مدعومة بالكامل باستشهاداتها سوى 51.5% من الجمل (Liu et al., 2023).
- صحّحوا إجابة «لم يُعثر عليه» بمعزل عن الإجابات الخاطئة. فالدقة الإجمالية وحدها تكافئ التخمين على حساب الاعتراف بعدم اليقين (Kalai et al., 2025).
- قيسوا على مستوى الادعاء، وافصلوا الهلوسة عن فشل الاسترجاع، واعتبروا أي قيمة حرجة خاطئة مانعًا للتشغيل.
ما الذي يُعدّ هلوسة في مساعد المصنع؟
يستخدم ملف NIST الخاص بالذكاء الاصطناعي التوليدي مصطلح التلفيق: إنتاج محتوى خاطئ أو زائف يُقدَّم بثقة (ويُعرف شيوعًا بـ«الهلوسة» أو «الاختلاق») قد يُضلَّل به المستخدمون أو يُخدعون (NIST AI 600-1).
وتقسّم دراسة مسحية حول الهلوسة في النماذج اللغوية الكبيرة المشكلة إلى قسمين (Huang et al., 2023). فهلوسة الوقائعية تتعارض مع حقائق قابلة للتحقق في العالم الحقيقي. أما هلوسة الأمانة للمصدر فتحيد عن تعليمات المستخدم أو عن السياق المقدَّم، أو تناقض نفسها. وفي مساعد يجيب من وثائقكم، الأمانة للمصدر هي ما يُقاس أولًا: فالوثائق هي المرجع، حتى عندما تخالفها المعرفة العامة للنموذج.
وفي المصنع، تظهر غالبًا في إحدى هذه الصور:
- قيمة لا توجد في أي وثيقة، مثل خلوص أو عزم شدّ معقول المظهر.
- قيمة حقيقية مع وحدة خاطئة، أو رمز معدّة خاطئ، أو ظرف تشغيل خاطئ.
- ادعاء صحيح مع استشهاد بصفحة لا تتضمنه.
- خطوات مدموجة من إجراءين، أو مأخوذة من مراجعة ملغاة.
- إجابة عن سؤال لا تجيب عنه الوثائق بدل «لم يُعثر عليه».
افصلوا ذلك عن خطأ الاسترجاع، حين لا يصل المقطع الصحيح إلى النموذج أصلًا. ولكلٍّ منهما علاج مختلف، كما يوضح مسرد مصطلحات الذكاء الاصطناعي الصناعي، ويتناول دليل RAG لكتيّبات الصيانة جانب الاسترجاع. وكثيرًا ما يكون الخلط بين المراجعات مشكلة استرجاع وبيانات وصفية لا مشكلة نموذج.
هل يوقف الاسترجاع (RAG) الهلوسة؟
لا، وتبيّن عمليات التدقيق المنشورة مدى قصوره.
أجرى Magesh et al. (2024) تقييمًا مسجّلًا مسبقًا لأدوات بحث قانوني بالذكاء الاصطناعي كان مزوّدوها يقدّمون الاسترجاع بوصفه وسيلة لتجنب الهلوسة. وعلى 202 استعلام، هلوست كل من Lexis+ AI وWestlaw AI-Assisted Research وAsk Practical Law AI في ما بين 17% و33% من الحالات. وهذا أقل من GPT-4 المستخدم روبوت محادثة عامًا، لكنه بعيد عن الصفر. وتعريفهم مفيد للمصنع: تُعدّ الإجابة مهلوسة إذا كانت خاطئة أو سيئة الإسناد، أي إذا استشهدت بمصدر لا يدعم الادعاء. وشملت مجموعتهم أيضًا أسئلة ذات فرضية خاطئة، ولها نظير مباشر في المصنع: سؤال يفترض خطوة إجرائية أو قطعة غير موجودة.
والاستشهادات نفسها قد تكون خاطئة. فقد دقق Liu et al. (2023) في Bing Chat وNeevaAI وperplexity.ai وYouChat، ووجدوا أن 51.5% فقط من الجمل المولَّدة كانت مدعومة بالكامل بالاستشهادات، وأن 74.5% فقط من الاستشهادات كانت تدعم الجملة المرتبطة بها. وفي معيار ALCE، افتقرت حتى أفضل النماذج إلى دعم كامل لاستشهاداتها في 50% من الحالات على إحدى مجموعات البيانات (Gao et al., 2023).
الاستشهاد المعروض بجانب الإجابة يجعلها قابلة للتحقق، لكنه لا يجعلها صحيحة. ويجب أن يفتح القياس المقطع المستشهد به.
ما مقاييس الهلوسة التي يجب تتبّعها؟
لا يكفي رقم واحد. يسرد الجدول المقاييس المهمة لمساعد الوثائق ومصدر كل منها.
| المقياس | ما الذي يحسبه | طريقة حسابه | المصدر |
|---|---|---|---|
| الأمانة للمصدر (faithfulness) | نسبة ادعاءات الإجابة التي تدعمها المقاطع المسترجعة | تقسيم الإجابة إلى ادعاءات، والتحقق من كل منها في السياق، وقسمة المدعوم على المجموع (من 0 إلى 1) | Ragas |
| دعم الاستشهادات | نسبة الجمل المستشهَد لها التي يدعمها المقطع المستشهد به فعلًا | التحقق من كل جملة مقابل استشهادها هي، لا مقابل السياق كله | Liu et al., 2023؛ Gao et al., 2023 |
| الدقة الوقائعية | نسبة الحقائق الذرية التي يدعمها مصدر مرجعي | تقسيم الإجابات الطويلة إلى حقائق ذرية والتحقق من كل منها | Min et al., 2023 |
| معدل الإجابات الخاطئة عن الأسئلة بلا إجابة | عدد المرات التي يختلق فيها المساعد إجابة حين تسكت الوثائق | تصنيف كل إجابة إلى صحيحة أو خاطئة أو لم تُحاوَل | Wei et al., 2024 |
| معدل الخطأ في القيم الحرجة | نقاط ضبط أو عزوم شدّ أو حدود أو وحدات أو رموز خاطئة | مطابقة تامة أو تفاوت رقمي مسموح بالشيفرة مقارنة بالإجابة المرجعية | مجموعة الاختبار الخاصة بكم |
| اتساق الإجابات | الاختلاف بين عدة عينات لإجابة السؤال نفسه | توليد الإجابة عدة مرات ومقارنتها | Manakul et al., 2023 |
التصحيح على مستوى الادعاء مهم لأن الإجابات الطويلة تخلط الصحيح بالخاطئ. وقد صُمم FActScore لهذا الغرض: فهو يقسّم النص المولَّد إلى حقائق ذرية ويحسب النسبة المئوية التي يدعمها مصدر معرفة موثوق. وفي السِّيَر الذاتية، لم يتجاوز ChatGPT نسبة 58% (Min et al., 2023). أما تصحيح الإجابة كلها بالنجاح أو الرسوب فقد يخفي حقيقة خاطئة واحدة بين خمس حقائق صحيحة.
والاتساق إشارة إنذار قليلة الكلفة، لا دليل قاطع. إذ يقوم SelfCheckGPT على فكرة أن النموذج إذا كان يعرف حقيقة ما، فإن إجاباته المتعددة تميل إلى التوافق، بينما تتباين الحقائق المختلَقة من عينة إلى أخرى (Manakul et al., 2023).
لماذا تخفي درجة الدقة الواحدة الهلوسة؟
لأنها تعامل «لا أعرف» على أنها فشل، فتكافئ النموذج على التخمين. ويرى Kalai وزملاؤه أن النماذج اللغوية تهلوس لأن إجراءات التدريب والتقييم تكافئ التخمين على حساب الاعتراف بعدم اليقين، وأن الحل هو تغيير طريقة تصحيح المقاييس المعيارية القائمة (Kalai et al., 2025).
ويعرض معيار SimpleQA البديل: إذ تُصنَّف كل إجابة فيه إلى صحيحة أو خاطئة أو لم تُحاوَل (Wei et al., 2024). استخدموا النتائج الثلاث نفسها في مجموعة اختبار المصنع:
| النتيجة | سؤال له إجابة | سؤال بلا إجابة |
|---|---|---|
| صحيحة | القيمة الصحيحة والمصدر الصحيح | يذكر أن الوثائق لا تتضمنها |
| لم تُحاوَل | يجيب «لم يُعثر عليه» رغم وجود الإجابة | (لا ينطبق) |
| خاطئة | قيمة خاطئة أو ادعاء غير مدعوم | يختلق إجابة |
انشروا معدل الإجابات الخاطئة منفصلًا. فبالنسبة إلى الفني، تكلّف إجابة «لم يُعثر عليه» مراجعة الكتيّب؛ أما خطوة عزل مختلَقة فقد تكلّف أكثر بكثير. واتفقوا مع المصنع على المفاضلة المقبولة قبل مقارنة النماذج.
كيف تُبنى مجموعة اختبار للهلوسة؟
انطلقوا من المنهجية العامة في دليلنا عن تقييم نموذج LLM على وثائقكم، ثم أضيفوا ما تتطلبه الهلوسة:
- وسم الادعاءات لا الإجابات فقط. على عينة من الإجابات، يصنّف المهندسون كل ادعاء وقائعي إلى مدعوم أو غير مدعوم أو متناقض مع المقطع المستشهد به. وتبيّن مدوّنة RAGTruth هذا الشكل: نحو 18,000 إجابة RAG موسومة يدويًا على مستوى الكلمة (Niu et al., 2023).
- إضافة أسئلة بلا إجابة وأسئلة ذات فرضية خاطئة. السؤال عن قيمة لا توجد في أي وثيقة، أو عن مضخة لا تملكها الوحدة.
- تمييز الأسئلة الحرجة. نقاط الضبط، وقيم الفصل الآلي (trip)، وعزوم الشدّ، والتوافقات الكيميائية، وخطوات العزل. إجابة خاطئة واحدة هنا تمنع التشغيل، مهما كان المتوسط.
- الاختبار مع تزويد المقطع الصحيح، ومن البداية إلى النهاية أيضًا. إذا اختلق النموذج تفاصيل والمقطع الصحيح أمامه، فالمشكلة في النموذج أو الموجّه؛ وإذا لم يفشل إلا في المسار الكامل، فابدؤوا بفحص الاسترجاع.
- طرح كل سؤال أكثر من مرة. تتغير الإجابات من تشغيل إلى آخر؛ وإعادة أخذ عينات الإجابات من وسائل تقليص التباين التي يوصي بها Miller (2024).
- نشر هوامش الخطأ ومقارنة النماذج سؤالًا بسؤال. يوصي Miller بالأخطاء المعيارية، وبالأخطاء المعيارية العنقودية عندما تأتي الأسئلة في مجموعات مترابطة، وبالفروق المزدوجة عندما يجيب نموذجان عن الأسئلة نفسها.
من يصحّح الإجابات: الشيفرة أم نموذج حَكَم أم المهندسون؟
الثلاثة معًا، كلٌّ في ما يتقنه.
الشيفرة تتحقق مما يمكن التحقق منه بدقة: يجب أن يظهر كل رقم في الإجابة في المقطع المستشهد به بالوحدة نفسها، ويجب أن تكون كل وثيقة وصفحة مستشهد بها موجودة وسارية.
النموذج الحَكَم يصحّح الادعاءات النصية الحرة على نطاق واسع. يحسب Ragas الأمانة للمصدر باستخدام LLM، وتقترح وثائقه أيضًا نموذج HHEM-2.1-Open من Vectara، وهو مصنِّف T5 صغير مفتوح مدرَّب على اكتشاف الهلوسة، لخطوة التحقق من الادعاءات (Ragas). والعائلة نفسها من النماذج تشغّل لوحة الترتيب العامة لـ Vectara، التي تقيس عدد المرات التي تضيف فيها النماذج محتوى غير مدعوم عند طلب تلخيص مقطع باستخدام معلوماته وحدها (Vectara). وهذا الترتيب اختبار تلخيص، لا اختبار على وثائقكم. كما وجد مؤلفو RAGTruth أن نموذجًا صغيرًا نسبيًا بعد ضبطه الدقيق (fine-tuning) يمكن أن يبلغ أداءً منافسًا في اكتشاف الهلوسة مقارنة باستخدام GPT-4 عبر الموجّهات (Niu et al., 2023)، وهذا مهم حين يجب أن يعمل المدقق محليًا.
المهندسون يصحّحون الأسئلة الحرجة وعينة من الباقي، ويعايرون الحَكَم. فنماذج LLM القوية المستخدمة حَكَمًا تتوافق مع التفضيلات البشرية في أكثر من 80% من الحالات، لكنها تعاني انحيازات للموضع وللإطالة ولتفضيل مخرجاتها (Zheng et al., 2023). قيسوا مدى توافق الحَكَم مع المهندسين قبل الوثوق به.
كيف نواصل القياس بعد التشغيل؟
مجموعة الاختبار تقيس النظام الذي بنيتموه؛ أما الإنتاج فيكشف الأسئلة التي يطرحها الناس فعلًا.
- تطبيق الفحوص البرمجية على كل إجابة: الأرقام والوحدات والرموز والاستشهادات مقارنة بالمقاطع المستشهد بها. ووسم حالات الفشل بدل عرضها دون تنبيه.
- مراجعة عينة أسبوعية من الإجابات الفعلية من قبل مهندسين، بوسوم الادعاءات نفسها المستخدمة في مجموعة الاختبار.
- تمكين المستخدمين من الإبلاغ عن إجابة خاطئة بنقرة واحدة، وتوجيه البلاغات إلى المسؤول عن الوثيقة.
- إعادة تشغيل مجموعة الاختبار كاملة بعد كل تغيير في النموذج أو التكميم أو الموجّه أو الوثائق أو الفهرس، كما يشرح مقال تحديث نموذج LLM المحلي. وتتبّع الاتجاه مع مقاييس النماذج الأخرى؛ انظروا مراقبة انجراف النماذج.
القياس يبيّن أين يجب التدخل. وتذكر إرشادات أحد المزوّدين للحد من الهلوسة السماح للنموذج بأن يقول إنه لا يعرف، وتأسيس الإجابات على اقتباسات حرفية، وجعله يسحب أي ادعاء لا يستطيع دعمه باقتباس، وتنبّه إلى أن هذه التقنيات تقلّل الهلوسة دون أن تقضي عليها (وثائق Anthropic). والضبط الدقيق لا يعوّض المعرفة الناقصة؛ انظروا الضبط الدقيق أم RAG. وعندما يُعدّ المساعد إجراءات، يجب أن يوافق عليها شخص: انظروا الإنسان في الحلقة لوكلاء الذكاء الاصطناعي.
ما لاحظناه في KABAS AI
يعمل DALILE محليًا بالكامل ويجيب مع ذكر المصادر الدقيقة. وهذا يجعل المنهجية السابقة قابلة للتطبيق: إذ يمكن التحقق من كل ادعاء في المقطع المستشهد به، وتبقى مجموعة الاختبار والنموذج الحَكَم والسجلات على الخوادم نفسها التي تحفظ الوثائق.
وعندما نحدد نطاق مساعد مع أحد العملاء، تكون نصيحتنا:
- الاتفاق مع المهندسين الذين سيستخدمونه على ما يُعدّ هلوسة وعلى الأسئلة الحرجة، قبل اختيار النموذج.
- تصحيح «لم يُعثر عليه» و«خاطئ» كلٌّ على حدة، والاتفاق على العدد المقبول من الإجابات الخاطئة في الأسئلة الحرجة، والذي ينبغي أن يكون صفرًا عادةً.
- إبقاء فحوص الهلوسة في الشيفرة حيثما كانت الإجابة رقمًا أو وحدة أو مرجع وثيقة.
- الاحتفاظ بمجموعة الاختبار والوسوم والنتائج على البنية التحتية للعميل وتحت ملكيته.
وإذا كان مساعدكم سيستعلم أيضًا من أنظمة المصنع أو يتصرف فيها، فإن خدماتنا في الذكاء الاصطناعي الوكيلي تغطي التصميم والنشر.
المصادر
- NIST, AI 600-1: Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (July 2024)
- Huang et al., A Survey on Hallucination in Large Language Models: Principles, Taxonomy, Challenges, and Open Questions (arXiv, 2023)
- Magesh et al., Hallucination-Free? Assessing the Reliability of Leading AI Legal Research Tools (arXiv, 2024)
- Liu, Zhang and Liang, Evaluating Verifiability in Generative Search Engines (arXiv, 2023)
- Gao et al., Enabling Large Language Models to Generate Text with Citations (arXiv, 2023)
- Min et al., FActScore: Fine-grained Atomic Evaluation of Factual Precision in Long Form Text Generation (arXiv, 2023)
- Wei et al., Measuring short-form factuality in large language models (arXiv, 2024)
- Kalai et al., Why Language Models Hallucinate (arXiv, 2025)
- Manakul, Liusie and Gales, SelfCheckGPT: Zero-Resource Black-Box Hallucination Detection for Generative Large Language Models (arXiv, 2023)
- Niu et al., RAGTruth: A Hallucination Corpus for Developing Trustworthy Retrieval-Augmented Language Models (arXiv, 2023)
- Ragas documentation, Faithfulness
- Vectara, Hallucination Leaderboard (GitHub)
- Zheng et al., Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena (arXiv, 2023)
- Miller, Adding Error Bars to Evals: A Statistical Approach to Language Model Evaluations (arXiv, 2024)
- Anthropic documentation, Reduce hallucinations
الأسئلة الشائعة
ما الهلوسة في مساعد ذكاء اصطناعي صناعي؟
هي إجابة تُقدَّم بثقة لكنها خاطئة أو لا تدعمها وثائق المصنع، مثل عزم شدّ مختلَق، أو وحدة قياس خاطئة، أو استشهاد بصفحة لا تقول ما تزعمه الإجابة. ويسميها NIST التلفيق (confabulation). وهي تختلف عن خطأ الاسترجاع الذي يعني أن المقطع الصحيح لم يُعثر عليه أصلًا.
هل يمنع RAG المساعد من الهلوسة؟
يقلّلها لكنه لا يزيلها. ففي دراسة مسجّلة مسبقًا شملت أدوات بحث قانوني تعتمد على الاسترجاع، ظلت كل أداة تهلوس في ما بين 17% و33% من الحالات. لكن ربط الإجابات بالوثائق يجعل الهلوسة أسهل اكتشافًا، لأن كل ادعاء يمكن التحقق منه في المقطع المستشهد به.
ما أنفع مقياس منفرد للهلوسة؟
لا يوجد مقياس واحد. تتبّعوا نسبة ادعاءات الإجابة التي تدعمها المقاطع المسترجعة (الأمانة للمصدر)، ونسبة الاستشهادات التي تدعم جملتها فعلًا، ومعدل الإجابات الخاطئة عن الأسئلة التي لا تجيب عنها الوثائق. أما القيم الحرجة مثل نقاط الضبط وعزوم الشدّ، فتحققوا من كل رقم فيها بالشيفرة.
هل يستطيع نموذج LLM حَكَم اكتشاف الهلوسة بموثوقية؟
يمكنه المساعدة، لكن يجب مقارنته بالمهندسين أولًا. ففي الاختبارات المنشورة، توافقت نماذج LLM القوية المستخدمة حَكَمًا مع التفضيلات البشرية في أكثر من 80% من الحالات، لكنها أظهرت انحيازات للموضع وللإطالة ولتفضيل مخرجاتها. كما يمكن لمصنِّفات صغيرة مفتوحة مثل HHEM-2.1-Open تقييم الادعاءات والعمل على خوادمكم.
كم مرة يجب قياس الهلوسة؟
قبل التشغيل على مجموعة اختبار ثابتة، وبعد كل تغيير في النموذج أو التكميم (quantization) أو الموجّه (prompt) أو الوثائق أو الفهرس، وباستمرار في الإنتاج على عينة من الإجابات الفعلية يراجعها مهندسون. واحتفظوا بنتائج كل جولة حتى يظهر أي تراجع.



