جدول المحتويات
لتقييم نموذج LLM على وثائقك الخاصة، اكتب مجموعة اختبار من أسئلة حقيقية طرحها مستخدموك، لكل منها إجابة مرجعية والمقطع الذي يدعمها. ثم مرّر كل نموذج مرشّح عبر المسار نفسه، وصحّح الإجابات بالشيفرة وبالمهندسين وبنموذج LLM حَكَم معايَر. ولا تغني درجات المقاييس المعيارية العامة عن هذه الخطوة.
أهم النقاط
- قد تكون الدرجات العامة مضخّمة بسبب التلوث: فعلى مجموعة جديدة من مسائل الرياضيات للمرحلة الابتدائية بُنيت على غرار المقياس العام GSM8k، لاحظ الباحثون تراجعًا في الدقة يصل إلى 8% (Zhang et al., 2024).
- اختبر النموذج والبحث كلًّا على حدة: أولًا مع تزويد النموذج بالمقطع الصحيح، ثم من البداية إلى النهاية.
- لمجموعات الاختبار الصغيرة هامش خطأ واسع. فمع 100 سؤال ودرجة 80%، يبلغ مجال الثقة عند 95% نحو ±8 نقاط، وفق الصيغة التي يوصي بها Miller (2024).
- تتوافق نماذج LLM القوية المستخدمة حَكَمًا مع التفضيلات البشرية في أكثر من 80% من الحالات، لكنها تعاني انحيازات للموضع وللإطالة ولتفضيل مخرجاتها (Zheng et al., 2023). عاير الحَكَم مقارنة بتصحيح المهندسين قبل الوثوق به.
- قيّم النسخة نفسها التي ستنشرها: التكميم نفسه وخادم الاستدلال نفسه والموجّه نفسه وطول السياق نفسه.
لماذا لا تكفي درجات المقاييس المعيارية العامة؟
تُرتّب لوائح التصنيف النماذج على مجموعات أسئلة عامة. وتظهر ثلاث مشكلات عند نقل هذه الدرجات إلى المصنع.
التلوث. تتسرب أسئلة المقاييس المعيارية إلى بيانات التدريب. فقد كتب مؤلفو GSM1k مسائل رياضيات جديدة للمرحلة الابتدائية على غرار GSM8k، ووجدوا أن عدة عائلات من النماذج أظهرت علامات على فرط تخصيص (overfitting) منهجي، مع تراجع في الدقة يصل إلى 8%. ويرجّحون أن بعض النماذج حفظت جزئيًا أسئلة GSM8k (Zhang et al., 2024). أما أدلة الصيانة لديكم فلم تظهر قط في أي لائحة تصنيف، وهذا بالضبط ما يجعلها اختبارًا منصفًا.
مجال خاطئ ولغة خاطئة. يضم مقياس ArabicMMLU ما مجموعه 14,575 سؤالًا متعدد الخيارات باللغة العربية الفصحى المعاصرة، مأخوذة من امتحانات مدرسية في شمال إفريقيا والمشرق والخليج. وفي 2024، حصل أفضل نموذج مركّز على العربية شمله الاختبار على 62.3% (Koto et al., 2024). إنه مقياس جاد، لكن الامتحانات المدرسية لا تقول الكثير عن قدرة نموذج على قراءة ورقة بيانات مضخة بالفرنسية والإجابة عن سؤال بالعربية حولها.
السياق المُعلن والسياق القابل للاستخدام فعلًا. اختبر مقياس RULER نماذج تعلن جميعها عن سياق من 32K رمزًا (token) أو أكثر. ولم يحافظ إلا نصفها على أداء مرضٍ عند 32K، وتراجع أداء جميعها تقريبًا مع ازدياد طول السياق (Hsieh et al., 2024). إذا كانت إجراءاتكم طويلة، فاختبروا بطولها الحقيقي.
استخدموا الدرجات العامة لإعداد قائمة مختصرة، ووثائقكم الخاصة لاتخاذ القرار. ويتناول دليلنا حول اختيار نموذج LLM مفتوح الأوزان مرحلة القائمة المختصرة.
ما الذي تقيّمه بالضبط؟
المساعد الوثائقي نظام متكامل: التعرف الضوئي على الحروف (OCR)، والبحث، والنموذج، والموجّه. ولمعرفة الجزء الذي أخفق، اختبروا على ثلاثة مستويات.
| المستوى | ما يتلقاه النموذج | ما يكشفه |
|---|---|---|
| دون سياق (closed book) | السؤال وحده | ما يعرفه النموذج بنفسه، ومدى ميله إلى اختلاق الإجابات |
| مع تزويده بالمقطع الصحيح | السؤال مع المقطع الذي يتضمن الإجابة | هل يستطيع النموذج القراءة والاستدلال والإجابة عندما يكون البحث مثاليًا |
| من البداية إلى النهاية | السؤال عبر مسار البحث الفعلي لديكم | ما سيحصل عليه المستخدمون فعلًا |
الفرق بين المستويين الأخيرين هو الخسارة الناتجة عن البحث. فإذا أخفق النموذج والمقطع الصحيح أمامه، فلن ينقذه تحسين البحث. وإذا نجح مع تزويده بالمقطع وأخفق من البداية إلى النهاية، فأصلحوا التعرف الضوئي أو التقطيع أو البحث قبل تغيير النموذج؛ ويغطي دليلنا حول RAG لأدلة الصيانة هذا المسار. وإذا كانت الحقائق صحيحة لكن شكل الإجابة خاطئ، فهنا قد يفيد الضبط الدقيق (fine-tuning).
كيف تُبنى مجموعة اختبار من وثائقك الخاصة؟
- اجمعوا أسئلة حقيقية. اطلبوا من الفنيين ومهندسي العمليات ومخططي الصيانة وفرق الصحة والسلامة والبيئة (HSE) الأسئلة التي طرحوها فعلًا مؤخرًا، باللغة التي طرحوها بها. يمكن للأسئلة المولَّدة آليًا سدّ بعض الثغرات لاحقًا، لكن راجعوها يدويًا، لأنها تميل إلى إعادة استخدام صياغة الوثيقة نفسها.
- سجّلوا الإجابة المرجعية ومصدرها. لكل سؤال، يكتب مهندس الإجابة الصحيحة مع رقم الوثيقة والمراجعة والصفحة. ويتيح المصدر تقييم البحث على حدة.
- غطّوا أنواع الأسئلة التي تُربك الأنظمة (انظر الجدول أدناه).
- أدرجوا أسئلة لا إجابة لها. الرد الصحيح هو «غير موجود في الوثائق»، لا تخمين معقول.
- ميّزوا الأسئلة الحرجة. عزوم الشد، ونقاط الضبط، وخطوات العزل، والتوافق الكيميائي. إجابة خاطئة واحدة هنا أهم من الدرجة المتوسطة.
- جمّدوا المجموعة وأداروا إصداراتها. احتفظوا بجزء محجوز لا يضبط أحد الموجّهات عليه، واحفظوا المجموعة مع قائمة مراجعات الوثائق التي كُتبت منها.
- أبقوها على بنيتكم التحتية. مجموعة الاختبار الجيدة خلاصة لخبرة مصنعكم.
ويعرض دليل التقييم من Anthropic المبادئ نفسها بصيغة عامة: تصميم تقييمات تعكس التوزيع الحقيقي للمهام، وإدراج الحالات الحدّية، وصياغة الأسئلة بحيث يمكن تصحيحها آليًا (Anthropic).
| نوع السؤال | مثال من المصنع | ما يختبره |
|---|---|---|
| معلومة واحدة | «ما عزم شد براغي الوصلة في المضخة P-101؟» | البحث والقراءة الدقيقة لقيمة |
| قراءة جدول | «ما دورية تغيير زيت علبة التروس عند درجة حرارة محيطة مرتفعة؟» | استخراج الجداول |
| معرّف دقيق | «ماذا يعني رمز الإنذار TS-104؟» | البحث عن الرموز وأرقام القطع |
| عدة وثائق | «هل يستخدم إجراء الموقع الخلوص نفسه الوارد في دليل الصانع؟» | الجمع بين المصادر ومقارنتها |
| متعدد اللغات | سؤال بالعربية إجابته في إجراء مكتوب بالفرنسية | البحث متعدد اللغات ولغة الإجابة |
| مرتبط بالمراجعة | «ما خطوات العزل الحالية للضاغط؟» مع وجود مراجعتين | استبعاد الوثائق الملغاة |
| بلا إجابة | قيمة غير موجودة في أي وثيقة | قول «غير موجود» بدل الاختلاق |
وتستحق مجموعات الوثائق التي تمزج العربية والفرنسية والإنجليزية حصتها الخاصة من المجموعة؛ انظر التعامل مع الوثائق متعددة اللغات.
كم سؤالًا تحتاج؟
يعدّ دليل OpenAI حول الدقة مجموعةً من 20 سؤالًا أو أكثر مع إجاباتها المرجعية نقطة البداية لوضع خط أساس (OpenAI). وهذا يكشف الأخطاء الفادحة، لكنه لا يكفي لترتيب نموذجين جيدين.
لكل درجة هامش خطأ. ويوصي Miller بنشر الخطأ المعياري مع كل درجة، وبمجال ثقة عند 95% يساوي المتوسط زائد أو ناقص 1.96 خطأ معياري (Miller, 2024). وبالنسبة إلى درجة نجاح أو إخفاق p على n من الأسئلة المستقلة، يساوي الخطأ المعياري √(p(1−p)/n)، ما يعطي:
| عدد الأسئلة | الدرجة | مجال الثقة عند 95% (تقريبًا) |
|---|---|---|
| 50 | 80% | ±11 نقطة |
| 100 | 80% | ±8 نقاط |
| 300 | 80% | ±4.5 نقطة |
| 1,000 | 80% | ±2.5 نقطة |
وهناك ملاحظتان من البحث نفسه. فالأسئلة المكتوبة من المقطع نفسه ليست مستقلة، وقد تكون الأخطاء المعيارية العنقودية (clustered) أكبر بأكثر من ثلاث مرات من الأخطاء المعيارية الساذجة. وعندما يجيب نموذجان عن الأسئلة نفسها، قارنوهما سؤالًا بسؤال (الفروق المزدوجة)، ما يقلّل الضجيج. وفي المثال المحسوب لدى Miller، يتطلب كشف فرق قدره 3 نقاط بقوة اختبار 80% ومستوى دلالة 5% نحو 969 سؤالًا، ويخلص إلى أن التقييمات الجديدة ينبغي أن تضم 1,000 سؤال على الأقل.
عمليًا، تكشف بضع مئات من الأسئلة الفروق الكبيرة وأنماط الإخفاق؛ أما الفروق الصغيرة بين نموذجين قويين فهي ضجيج. وزّعوا النتائج حسب نوع السؤال.
كيف تُصحَّح الإجابات؟
ترتّب Anthropic أساليب التصحيح على النحو التالي: التصحيح بالشيفرة هو الأسرع والأكثر موثوقية لكنه يفتقر إلى الدقة في الفروق؛ والتصحيح البشري هو الأكثر مرونة لكنه بطيء ومكلف؛ والتصحيح بنموذج LLM سريع ومرن، لكن يجب اختبار موثوقيته قبل توسيع استخدامه (Anthropic).
| أسلوب التصحيح | يُستخدم لـ | ما يجب الانتباه إليه |
|---|---|---|
| الشيفرة (تطابق تام، بحث عن نص، هامش تسامح رقمي) | القيم والوحدات والرموز وأرقام القطع وإجابات «غير موجود» | اختلاف الصيغ مثل «25 N·m» و«25 Nm» |
| مراجعة مهندس | الأسئلة الحرجة، وعينة من الباقي، ومعايرة الحَكَم | الوقت، والاختلاف بين المراجعين |
| نموذج LLM حَكَم | الإجابات النصية الحرة، والأمانة للمقطع المستشهد به | انحيازات معروفة؛ ويجب تشغيله محليًا للوثائق السرية |
النماذج الحَكَمة مفيدة لكنها منحازة. ففي دراسة MT-Bench، بلغ توافق GPT-4 المستخدم حَكَمًا مع التفضيلات البشرية أكثر من 80%، وهو مستوى التوافق نفسه بين البشر أنفسهم، مع ظهور انحيازات للموضع وللإطالة ولتفضيل مخرجاته (Zheng et al., 2023). وفي دراسة أخرى، أتاح مجرد تغيير ترتيب عرض إجابتين لنموذج Vicuna-13B أن يتفوق على ChatGPT في 66 استعلامًا من أصل 80 عندما كان ChatGPT هو الحَكَم (Wang et al., 2023).
قواعد عملية للنموذج الحَكَم:
- أعطوه سلّم تصحيح مفصّلًا والإجابة المرجعية، واطلبوا حكمًا واضحًا مثل صحيح أو خاطئ، أو درجة من 1 إلى 5، كما توصي Anthropic.
- استخدموا حَكَمًا مختلفًا عن النموذج الخاضع للاختبار؛ إذ تصف أمثلة Anthropic ذلك بأنه أفضل ممارسة بوجه عام.
- اطلبوا من المهندسين تصحيح عينة من الإجابات، وشغّلوا الحَكَم على العينة نفسها، وتحققوا من نسبة توافقهم قبل الاعتماد عليه في الباقي.
- قيسوا الأمانة للمصدر على حدة. تعرّف Ragas هذا المقياس (faithfulness) بأنه نسبة ادعاءات الإجابة التي يدعمها السياق المسترجَع، من 0 إلى 1 (Ragas). وبالنسبة إلى البحث، يتضمن مقياس استدعاء السياق (context recall) في Ragas صيغة قائمة على المعرّفات، تقارن معرّفات المقاطع المسترجعة بالمعرّفات المرجعية دون استدعاء أي نموذج LLM (Ragas).
يرى الحَكَم البيانات نفسها التي يراها النموذج الخاضع للاختبار. والحَكَم الذي يُستدعى عبر واجهة API سحابية أجنبية يرسل الوثائق السرية إلى الخارج مع كل عملية تصحيح.
لماذا تتغير النتائج بين الاختبار والإنتاج؟
عدم الحتمية. أخذ مختبر Thinking Machines عينات من الموجّه نفسه 1,000 مرة عند درجة حرارة 0 على النموذج Qwen3-235B، فحصل على 80 إجابة مختلفة. ويعزو ذلك أساسًا إلى حِمل الخادم الذي يغيّر حجم الدفعات (batch) (He, 2025). شغّلوا كل سؤال أكثر من مرة، أو على الأقل أعيدوا تشغيل الإخفاقات، قبل استخلاص النتائج.
التكميم. وجدت دراسة شملت أكثر من 500,000 تقييم أن صيغة FP8 تكاد تكون بلا خسارة في كل أحجام النماذج، وأن INT8 المضبوط جيدًا لا يفقد سوى 1 إلى 3% من الدقة (Kurtic et al., 2024). هذه نتائج على مقاييس معيارية عامة؛ فاختبروا النسخة المكمَّمة التي ستشغّلونها فعلًا. ويتناول مقال العتاد وتحديد حجم وحدات GPU لنموذج LLM محلي اختيار العتاد.
السياق والموجّه. اختبروا بعدد المقاطع وأطوال الوثائق التي ستستخدمونها في الإنتاج. فالموجّه النظامي الجديد أو قالب المحادثة المختلف أو إعداد البحث الجديد يصنع نظامًا جديدًا: أعيدوا تشغيل مجموعة الاختبار.
كيف تقارن بين نموذجين مرشّحين بإنصاف؟
- استخدموا مجموعة الاختبار نفسها وفهرس البحث نفسه والموجّه نفسه (مع تكييفه فقط مع صيغة المحادثة لكل نموذج) وإعدادات التوليد نفسها.
- شغّلوا المستويات الثلاثة: دون سياق، ومع تزويده بالمقطع الصحيح، ومن البداية إلى النهاية.
- صحّحوا بالشيفرة أولًا، ثم بالحَكَم، ثم بمراجعة المهندس للإجابات الحرجة والمتنازع عليها.
- اعرضوا الدرجات حسب نوع السؤال مع مجالات الثقة، والفرق المزدوج بين النموذجين.
- اعتبروا أي إجابة خاطئة عن سؤال حرج نتيجة مانعة، مهما كان المتوسط.
- سجّلوا إصدار النموذج والتكميم وإصدار الموجّه وإصدار الفهرس مع كل تشغيل، لإمكان تكراره.
ولتشغيل المقاييس المعيارية القياسية على النماذج المرشحة محليًا، تتضمن أداة lm-evaluation-harness من EleutherAI، المرخّصة بموجب MIT، أكثر من 60 مقياسًا أكاديميًا، وتدعم النماذج المشغّلة عبر vLLM أو المحمّلة عبر Hugging Face transformers (EleutherAI). وهي تكمّل مجموعة اختباركم ولا تحل محلها.
ما لاحظناه في KABAS AI
يعمل DALILE محليًا بالكامل ويجيب مع ذكر مصادره بدقة. وهذا يجعل المنهجية أعلاه قابلة للتطبيق: إذ يمكن التحقق من كل إجابة في الصفحة المستشهد بها، ويمكن أن تبقى مجموعة الاختبار والنموذج الحَكَم والسجلات على الخوادم نفسها التي تحفظ الوثائق.
عندما نحدد نطاق مساعد وثائقي مع عميل، تكون نصيحتنا كالتالي:
- كتابة مجموعة الاختبار مع المهندسين الذين سيستخدمون المساعد، قبل اختيار النموذج.
- الاتفاق مسبقًا على الأسئلة الحرجة وعلى الإخفاقات التي تمنع الانتقال إلى الإنتاج.
- إبقاء مجموعة الاختبار والنتائج وأي نموذج حَكَم على البنية التحتية للعميل وتحت ملكيته.
- إعادة تشغيل المجموعة كاملة بعد كل تغيير في النموذج أو التكميم أو الموجّه أو الوثائق أو الفهرس، مع الاحتفاظ بالسجل.
إذا كان مساعدكم سيتصرف أيضًا في أنظمة المصنع، فإن خدماتنا في الذكاء الاصطناعي الوكيلي تغطي التصميم والنشر، ويوضح مقال الموافقة البشرية (human-in-the-loop) الإجراءات التي لا تزال تتطلب تدخل شخص.
المصادر
- Zhang et al., A Careful Examination of Large Language Model Performance on Grade School Arithmetic (arXiv, 2024)
- Koto et al., ArabicMMLU: Assessing Massive Multitask Language Understanding in Arabic (arXiv, 2024)
- Hsieh et al., RULER: What's the Real Context Size of Your Long-Context Language Models? (arXiv, 2024)
- Miller, Adding Error Bars to Evals: A Statistical Approach to Language Model Evaluations (arXiv, 2024)
- OpenAI, Optimizing LLM accuracy
- Anthropic, Define success criteria and build evaluations
- Zheng et al., Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena (arXiv, 2023)
- Wang et al., Large Language Models are not Fair Evaluators (arXiv, 2023)
- Ragas documentation, Faithfulness
- Ragas documentation, Context Recall
- He and Thinking Machines Lab, Defeating Nondeterminism in LLM Inference (September 2025)
- Kurtic et al., "Give Me BF16 or Give Me Death"? Accuracy-Performance Trade-Offs in LLM Quantization (arXiv, 2024)
- EleutherAI, lm-evaluation-harness (GitHub)
الأسئلة الشائعة
كم سؤالًا نحتاج لتقييم نموذج LLM؟
يكفي نحو 20 سؤالًا معروفة الإجابة لوضع خط أساس أول ولكشف الأخطاء الفادحة. أما للمقارنة بين نموذجين جيدين فيلزم عدد أكبر بكثير: فمع 100 سؤال ودرجة 80%، يبلغ مجال الثقة عند 95% نحو زائد أو ناقص 8 نقاط. وفي مثال إحصائي منشور، يتطلب كشف فرق قدره 3 نقاط نحو 1000 سؤال.
هل يمكن استخدام نموذج LLM لتصحيح الإجابات؟
نعم بالنسبة إلى الإجابات النصية الحرة، لكن بعد التحقق منه فقط. ففي الاختبارات المنشورة، توافقت نماذج LLM القوية المستخدمة حَكَمًا مع التفضيلات البشرية في أكثر من 80% من الحالات، لكنها أظهرت انحيازات للموضع وللإطالة ولتفضيل مخرجاتها. اطلبوا من المهندسين تصحيح عينة، وقارنوا الحَكَم بهم، وأبقوا التحقق الدقيق من القيم والوحدات والرموز في الشيفرة.
هل يجب أن تتضمن مجموعة الاختبار أسئلة لا تجيب عنها الوثائق؟
نعم. يجب أن يقول مساعد المصنع إن الوثائق لا تتضمن الإجابة بدل أن يختلق واحدة. أدرجوا أسئلة لا توجد إجابتها في أي وثيقة، واحسبوا عدد المرات التي يجيب فيها النظام بشكل صحيح بأنه لم يجد شيئًا.
هل يمكن إجراء التقييم كله محليًا (on-premise)؟
نعم. يمكن لأدوات مفتوحة المصدر مثل lm-evaluation-harness من EleutherAI تقييم نماذج تُشغَّل محليًا، ويمكن أن يكون النموذج الحَكَم نموذجًا مفتوح الأوزان على خوادمكم. أما إذا كان الحَكَم واجهة API سحابية أجنبية، فإن وثائقكم وإجاباتكم تغادر شبكتكم مع كل عملية تصحيح.
كم مرة يجب إعادة التقييم؟
بعد كل تغيير يمكن أن يؤثر في الإجابات: نموذج جديد أو إصدار جديد، أو تكميم مختلف، أو موجّه (prompt) أو قالب محادثة جديد، أو وثائق أو مراجعات جديدة، أو تعديل في التعرف الضوئي على الحروف أو التقطيع أو البحث. واحتفظوا بنتائج كل تشغيل لرصد التراجعات مع الوقت.



