جدول المحتويات
لمعالجة وثائق تمزج العربية والفرنسية والإنجليزية، يجب إدارة اللغة في كل مرحلة: تعرّف ضوئي على الحروف (OCR) مع تحميل اللغات الثلاث، وتوحيد الكتابة العربية والأرقام قبل الفهرسة، والجمع بين نموذج تضمين متعدد اللغات وبحث بالكلمات المفتاحية خاص بكل لغة، واختيار نموذج لغوي يدعم اللغات الثلاث رسميًا، واختبار كل تركيبة لغوية على حدة.
أهم النقاط
- يحدث مزج اللغات على ثلاثة مستويات: بين الوثائق، وداخل الوثيقة الواحدة، وداخل الجملة الواحدة. وكل مستوى يُعطّل جزءًا مختلفًا من سلسلة المعالجة.
- البحث بالكلمات المفتاحية لا يعبر الحدود بين اللغات. ففي الاختبار عبر اللغات الوارد في ورقة BGE-M3، وجد BM25 مقطعًا يتضمن الإجابة ضمن أول 100 نتيجة لـ 18.9% فقط من الأسئلة العربية الموجّهة إلى نص إنجليزي، مقابل 71.5% لنموذج التضمين متعدد اللغات (Chen et al., 2024).
- يحتاج النص العربي إلى توحيد أشكال الهمزة والتاء المربوطة والألف المقصورة وحذف التشكيل والتطويل (Apache Lucene)، كما تحتاج الأرقام إلى التحويل إلى 0 إلى 9.
- تختلف بطاقات النماذج: فبطاقة Llama 3.1 تذكر ثماني لغات مدعومة ليست العربية من بينها (Meta)، بينما تذكر بطاقة Llama 4 العربية والفرنسية معًا (Meta).
- تجيب النماذج اللغوية أحيانًا بلغة خاطئة، ويزداد ذلك مع التعليمات (prompts) المعقدة ودرجات حرارة أخذ العينات المرتفعة (Marchisio et al., 2024). اختبروا لغة الإجابة صراحة.
لماذا تمزج الوثائق الصناعية في الجزائر بين ثلاث لغات؟
يجعل الدستور الجزائري العربية اللغة الوطنية والرسمية، والأمازيغية (تمازيغت) كذلك لغة وطنية ورسمية (دستور 2020، المادتان 3 و4)؛ وتحققوا مع مستشار قانوني من اللغة التي يجب أن تُحرَّر بها وثيقة معينة. أما الأرصدة الوثائقية الصناعية فهي عادة أكثر اختلاطًا من ذلك. فكثيرًا ما تصل أدلة المعدات من المصنّع بالإنجليزية، وكثيرًا ما تُكتب الإجراءات الداخلية والتقارير بالفرنسية، وقد تكون المراسلات والاستمارات وملاحظات الورديات بالعربية. ويذكر دليلنا لتقنية RAG على أدلة الصيانة هذا الأمر ضمن أبرز مزالق الإعداد البسيط.
يحدث المزج على ثلاثة مستويات، ولكل منها حل مختلف.
| المستوى | مثال | ما الذي يتعطل | ما العمل |
|---|---|---|---|
| بين الوثائق | دليل المصنّع بالإنجليزية، وإجراء بالفرنسية، وتقرير بالعربية حول المضخة نفسها | سؤال بالعربية لا يجد الإجراء المكتوب بالفرنسية | تضمينات متعددة اللغات مع بحث بالكلمات المفتاحية خاص بكل لغة |
| داخل الوثيقة | صفحة الغلاف والعناوين بالعربية، والمتن بالفرنسية، وجداول البيانات بالإنجليزية | تعرّف ضوئي بلغة واحدة محمّلة؛ محلل نصي واحد للملف كله | تعرّف ضوئي باللغات الثلاث؛ تحديد اللغة لكل فقرة |
| داخل الجملة | ملاحظة وردية مثل «تم تغيير الـ joint d'étanchéité على المضخة P-201» | التقطيع إلى وحدات (tokens) والتجذيع وترتيب عرض الأجزاء المكتوبة بالحروف اللاتينية | إبقاء المعرّفات وحداتٍ مطابقة حرفيًا؛ عزل المقاطع اللاتينية عند العرض |
كيف نجري التعرف الضوئي على صفحات تمزج الكتابة العربية واللاتينية؟
حمّلوا كل اللغات المتوقعة. يقبل Tesseract عدة لغات معًا عبر الخيار -l متبوعًا برموز اللغات موصولة بعلامة +، مثل ara+fra+eng، وتشير وثائقه إلى أن زمن المعالجة والنتيجة قد يتغيران بحسب ترتيب اللغات (وثائق Tesseract). جرّبوا أكثر من ترتيب على عينة من صفحاتكم.
توقعوا أن تكون العربية نقطة الضعف. فمؤلفو KITAB-Bench يذكرون الطابع المتصل للخط العربي واتجاه كتابته من اليمين إلى اليسار بوصفهما صعوبتين خاصتين، وفي مهمة التحويل من PDF إلى Markdown لم يتجاوز أفضل نموذج مختبَر دقة 65% (Heakl et al., 2025). وبالنسبة للصفحات المختلطة، القواعد العملية هي:
- الاحتفاظ برابط بين كل مقطع مستخرج وصورة صفحته، حتى يتمكن المستخدم من مراجعة الأصل.
- فحص الأرقام والوحدات ورموز المعدات يدويًا على عينة، لأنها القيم التي يتصرف الفنيون بناءً عليها.
لماذا تختل الأرقام ورموز المعدات في النص العربي؟
مجموعتان من الأرقام. يرمّز Unicode الأرقام العربية الهندية (U+0660 إلى U+0669) ومجموعة ثانية موسّعة (U+06F0 إلى U+06F9) بشكل منفصل عن الأرقام الأوروبية من 0 إلى 9، ويشير إلى أن الأرقام الأوروبية مستعملة حتى في كثير من البلدان الناطقة بالعربية في شمال أفريقيا (معيار Unicode، الفصل 9). لذلك قد تحتوي المجموعة الوثائقية على قيمة الضغط نفسها في صورة «١٢» في وثيقة و«12» في أخرى. حوّلوا كل الأرقام في فهرس البحث إلى 0 إلى 9. فمرشح decimal_digit في Elasticsearch مثلًا يحوّل كل رقم عشري في Unicode إلى 0 إلى 9 (وثائق Elastic). واحتفظوا بالنص الأصلي للعرض والاستشهاد.
وتختلف الفواصل العشرية أيضًا: فالفرنسية تكتب 4,5 bar والإنجليزية 4.5 bar. وحّدوها في حقل رقمي منفصل إذا كان المستخدمون يبحثون بالقيمة.
ترتيب العرض. تُعرض العربية من اليمين إلى اليسار، بينما تُقرأ رموز المعدات مثل P-201 والوحدات مثل kPa من اليسار إلى اليمين. وتحدد خوارزمية Unicode ثنائية الاتجاه ترتيب العرض، وتقرّ مواصفتها بأن الترتيب الضمني لا يكفي أحيانًا لإنتاج نص مفهوم، ولهذا تعرّف محارف تنسيق اتجاهية (Unicode UAX #9). في الواجهة العربية، اختبروا إجابات تتضمن رموز معدات ونطاقات ووحدات، واعزلوا المقاطع اللاتينية والأرقام حتى لا تُعرض بترتيب خاطئ.
كيف نوحّد النص العربي والفرنسي قبل الفهرسة؟
لا يطابق البحث بالكلمات المفتاحية إلا ما يُكتب بالطريقة نفسها. والعربية تسمح بعدة أشكال لكتابة الكلمة الواحدة. ويقوم موحِّد العربية في مكتبة Apache Lucene، وهي المكتبة التي تقوم عليها محركات بحث مثل Elasticsearch، بتحويل الهمزة على الألف إلى ألف مجردة، والتاء المربوطة إلى هاء، والألف المقصورة إلى ياء، ويحذف التشكيل (الحركات) وحرف التطويل (Apache Lucene).
وللفرنسية صعوباتها الخاصة: فأدوات التعريف المحذوفة الحرف مثل l' وqu' تلتصق بالكلمة التالية. وتعالج المحللات المدمجة في Elasticsearch الحالتين. فمحللها العربي يتسلسل عبر تحويل الحروف إلى صغيرة، وتحويل الأرقام، وحذف الكلمات الشائعة، وتوحيد العربية، ثم التجذيع؛ ومحللها الفرنسي يبدأ بمرشح للحذف (elision) ويستخدم تجذيعًا خفيفًا (وثائق Elastic).
ولتطبيق المحلل المناسب، يجب معرفة لغة كل مقطع:
- تحديد اللغة لكل فقرة أو لكل مقطع (chunk)، لا لكل ملف. فنماذج التعرف على اللغة في fastText تتعرف على 176 لغة، ويبلغ حجم النسخة المضغوطة نحو 917 كيلوبايت (fastText). وانتبهوا إلى ترخيصها Creative Commons Attribution-ShareAlike 3.0.
- فهرسة كل مقطع بمحلل لغته الرئيسية، وفهرسة المقاطع المختلطة بالمحللين معًا.
- الإبقاء على حقل منفصل للمطابقة الحرفية دون تجذيع لأرقام القطع ورموز المعدات ورموز الأعطال.
- تطبيق التوحيد نفسه تمامًا على سؤال المستخدم عند الاستعلام.
هل نترجم الوثائق أم نبحث عبر اللغات؟
| النهج | طريقة العمل | نقاط القوة | الحدود |
|---|---|---|---|
| تضمينات متعددة اللغات | نموذج واحد متعدد اللغات يضع الأسئلة والمقاطع من لغات مختلفة في الفضاء المتجهي نفسه | لا حاجة إلى ترجمة؛ تبقى الأصول هي المرجع | ضعيف في المطابقة الحرفية؛ يجب اختباره على مصطلحاتكم |
| ترجمة الاستعلام أو توسيعه بالمسرد | يُترجم السؤال أو يُستكمل بمصطلحات مكافئة قبل البحث بالكلمات المفتاحية | يصبح البحث بالكلمات المفتاحية ممكنًا عبر اللغات | الترجمة الخاطئة لمصطلح تقني تُفوّت الوثيقة |
| الترجمة عند الفهرسة | تُترجم الوثائق آليًا وتُفهرس الترجمات إلى جانب الأصول | لغة واحدة للبحث والمراجعة | الكلفة والأخطاء في المصطلحات التقنية؛ ترخيص نموذج الترجمة وسرية البيانات |
البحث بالكلمات المفتاحية وحده لا يعبر الحدود بين اللغات. ففي اختبار MKQA عبر اللغات المنشور مع BGE-M3، حيث يجب أن تجد أسئلة بـ 25 لغة مقاطع باللغة الإنجليزية، بلغ الاسترجاع عند 100 (recall@100) لدى BM25 نسبة 18.9% للأسئلة العربية و45.3% للأسئلة الفرنسية، بينما بلغ BGE-M3 بالجمع بين أنماطه الكثيفة والمتناثرة ومتعددة المتجهات 71.5% و76.6% (Chen et al., 2024).
إذا قررتم الترجمة، فتحققوا من الترخيص. فبطاقة نموذج NLLB-200 من Meta، مثلًا، تذكر ترخيصًا غير تجاري CC BY-NC 4.0، وتصفه بأنه نموذج بحثي غير مُعدّ للإنتاج، وتستبعد من نطاقه النصوص المتخصصة وترجمة الوثائق، مع مدخلات تدريب لا تتجاوز 512 وحدة (token) (بطاقة نموذج NLLB-200).
والخيار الافتراضي المعقول هو النهج الهجين: تضمينات متعددة اللغات للمعنى، وبحث بالكلمات المفتاحية خاص بكل لغة للمعرّفات الحرفية، ومسرد صغير ثلاثي اللغات لمصطلحات معداتكم وعملياتكم (pompe، مضخة، pump) لتوسيع الأسئلة.
أي نموذج لغوي يستطيع الإجابة باللغات الثلاث؟
اقرؤوا بطاقة النموذج لا الصفحة التسويقية. فبحسب ما تحققنا منه في نوفمبر 2026، تذكر Meta ثماني لغات مدعومة لـ Llama 3.1 (الإنجليزية والألمانية والفرنسية والإيطالية والبرتغالية والهندية والإسبانية والتايلاندية)، وتعدّ اللغات الأخرى خارج النطاق، و«لا تشجع بشدة» على استخدامه للمحادثة بها (بطاقة نموذج Llama 3.1). أما بطاقة Llama 4 فتذكر العربية والفرنسية والإنجليزية ضمن اثنتي عشرة لغة مدعومة (بطاقة نموذج Llama 4 Scout). ويتناول مقالنا عن اختيار نموذج LLM مفتوح الأوزان المعايير الأخرى.
ثم تحققوا من أمرين:
- كلفة الوحدات (tokens) حسب اللغة. قد ينتج النص نفسه أعدادًا مختلفة جدًا من الوحدات بحسب اللغة، تصل إلى 15 ضعفًا في بعض الحالات (Petrov et al., 2023). قيسوا عينات بالعربية والفرنسية والإنجليزية بمقطّع (tokenizer) النموذج المرشح قبل تحديد العتاد، كما هو موضح في دليلنا لتحديد حجم GPU.
- لغة الإجابة. يسمي الباحثون عجز النموذج عن الإجابة باستمرار بلغة المستخدم «الخلط اللغوي» (language confusion). ويغطي معيارهم 15 لغة منها العربية والفرنسية؛ ومن بين النماذج المختبرة في 2024، أظهرت نماذج Llama Instruct وMistral مستويات مرتفعة منه. وازداد الخلط مع التعليمات المعقدة ودرجات حرارة أخذ العينات المرتفعة، وانخفض جزئيًا بالأمثلة القليلة في التعليمات (few-shot prompting) وبالضبط الدقيق (fine-tuning) متعدد اللغات (Marchisio et al., 2024). حددوا لغة الإجابة في التعليمات وأبقوا درجة الحرارة منخفضة.
لمزيد من القراءة: الضبط الدقيق أم RAG ومقالنا عن المصطلحات الصناعية العربية.
كيف نختبر مساعدًا وثائقيًا ثلاثي اللغات؟
ابنوا مجموعة الاختبار في شكل شبكة تقاطع لغة السؤال مع لغة الوثيقة، وقيّموا كل خانة.
- جمع أسئلة حقيقية من الفنيين والمهندسين بالعربية والفرنسية والإنجليزية، بما فيها أسئلة مختلطة، مثل جملة عربية تتضمن اسم قطعة بالفرنسية.
- تسجيل المقطع الصحيح لكل سؤال، ولغته، ولغة الإجابة المتوقعة.
- إدراج قيم مكتوبة بشكلي الأرقام، ورموز معدات بشرطة ودونها، وأسئلة لا توجد إجابتها في الوثائق.
- قياس معدل الاسترجاع لكل خانة في الشبكة (سؤال بالعربية نحو وثيقة بالفرنسية، وسؤال بالفرنسية نحو وثيقة بالإنجليزية، وهكذا).
- التحقق من أن كل إجابة باللغة المتوقعة وأن القيم المقتبسة تطابق المصدر تمامًا.
- إسناد مراجعة المصطلحات العربية والفرنسية في عينة من الإجابات إلى مهندس يتقن هذه اللغات.
- إعادة تشغيل الشبكة كاملة بعد أي تغيير في التعرف الضوئي أو التوحيد أو التضمينات أو النموذج أو التعليمات.
ويشرح دليلنا لتقييم نموذج LLM على وثائقكم أساليب التقييم بتفصيل أكبر.
ما لاحظناه في KABAS AI
يعمل DALILE، مساعدنا المعرفي القائم على الذكاء الاصطناعي، على خوادم العميل نفسه، ويجيب انطلاقًا من الوثائق وجداول البيانات وقواعد البيانات مع ذكر المصادر الدقيقة. وللتشغيل داخل المؤسسة نتيجة مباشرة على الوثائق متعددة اللغات: فالتعرف الضوئي وتحديد اللغة والتوحيد والتضمينات وأي ترجمة يجب أن تعمل كلها محليًا أيضًا. فلا يمكن إرسال إجراء سري مكتوب بالفرنسية إلى واجهة ترجمة سحابية لمجرد جعله قابلًا للبحث بالعربية، ويجب أن يكون لكل نموذج محلي في السلسلة، بما في ذلك نموذج الترجمة، ترخيص يسمح باستخدامكم.
وتدرس ADFC (مجمع سوناطراك) وENAD Shymeca، وهما عميلان يستخدمان Virtual Lab، التكامل مع DALILE لتحسين اكتشاف المعرفة، وفي حالة ADFC التوثيق التقني أيضًا (دراسة حالة ADFC، دراسة حالة ENAD Shymeca).
ونصيحتنا أن تبدؤوا بجرد للغات: ما عائلات الوثائق الموجودة وبأي لغة، ومن يكتب الجديد منها، وبأي لغة يطرح المستخدمون أسئلتهم. فهذا الجرد هو الذي يحدد إعدادات التعرف الضوئي والمحللات والمسرد وشبكة الاختبار. وتتولى خدمة الذكاء الاصطناعي الوكيلي لدينا نشر DALILE وربطه بأنظمة إدارة الوثائق وقواعد البيانات لديكم.
المصادر
- Chen et al., M3-Embedding: Multi-Linguality, Multi-Functionality, Multi-Granularity Text Embeddings Through Self-Knowledge Distillation (arXiv 2402.03216, 2024)
- Apache Lucene, ArabicNormalizer documentation
- Meta, Llama 3.1 8B Instruct model card (Hugging Face)
- Meta, Llama 4 Scout 17B-16E Instruct model card (Hugging Face)
- Marchisio et al., Understanding and Mitigating Language Confusion in LLMs (arXiv 2406.20052, 2024)
- دستور الجزائر 2020 (Constitute Project)
- Tesseract documentation, Command line usage
- Heakl et al., KITAB-Bench: A Comprehensive Multi-Domain Benchmark for Arabic OCR and Document Understanding (arXiv 2502.14949, 2025)
- The Unicode Standard, Version 18.0, Core Specification, chapter 9
- Elastic documentation, Decimal digit token filter
- Unicode Standard Annex #9, Unicode Bidirectional Algorithm
- Elastic documentation, Language analyzers
- fastText, Language identification
- Meta, NLLB-200 distilled 600M model card (Hugging Face)
- Petrov et al., Language Model Tokenizers Introduce Unfairness Between Languages (arXiv 2305.15425, 2023)
الأسئلة الشائعة
هل يجب ترجمة كل وثائقنا إلى لغة واحدة قبل فهرستها؟
ليس في الخطوة الأولى عادةً. فنموذج التضمين (embeddings) متعدد اللغات يسمح لسؤال بالعربية بأن يجد مقطعًا بالفرنسية أو الإنجليزية دون ترجمة المجموعة الوثائقية، ويبقى النص الأصلي هو المرجع. وقد تفيد الترجمة عند الفهرسة لمجموعة صغيرة من الوثائق الأساسية، لكنها تتطلب نموذجًا يسمح ترخيصه بالاستخدام الإنتاجي ومسردًا للمصطلحات التقنية.
هل يستطيع المساعد أن يجيب بالعربية انطلاقًا من وثيقة بالفرنسية أو الإنجليزية؟
نعم. يجد البحث المقطع بلغته الأصلية، ويكتب النموذج اللغوي الإجابة بلغة السؤال. اعرضوا المقطع المستشهد به بلغته الأصلية إلى جانب الإجابة، حتى يتمكن القارئ من مطابقة القيم والمصطلحات مع المصدر.
لماذا لا يجد البحث كلمات عربية موجودة فعلًا في الوثيقة؟
السببان المعتادان هما اختلاف أشكال الكتابة وأخطاء التعرف الضوئي على الحروف. فالكلمة نفسها قد تُكتب بأشكال مختلفة للهمزة، أو بالتشكيل أو دونه، أو مع حرف التطويل، لذلك يجب توحيد النص العربي بالطريقة نفسها عند الفهرسة وعند الاستعلام. ثم افحصوا يدويًا عينة من مخرجات التعرف الضوئي.
كيف نتعامل مع الأرقام الهندية (العربية المشرقية) والأرقام الغربية؟
يرمّز Unicode الأرقام العربية الهندية بشكل منفصل عن الأرقام من 0 إلى 9، فيمكن أن تُخزَّن القيمة نفسها بشكلين. حوّلوا كل الأرقام إلى 0 إلى 9 في فهرس البحث حتى تطابق الاستعلامات أيًّا من الشكلين، واحتفظوا بالنص الأصلي للعرض والاستشهاد.
بأي لغة يجب أن يجيب المساعد؟
بلغة السؤال ما لم يطلب المستخدم غير ذلك، مع النص على ذلك صراحة في التعليمات المعطاة للنموذج. فالنماذج اللغوية تغيّر اللغة أحيانًا من تلقاء نفسها، لذلك تحققوا من لغة الإجابات في اختباراتكم واقتبسوا المقاطع المصدرية بلغتها الأصلية.
هل يحتاج المساعد إلى فهم الدارجة الجزائرية؟
يتوقف ذلك على وثائقكم. فالأدلة والإجراءات الرسمية تُكتب في الغالب بالعربية الفصحى المعاصرة أو الفرنسية أو الإنجليزية، بينما قد تتضمن الملاحظات والرسائل غير الرسمية دارجة ممزوجة بالفرنسية. وبطاقات النماذج المذكورة هنا تذكر العربية دون تحديد لهجات، لذلك اختبروا النماذج المرشحة على عينات من ملاحظاتكم.



