جدول المحتويات
أكثر مشكلات جودة البيانات شيوعًا في التعلم الآلي الصناعي هي القيم المفقودة المتخفية في صورة أصفار أو قيم ثابتة، والمستشعرات المجمّدة، والقيم الشاذة، وانجراف المستشعرات، وضغط البيانات في قاعدة البيانات التاريخية، وعدم تطابق الطوابع الزمنية ومعدلات أخذ العينات، والفترات التي لا تمثل تشغيلًا عاديًا مثل التوقفات واختبارات الحلقات. ومعظمها يبدو معقولًا على المنحنى، لذا يحتاج كل منها إلى فحص صريح قبل النمذجة.
أهم النقاط
- تذكر مراجعة للمستشعرات البرمجية في الصناعات التحويلية أن الضجيج والقيم المفقودة والقيم الشاذة والمتغيرات المترابطة خطيًا (co-linear) واختلاف معدلات أخذ العينات أمور شائعة في بيانات المصانع، وأن معالجتها تتطلب عملًا يدويًا كثيرًا (Kadlec et al., 2009).
- تظهر القيم المفقودة غالبًا في صورة صفر أو قيمة ثابتة أخرى لا في صورة خانة فارغة، فيتعلمها النموذج كأنها قياسات حقيقية.
- يغيّر ضغط قاعدة البيانات التاريخية متوسط البيانات المؤرشفة وتباينها؛ واقترح Thornhill وزملاؤه ألا تُستخدم البيانات المضغوطة، وبحذر، إلا إذا كان معامل الضغط 3 أو أقل (Thornhill et al., 2004).
- يصنّف معيار OPC UA النتائج إلى Good أو Uncertain أو Bad، وينص على أن النتائج ذات الحالة Bad لا يجوز استخدامها أبدًا («shall never be used») (OPC Foundation). احتفظوا بهذه الحالة مع كل قيمة مستخرجة.
لماذا بيانات المصانع أصعب مما تبدو؟
توحي سنوات من بيانات قاعدة البيانات التاريخية بوفرة بيانات التدريب، لكن جزءًا كبيرًا منها يصف الأجهزة ونظام جمع البيانات بقدر ما يصف العملية.
راجع Kadlec وGabrys وStrandt المستشعرات البرمجية القائمة على البيانات في الصناعات الكيميائية والعمليات الحيوية وصناعة الصلب، ووجدوا أن كثيرًا من المشكلات غير المحلولة في تطويرها وصيانتها يعود أصلها إلى بيانات العملية (Kadlec et al., 2009). والمشكلات نفسها تصيب المستشعرات البرمجية ونماذج الجودة التنبؤية وكواشف الشذوذ على حد سواء.
كما أن مشكلات البيانات تظهر متأخرة. فمن خلال مقابلة 53 ممارسًا للذكاء الاصطناعي في الهند وبلدان شرق إفريقيا وغربها والولايات المتحدة، في مجالات مثل الصحة وحماية البيئة، وجد Sambasivan وزملاؤه أن «تتاليات البيانات» (data cascades)، أي المشكلات المتراكمة في المراحل اللاحقة الناتجة عن عيوب البيانات، بلغ انتشارها 92% (Sambasivan et al., 2021). لم تتناول الدراسة المصانع، لكن الدرس ينطبق عليها.
ما المشكلات الشائعة؟
| المشكلة | كيف تظهر في البيانات | السبب المعتاد | الفحص الأول |
|---|---|---|---|
| قيم مفقودة أو بديلة | خانات فارغة أو أصفار أو قيمة ثابتة | عطل المستشعر أو صيانته أو إزالته؛ انقطاع الاتصال | عدّ الخانات الفارغة والأصفار والقيم المتكررة لكل نقطة قياس |
| قيم مجمّدة | القيمة نفسها لساعات بينما تتحرك نقاط القياس المرتبطة | مُرسِل عالق، أو عطل في الواجهة | أطول سلسلة من القيم المتطابقة |
| قيم شاذة | قفزات، أو قيم مستحيلة فيزيائيًا | ضجيج، أخطاء نقل، أو اضطرابات حقيقية | الحدود الفيزيائية؛ حدود قائمة على الوسيط |
| انجراف المستشعر | فرق بطيء عن الأجهزة الاحتياطية أو المختبر | الاتساخ، التقادم، فقدان المعايرة | المقارنة بنقاط القياس الاحتياطية والمختبر والموازنات |
| حالة Bad أو Uncertain | قيم موسومة تُصدَّر من دون وسمها | عطل في الجهاز، اختبار حلقة، انقطاع الاتصال | استخراج الحالة مع كل قيمة |
| ضغط قاعدة البيانات التاريخية | قطع مستقيمة بين النقاط المؤرشفة؛ تباين أقل | إعدادات ضغط أو استثناء واسعة | عدد النقاط المؤرشفة في اليوم |
| عدم تطابق الطوابع الزمنية والمعدلات | نتائج مختبر بوقت إدخالها؛ ساعات مكررة أو مفقودة | الإدخال اليدوي، إعدادات الساعات، تأخيرات العملية | مقارنة أوقات أخذ العينة وتحليلها وإدخالها |
| فترات خارج التشغيل العادي | بدء التشغيل والتوقفات والاختبارات داخل البيانات «العادية» | عدم ربط سجل الأحداث | ربط سجلات الوردية والصيانة والإنذارات |
| مشكلات التسميات (labels) | تسميات قليلة؛ مدخلات تستخدم معلومات من المستقبل | تواتر منخفض لأخذ العينات، تسرّب البيانات | التحقق مما كان معروفًا لحظة التنبؤ |
القيم المفقودة: لماذا الخانات الفارغة هي الحالة السهلة؟
يعرّف Kadlec وزملاؤه البيانات المفقودة في مصانع العمليات بأنها قيم لا تعكس الحالة الحقيقية للكمية المقيسة، ويلاحظون أن المتغيرات المتأثرة تُظهر عادة صفرًا أو قيمة ثابتة أخرى. ومن أسبابها الشائعة عطل المستشعر أو صيانته أو إزالته، ومشكلات النقل أو قاعدة البيانات (Kadlec et al., 2009).
الخانة الفارغة سهلة الكشف. أما الصفر فلا: إذ يعامل النموذج التدفق الصفري على أنه توقف حقيقي. قارنوا سلاسل الأصفار أو القيمة الواحدة بسجلات الصيانة وإنذارات الاتصال.
وتصف المراجعة نفسها ملء الفجوات بالمتوسط بأنه أسلوب «بدائي جدًا وغير موصى به»، رغم أنه ما زال شائعًا، وتشير إلى أساليب تستخدم المتغيرات الأخرى. وتميّز مكتبة scikit-learn بين الإكمال (imputation) أحادي المتغير، الذي يستخدم نقطة القياس نفسها فقط، والإكمال متعدد المتغيرات، الذي يستخدم كل الخصائص المتاحة، وتلاحظ أن الاحتفاظ بأثر القيم التي كانت مفقودة «قد يكون مفيدًا» (scikit-learn). لا تُكمِلوا إلا الفجوات القصيرة، ووسِموا كل قيمة مُكمَّلة، واستبعدوا الانقطاعات الطويلة.
القيم المجمّدة والقيم الشاذة: كيف نكتشفها؟
القيمة المجمّدة تتوقف عن التغير بينما تتحرك العملية من حولها. ويذكر Kadlec وزملاؤه المتغيرات العالقة على قيمة ثابتة ضمن المشكلات الواضحة التي يجب رصدها في الفحص الأول للبيانات. ابحثوا عن سلاسل طويلة من القيم المتطابقة أو عن انحراف معياري متحرك يساوي صفرًا، وقارنوا بنقاط القياس التي يُفترض أن تتحرك معها. أما نقاط الضبط وحالات التشغيل والإيقاف فثابتة بطبيعتها.
القيم الشاذة نوعان (Kadlec et al., 2009):
- القيم الشاذة الواضحة تتجاوز حدودًا فيزيائية أو تقنية، مثل ضغط مطلق سالب. ويجب أن يزوّد المهندسون هذه الحدود.
- القيم الشاذة غير الواضحة تبقى داخل الحدود لكن خارج النطاق المعتاد. وتعتمد قاعدة 3 سيغما على المتوسط والانحراف المعياري، وهما يتأثران بالقيم الشاذة نفسها؛ أما مُعرِّف Hampel فيستخدم الوسيط والانحراف المطلق الوسيط، مما يجعله أكثر متانة.
لا تحذفوا كل قيمة غير مألوفة: فالاضطراب أو التوقف الطارئ بيانات حقيقية. احذفوا أخطاء الأجهزة، ووسِموا أحداث العملية.
هل المستشعر هو الذي ينجرف أم العملية؟
يميّز Kadlec وزملاؤه بين نوعين من الانجراف. انجراف العملية ينتج عن التآكل أو تراجع نشاط المحفّز أو نقاوة اللقيم أو الطقس، وهو يغيّر العملية. أما انجراف المستشعر فينتج عن جهاز القياس ولا يعكس أي تغيّر في العملية؛ والحل هو إعادة معايرة الجهاز أو تكييف النموذج، لا التدخل في العملية.
قارنوا نقطة القياس بالمُرسِلات الاحتياطية ونتائج المختبر وموازنات الكتلة أو الطاقة، واستخرجوا تواريخ المعايرة من نظام الصيانة. فالنموذج المدرَّب على فترة انجراف لم تُكتشف يتعلم هذا الانجراف على أنه سلوك للعملية.
هل تحتفظون بحالة الجودة مع كل قيمة؟
تَسِم الأجهزة وخوادم البيانات أصلًا كثيرًا من القيم الرديئة. وتحدد توصية NAMUR NE 107 أربع إشارات لحالة الأجهزة؛ منها «فحص الوظيفة» (function check) التي تدل على إشارة غير صالحة مؤقتًا، مثل المخرجات المفروضة أثناء اختبارات الحلقات، و«العطل» (failure) التي تدل على إشارة غير صالحة بسبب خلل (Endress+Hauser). وفي OPC UA، قد لا تكون النتائج ذات الحالة Uncertain «مناسبة لبعض الأغراض»، أما النتائج ذات الحالة Bad فلا يجوز استخدامها أبدًا (OPC Foundation).
في ملف تصدير يحتوي على القيم وحدها، تبدو القراءة المأخوذة أثناء اختبار حلقة مثل أي قراءة أخرى. استخرجوا الحالة أيضًا، واستبعدوا القيم التي ليست Good أو وسِموها.
كيف يغيّر ضغط قاعدة البيانات التاريخية البيانات؟
كثيرًا ما لا تخزّن قواعد البيانات التاريخية إلا جزءًا من القيم التي تتلقاها. ويصف Kadlec وزملاؤه أنظمة لا تسجّل عينة إلا عندما يتغير المتغير بأكثر من عتبة معينة: والعتبة المرتفعة أكثر من اللازم تُفوّت تغيّرات مهمة في العملية.
درس Thornhill وShoukat Choudhury وShah خوارزمية «swinging door» (الباب المتأرجح)، التي ذكرت OSIsoft أن قاعدة بياناتها التاريخية PI تستخدمها، وأساليب خطية متقطعة مشابهة (Thornhill et al., 2004). وقد غيّر الضغط متوسط البيانات المعاد بناؤها وقلّص تباينها، وأثّر في مؤشرات أداء حلقات التحكم. ومن نتائجهم:
- البيانات ذات معامل ضغط 3 أو أقل «يمكن استخدامها بحذر» في التحليلات القائمة على البيانات.
- في مجموعة بيانات صناعية واحدة، بلغت معاملات الضغط نحو 94 ولم تكن إلا خمس نقاط قياس عند 3 أو أقل؛ فحكم المؤلفون بأنها غير صالحة للتحليل القائم على البيانات.
- يجب أن تعتمد حسابات المتوسطات وتسوية البيانات وموازنات الكتلة على البيانات الأصلية، لا على القيم المعاد بناؤها.
وأفادت ورقة أولية (preprint) صدرت عام 2025 لمهندسين في Saudi Aramco، باستخدام إشارات اصطناعية، بأن ضغط «swinging door» المفرط فوّت 35% من حالات الشذوذ العابرة (Faqehi et al., 2025). إنها محاكاة لا دراسة في مصنع، لكنها تشير إلى الاتجاه نفسه.
لفحص نقطة قياس، قارنوا عدد النقاط المؤرشفة بمعدل المسح، أو، كما فعل Thornhill وزملاؤه، أعيدوا بناءها بالفاصل الزمني الأصلي وعدّوا الفروق من الرتبة الثانية التي تساوي صفرًا. ويتناول دليلنا حول بيانات قاعدة البيانات التاريخية للتعلم الآلي إعدادات الاستخراج.
هل تقول طوابعكم الزمنية الحقيقة؟
- نتائج المختبر. استخدموا وقت سحب العينة، لا وقت تحليلها أو إدخالها في نظام LIMS، كما يشرح دليلنا حول المستشعرات البرمجية.
- تأخيرات العملية. تستغرق المادة وقتًا لتعبر مفاعلًا أو عمودًا، لذا يجب إزاحة المدخلات بزمن المكوث أو الزمن الميت، وهو ما يتطلب معرفة بالعملية (Kadlec et al.).
- اختلاف المعدلات. لكل عينة مخبرية، خذوا آخر قيمة للعملية عند وقت العينة بعد إزاحته أو قبله، مع حد أقصى للفجوة حتى لا تُستخدم قيمة قديمة دون علم. وتؤدي الدالة
merge_asofفي pandas ذلك ببحث «backward» ومعاملtolerance(pandas). - الساعات. عند إرجاع الساعة مع انتهاء التوقيت الصيفي تتكرر أوقات محلية، وعند تقديمها لا توجد بعض الأوقات (PEP 495). وتعمل الجزائر بتوقيت UTC+1 من دون توقيت صيفي منذ 1981، بحسب قاعدة بيانات المناطق الزمنية IANA، لكن خادمًا مضبوطًا على منطقة زمنية أخرى، أو بيانات مدمجة من مواقع في بلدان تغيّر ساعاتها، قد يُنشئ ساعات مكررة أو مفقودة. خزّنوا البيانات واربطوها بتوقيت UTC، وتأكدوا من تطابق ساعات وحدات التحكم وقاعدة البيانات التاريخية ونظام LIMS.
ما الفترات التي يجب إبقاؤها خارج بيانات التدريب؟
النموذج المدرَّب على «كل البيانات» يتعلم بدء التشغيل والتوقفات واختبارات الحلقات والمعايرات على أنها تشغيل عادي. حدّدوها من سجلات الوردية والصيانة والأحداث، ثم استبعدوها أو وسِموها. ووسِموا أنماط التشغيل أيضًا؛ إذ يشرح دليلنا لكشف الشذوذ لماذا يحتاج كل نمط عادة إلى نموذج خاص به. أما مصانع الدفعات فعليها أيضًا مطابقة أرقام الدفعات بين الأنظمة، كما يوضح مقال تحليل الدفعة الذهبية.
هل التسميات جيدة بما يكفي؟
- كم عددها؟ سنة من العينات المخبرية بمعدل عينة في كل وردية تعطي نحو ألف نقطة، وقد لا تمثل العيوب إلا نسبة صغيرة من القطع، كما يبيّن دليلنا للجودة التنبؤية.
- هل هي صحيحة؟ لطرق المختبر قابلية تكرار (repeatability) خاصة بها. افحصوا قيم المختبر قبل التدريب.
- هل كانت معروفة لحظة التنبؤ؟ تعرّف scikit-learn تسرّب البيانات (data leakage) بأنه استخدام معلومات لن تكون متاحة لحظة التنبؤ عند بناء النموذج، مما يعطي تقديرات متفائلة أكثر من اللازم وأداءً أضعف في الإنتاج (scikit-learn). ومن الأمثلة النموذجية ترك مؤشر إعادة التشغيل (rework) ضمن المدخلات.
كيف نفحص جودة البيانات خطوة بخطوة؟
- صياغة السؤال أولًا: النموذج، والمتغير المستهدف، ونقاط القياس. فنقطة القياس الكافية لتقرير يومي قد تكون مضغوطة أكثر من اللازم لمستشعر برمجي.
- الحصول على قائمة نقاط القياس مع بياناتها الوصفية: الوحدات، والنطاقات، ومعدل المسح، وإعدادات الضغط، وتواريخ استبدال الأجهزة.
- استخراج القيم الخام مع حالتها، بالدقة المؤرشفة لا بالقيم المستوفاة، مع بيانات المختبر والأحداث والصيانة.
- توصيف كل نقطة قياس: نسبة القيم المفقودة والصفرية والثابتة، وأطول سلسلة مجمّدة، والقيم خارج الحدود الفيزيائية.
- فحص الضغط والطوابع الزمنية، بما في ذلك وقت أخذ العينة مقابل وقت إدخالها وإعدادات الساعات.
- تحديد الفترات الخارجة عن التشغيل العادي مع المشغلين.
- التحقق من الانجراف بالمقارنة مع الأجهزة الاحتياطية والمختبر والموازنات.
- توثيق كل قاعدة كتابيًا حتى تُطبَّق بالطريقة نفسها على البيانات الحية.
هل ننظّف البيانات أم نعالج المصدر؟
الأمران معًا، لكن معالجة المصدر تدوم أطول وتفيد كل النماذج اللاحقة. أصلحوا الأجهزة التي تقف وراء أسوأ نقاط القياس أو أعيدوا معايرتها، وراجعوا إعدادات الضغط لنقاط القياس التي تغذي النماذج وفق توجيهات مورّد قاعدة البيانات التاريخية، وسجّلوا أوقات أخذ العينات، وحافظوا على اكتمال سجلات الأحداث. ويتناول مقالانا حول حوكمة البيانات الصناعية وقائمة التحقق من جاهزية بيانات النفط والغاز مسألة المسؤوليات والأسئلة التي تُطرح قبل المشروع.
ويجب أن تعمل الفحوص نفسها أيضًا، مع التنبيهات، على البيانات الحية التي تغذي النموذج.
ما الذي لاحظناه في KABAS AI
تبدأ خدمة علوم البيانات لدينا بجمع البيانات وتحضيرها (تجميعها وتنظيفها وهيكلتها للتحليل والذكاء الاصطناعي) وتنتهي بمسارات MLOps تراقب النماذج في الإنتاج. وفي صفحة الصناعة التحويلية، يقدّم DALILE تحليل اتجاهات الجودة وكشف الشذوذ في بيانات الإنتاج، وهي وظائف تعتمد على الفحوص الموصوفة هنا.
نصيحتنا العملية: وصّفوا البيانات قبل الاتفاق على نطاق النموذج، واطلبوا من فنيي الأجهزة ومهندسي العمليات الذين يعرفون أي المُرسِلات غير موثوقة أن يحوّلوا هذه المعرفة إلى قواعد مكتوبة. واحتفظوا بالبيانات الخام المستخرجة داخل شبكتكم الخاصة. وبشأن الفريق، راجعوا مقال بناء أول فريق بيانات صناعي.
المصادر
- Kadlec, Gabrys and Strandt, Data-driven Soft Sensors in the Process Industry, Computers and Chemical Engineering 33(4), 2009
- Thornhill, Shoukat Choudhury and Shah, The impact of compression on data-driven process analyses, Journal of Process Control 14(4), 2004
- Faqehi et al., The Impact of Data Compression in Real-Time and Historical Data Acquisition Systems on the Accuracy of Analytical Solutions, arXiv 2510.26868, 2025
- Sambasivan et al., "Everyone wants to do the model work, not the data work": Data Cascades in High-Stakes AI, CHI 2021
- OPC Foundation, OPC 10000-4 Part 4: Services, 7.38.1 StatusCode General
- Endress+Hauser, NAMUR NE 107
- scikit-learn, Imputation of missing values
- scikit-learn, Common pitfalls and recommended practices
- pandas, pandas.merge_asof
- Python, PEP 495: Local Time Disambiguation
- IANA time zone database, africa file (Africa/Algiers)
الأسئلة الشائعة
هل نُكمل القيم المفقودة للمستشعرات أم نحذفها؟
لا تُكمِلوا إلا الفجوات القصيرة، ووسِموا كل قيمة مُكمَّلة حتى يعرف النموذج ومستخدموه أنها مُقدَّرة. أما الانقطاعات الطويلة، والأصفار أو القيم الثابتة التي يتركها مستشعر معطل، فالأفضل حذفها أو وسمها بأنها مفقودة. والأساليب التي تقدّر القيمة المفقودة من نقاط قياس مرتبطة بها أفضل عادة من ملئها بمتوسط نقطة القياس نفسها.
ما إعداد الضغط الآمن في قاعدة البيانات التاريخية للتعلم الآلي؟
لا يوجد إعداد صالح لكل الحالات. فقد اقترح Thornhill وزملاؤه أن البيانات المؤرشفة بمعامل ضغط 3 أو أقل يمكن استخدامها بحذر في التحليلات القائمة على البيانات. وبالنسبة لنقاط القياس التي تغذي نموذجًا، راجعوا إعدادات الضغط والاستثناء مع مسؤول قاعدة البيانات التاريخية، وفكّروا في الاحتفاظ بنسخة أقل ضغطًا.
هل يستطيع نموذج التعلم الآلي التعامل وحده مع البيانات الرديئة؟
جزئيًا فقط. فالأساليب المتينة تقلل أثر بعض القيم الشاذة، لكن المُرسِل المجمّد أو الصفر البديل أو المستشعر المنجرف يبدو للنموذج بيانات صالحة. ويجب كشف هذه الحالات بفحوص صريحة وبالمعرفة بالعملية، في بيانات التدريب وفي البيانات الحية على حد سواء.
كيف نميّز انجراف المستشعر من تغيّر حقيقي في العملية؟
قارنوا نقطة القياس بمعلومة مستقلة: مُرسِل احتياطي، أو نتائج المختبر، أو موازنة كتلة أو طاقة. فإذا تحرك جهاز واحد بينما تتفق الأجهزة الأخرى، فاشتبهوا في المستشعر وراجعوا سجل معايرته. وإذا تحركت عدة قياسات مرتبطة معًا، فالأرجح أن العملية هي التي تغيرت.
من يجب أن يكون مسؤولًا عن جودة البيانات في المصنع؟
تحتاج جودة البيانات إلى فريق الأجهزة ومهندسي العمليات ومن يديرون قاعدة البيانات التاريخية ونظام LIMS، لا إلى علماء البيانات وحدهم. والترتيب العملي هو تعيين مسؤول محدد لكل قائمة من نقاط القياس الحرجة، وتوثيق مجموعة الفحوص، ووضع إجراء دوري لمعالجة مصدر المشكلات المتكررة.
هل نحتاج إلى بيانات مثالية قبل بدء المشروع؟
لا. المهم معرفة المشكلات الموجودة، وكيف تؤثر في النموذج المقصود، وهل يمكن إصلاحها أو استبعادها. ويجيب عن ذلك عمل قصير لتوصيف نقاط القياس المعنية قبل بدء النمذجة.



