جدول المحتويات
لاستخراج بيانات قاعدة البيانات التاريخية للعملية (historian) من أجل التعلم الآلي، اقرؤوا القيم الخام المسجّلة عبر مسار للقراءة فقط يمر بالمنطقة منزوعة السلاح (DMZ)، واحتفظوا بمؤشر الجودة لكل قيمة، وخزّنوا الطوابع الزمنية بتوقيت UTC، ثم أعيدوا أخذ العينات على شبكة زمنية موحدة بمتوسطات موزونة زمنيًا. وتحقّقوا أولًا من ضغط كل وسم: فالأرشيفات المضغوطة بأكثر من ثلاثة أضعاف تقريبًا قد تضلّل النماذج القائمة على البيانات.
أهم النقاط
- لا تحتفظ قاعدة البيانات التاريخية بكل قراءة. فمرشّحا الاستثناء والضغط يحذفان قيمًا، وتصف AVEVA الضغط بأنه حذف للبيانات التي يمكن إعادة إنشائها بالاستكمال.
- غيّر ضغط swinging door (الباب المتأرجح) متوسط بيانات المصنع وانحرافها المعياري، واقترحت دراسة محكّمة أن البيانات ذات معامل ضغط 3 أو أقل فقط يمكن استخدامها بحذر في التحليل القائم على البيانات.
- استخرجوا القيم الخام المسجّلة مع حالتها. فالقيم المستكمَلة محسوبة، والمتوسط البسيط لنقاط غير منتظمة ليس متوسطًا موزونًا زمنيًا.
- احتفظوا بالطوابع الزمنية بتوقيت UTC، واربطوا نتائج المختبر والأحداث بالزمن عبر ربط as-of، وقسّموا بيانات التدريب والاختبار حسب الزمن.
- أخرجوا البيانات من شبكة التقنيات التشغيلية (OT) عبر الـDMZ بأنماط للقراءة فقط قائمة على الدفع، كما توصي الإرشادات المشتركة الحالية.
ماذا تخزّن قاعدة البيانات التاريخية للعملية فعلًا؟
يعرّف NIST قاعدة البيانات التاريخية بأنها قاعدة بيانات مركزية تدعم تحليل البيانات باستخدام تقنيات التحكم الإحصائي في العمليات (NIST CSRC). وتقع في نموذج Purdue عند المستوى 3، فوق أنظمة SCADA وDCS (نموذج Purdue والذكاء الاصطناعي). وهي تخزّن سلسلة زمنية لكل وسم: طابعًا زمنيًا وقيمة وحالة.
لكنها لا تخزّن كل عملية مسح. ففي نظام PI من AVEVA يعمل مرشّحان قبل الأرشفة (AVEVA, 2023):
- الإبلاغ بالاستثناء (exception reporting) نطاق ميت (deadband) بسيط تطبّقه الواجهة. فلا تُرسَل قيمة جديدة إلا إذا تغيّرت بأكثر من انحراف الاستثناء، أو إذا انقضت مدة قصوى.
- الضغط يستخدم خوارزمية swinging door لحذف البيانات التي يمكن إعادة إنشائها بأمان بالاستكمال. والهدف المعلن هو ترشيح ضجيج الجهاز والعملية مع الاستمرار في تسجيل التغيرات المهمة في العملية.
ويقترح العرض التقديمي نفسه لـAVEVA ضبط انحراف الضغط بما لا يتجاوز دقة الجهاز، وانحراف الاستثناء عند نصف تلك القيمة. وفي تجربة بحرية يصفها العرض، خفّض الاستثناء والضغط معًا البيانات المخزّنة على البر بنحو 94%. وتستخدم قواعد بيانات تاريخية أخرى خوارزميات مختلفة، لكن النتيجة متشابهة: النقاط المؤرشفة غير منتظمة، كثيفة حول التغيرات ومتباعدة في التشغيل المستقر.
ما مستوى الضغط الذي يصبح عنده عائقًا أمام التعلم الآلي؟
درس Thornhill وChoudhury وShah هذه المسألة مباشرة (Thornhill et al., 2004). ويعرّفون معامل الضغط بأنه النسبة بين حجم التخزين اللازم للبيانات الأصلية وحجمه للبيانات المؤرشفة. ومن نتائجهم:
- غيّر ضغط swinging door خصائص إحصائية أساسية لمجموعة البيانات مثل القيمة المتوسطة والانحراف المعياري، وتأثرت تحليلات أخرى قائمة على البيانات أيضًا.
- في مجموعتين من بيانات العمليات، كانت النتائج عند معامل ضغط 3 قريبة من الحالة غير المضغوطة، ولم تظهر لاخطية عند 3 أو أقل. ومن هنا قاعدتهم: البيانات ذات معامل 3 أو أقل يمكن استخدامها بحذر.
- في مجموعة بيانات صناعية واحدة، بلغت المعاملات 93.8 ولم تكن إلا خمسة وسوم عند 3 أو أقل. وبمجرد الضغط ضاعت البيانات الأصلية إلى الأبد.
وهذا التناقض يستحق المعرفة. فالعرض التقديمي لـAVEVA، المكتوب من زاوية أداء قاعدة البيانات التاريخية، يذكر نسبة ضغط دنيا مقترحة قدرها 3:1. فالنسبة نفسها التي تُعدّ حدًا أدنى للأداء هي حدّ أقصى للتحليل.
يمكنكم تقدير المعامل لكل وسم قبل النمذجة. عُدّوا القيم المسجّلة في فترة ما وقارنوها بعدد عمليات المسح. فالوسم الذي يُمسح كل 10 ثوانٍ ينتج 8640 عملية مسح في اليوم؛ وإذا احتفظت قاعدة البيانات التاريخية بـ300 قيمة فالمعامل نحو 29. كما يصف Thornhill وزملاؤه طريقة لكشف الضغط من البيانات نفسها، بعدّ المشتقات الثانية المساوية للصفر في المنحنى المُعاد بناؤه.
خام أم مستكمَل أم مجمَّع: أي نمط قراءة يُختار؟
يعرّف معيار OPC UA Historical Access ثلاثة أنواع من القراءة للبيانات التاريخية (OPC 10000-11). وتستخدم واجهات الموردين أسماءها الخاصة لخيارات مماثلة.
| نمط القراءة | مصطلح OPC UA | ما تحصلون عليه | الاستخدام في التعلم الآلي | الخطر الرئيسي |
|---|---|---|---|---|
| خام (القيم المسجّلة) | Read raw | القيم المؤرشفة بطوابعها الزمنية الأصلية، مع حالتها | الخيار الافتراضي لبيانات التدريب؛ تتحكمون في إعادة أخذ العينات والفجوات | أحجام كبيرة؛ تباعد غير منتظم |
| عند لحظة محددة (مستكمَل) | Read at time | قيمة عند كل طابع زمني مطلوب، تُستكمَل بين النقاط المؤرشفة إذا لم توجد قيمة | نظرة سريعة على بيانات منتظمة التباعد | يُخفي الضغط؛ قد يرسم خطوطًا عبر فترات الانقطاع |
| معالَج (تجميعات) | Read processed | قيمة واحدة لكل فاصل: المتوسط الزمني، والحد الأدنى، والحد الأقصى، والعدد، ونسبة القيم الجيدة وغيرها | متغيرات بدقة النموذج الزمنية، يحسبها الخادم | اختيار تجميع خاطئ يعطي قيمًا منحازة |
في القراءة عند لحظة محددة، يبيّن OPC UA لكل قيمة مُعادة ما إذا كانت خامًا أو مستكمَلة. وفي القراءة الخام، تُعاد الفترة الخالية من البيانات بالحالة Good_NoData. احتفظوا بهذه المؤشرات في البيانات المستخرجة.
واختيار التجميع أهم مما يبدو. فتجميع Average في OPC UA يجمع كل القيم الخام الجيدة في كل فاصل ويقسم المجموع على عدد تلك القيم (OPC 10000-13, Average). أما TimeAverage فيصل النقاط بخطوط مائلة ويقسم المساحة تحتها على طول الفاصل (OPC 10000-13, TimeAverage). وفي البيانات المضغوطة تتجمع النقاط المؤرشفة حول التغيرات، فيعطي المتوسط البسيط وزنًا زائدًا للحالات العابرة. استخدموا المتوسطات الموزونة زمنيًا للوسوم التناظرية، والقيم الدرجية للوسوم المتقطعة مثل حالة المضخة: فالمتغير TimeAverage2 يتبع خاصية Stepped للوسم.
والحجم هو الحد العملي. إذ تذكر AVEVA بطء الاستجابة وانتهاء مهلة الاستعلام وبلوغ حد التجميع في الأرشيف (ArcMaxCollect) ضمن المشكلات الشائعة في أداء الاستعلامات (AVEVA, 2023). استخرجوا البيانات الخام على دفعات، مثل شهر واحد لكل مجموعة وسوم، خارج ساعات الذروة.
كيف تُعالج مؤشرات الجودة والقيم غير الصالحة؟
تحمل كل قيمة في OPC UA رمز حالة تكون درجة خطورته Good أو Uncertain أو Bad. وتعني Good أن النتيجة يمكن استخدامها، وUncertain أنها قد لا تكون مناسبة لبعض الأغراض، وBad أنها لا يمكن استخدامها (OPC 10000-4). وبحسب قاعدة البيانات التاريخية، قد تُخزَّن القراءة الفاشلة أيضًا في صورة علامة نصية بدل رقم.
قواعد تجنّب معظم المفاجآت:
- احتفظوا بعمود الحالة بجانب كل قيمة على امتداد سلسلة المعالجة كلها.
- عاملوا Bad بوصفها قيمة مفقودة، لا صفرًا أبدًا. فالتدفق الصفري أثناء عطل في الاتصال يعلّم النموذج توقفًا لم يحدث قط.
- لا تستكملوا عبر الفجوات الطويلة. حدّدوا فجوة قصوى لكل وسم بحسب ديناميكيته، واحذفوا النوافذ التي تتجاوزها أو ضعوا عليها علامة.
- ابحثوا عن القيم الثابتة ذات الحالة Good. فالمُرسِل العالق قد يعطي قيمة ثابتة دون أي خطأ.
وتجميع TimeAverage نفسه يستبعد القيم Bad ويضع على النتيجة الحالة Uncertain_DataSubNormal، لذا تحققوا من حالة التجميعات أيضًا. ويتناول مقالنا عن مشكلات جودة البيانات الصناعية القائمة الأوسع.
كيف تُعالج الطوابع الزمنية والمناطق الزمنية؟
في OPC UA، كل قيم الوقت المتبادلة بين الخوادم والعملاء هي بتوقيت UTC، والعملاء هم من يحوّلونها إلى التوقيت المحلي. ويحذّر القسم نفسه من أن الطابع الزمني للمصدر والطابع الزمني للخادم قد يصدران عن ساعتين مختلفتين غير متزامنتين (OPC 10000-3).
والجزائر تجعل الأمر أبسط من أوروبا: إذ تضع قاعدة بيانات المناطق الزمنية Africa/Algiers على توقيت CET (UTC+1) منذ مايو 1981، دون توقيت صيفي منذ 1980 (قاعدة بيانات tz من IANA). والفخاخ في مواضع أخرى: جدول بيانات مخبري بالتوقيت المحلي، أو خادم لمورّد مضبوط على منطقة زمنية أوروبية، أو نتيجة مخبرية مختومة بوقت التحليل بدل وقت أخذ العينة. خزّنوا كل شيء بتوقيت UTC ولا تحوّلوا إلا عند العرض. ويشرح دليلنا عن المستشعرات البرمجية لماذا يكون وقت أخذ العينة هو المعتبر.
كيف تُربط نتائج المختبر والأحداث ببيانات العملية؟
تصل نتائج المختبر وتغييرات الدرجة والتوقفات الاضطرارية وأعمال الصيانة في أوقات غير منتظمة. والربط من نوع as-of يطابق كل عينة مخبرية مع أقرب سطر من بيانات العملية زمنيًا. وفي مكتبة pandas، تشبه الدالة merge_asof الربط الأيسر إلا أن المطابقة تتم على أقرب مفتاح لا على المفاتيح المتساوية، مع معامل direction بقيم backward أو forward أو nearest، ومعامل tolerance اختياري (pandas).
استخدموا direction="backward" بعد إزاحة وقت أخذ العينة بالزمن الميت بين العملية ونقطة أخذ العينة. فلا يرى النموذج حينها إلا قيم العملية السابقة للعينة، وهو ما سيراه أثناء التشغيل الفعلي. وحدّدوا تسامحًا حتى لا تحصل العينة التي لا توجد قربها بيانات عملية على أي مطابقة بدل مطابقة قديمة. واستخدموا سجل الأحداث لحجب فترات بدء التشغيل والتوقف والاختبارات، كما في دليلنا عن أساليب كشف الحالات الشاذة.
كيف تُقسَّم البيانات المستخرجة وتُخزَّن؟
قسّموا حسب الزمن، لا عشوائيًا أبدًا. وتنبّه وثائق scikit-learn إلى أن طرق التحقق المتقاطع العادية على بيانات مرتبة زمنيًا تؤدي إلى التدريب على بيانات مستقبلية والتقييم على بيانات ماضية. ولأداتها TimeSeriesSplit معامل gap يستبعد عينات بين مجموعة التدريب ومجموعة الاختبار (scikit-learn)، وهو مفيد حين تعتمد المتغيرات على نوافذ متحركة.
خزّنوا النتيجة بصيغة عمودية مثل Apache Parquet، وهي صيغة ملفات مفتوحة المصدر موجّهة بالأعمدة ومصمَّمة لتخزين البيانات واسترجاعها بكفاءة (Apache Parquet). واحفظوا بجانبها ملف بيان (manifest): قائمة الوسوم، ونمط القراءة، والتجميع والفاصل الزمني، والفترة، وإعدادات الضغط وقت الاستخراج، وتاريخ الاستعلام. فبدونه لن يتمكن أحد من إعادة بناء مجموعة التدريب حين يحتاج النموذج إلى إعادة التدريب.
أين يجب أن يجري الاستخراج؟
ليس على شبكة التحكم. فوثيقة NIST SP 800-82r3 تنص على أن أي اتصالات بين مستوى المؤسسة ومستوى إدارة العمليات يجب أن تمر عبر خدمات داخل الـDMZ (NIST SP 800-82r3، القسم 5.4.1). وتفضّل الإرشادات المشتركة التي قادتها CISA معماريات الدفع أو الوسيط التي تُخرج المتغيرات أو الملخصات اللازمة من شبكة OT دون منح وصول وارد دائم، مع أنماط نقل أحادية الاتجاه ومناطق تجميع وسيطة خاضعة للتدقيق (CISA et al., 2025).
وعمليًا: حساب للقراءة فقط على نسخة من قاعدة البيانات التاريخية في الـDMZ، أو تصدير مجدول إلى منطقة تجميع وسيطة. ويتناول دليلانا عن دمج الذكاء الاصطناعي مع أنظمة SCADA وOT وعن صمامات البيانات والنقل أحادي الاتجاه جانب المعمارية.
خطوة بخطوة: من قاعدة البيانات التاريخية إلى مجموعة التدريب
- حدّدوا حالة الاستخدام وقائمة الوسوم مع مهندس العمليات. وسجّلوا لكل وسم وحدته ومداه ومعدل مسحه وإعدادات الاستثناء والضغط.
- قدّروا معامل الضغط لكل وسم على شهر نموذجي، وضعوا علامة على الوسوم التي تتجاوز 3 بكثير.
- استخرجوا القيم الخام المسجّلة مع حالتها على دفعات، عبر مسار القراءة فقط.
- حوّلوا إلى UTC، ورتّبوا، واحذفوا التكرارات.
- ضعوا علامة على القيم Bad وUncertain وعلى الفجوات الطويلة. ولا تملؤوها بالأصفار أبدًا.
- أعيدوا أخذ العينات على شبكة زمنية واحدة بمتوسطات موزونة زمنيًا للوسوم التناظرية وقيم درجية للوسوم المتقطعة.
- اربطوا نتائج المختبر والأحداث بربط as-of، مع الإزاحة بالزمن الميت.
- قسّموا حسب الزمن، واحفظوا بصيغة Parquet مع ملف بيان، واكتبوا كل خطوة في سكربت يمكن إعادة تشغيله.
- اطلبوا من فريق OT خفض الضغط على الوسوم التي يعتمد عليها النموذج، من الآن فصاعدًا.
ما لاحظناه في KABAS AI
تغطي خدمة علوم البيانات لدينا جمع البيانات وإعدادها، والنماذج التنبؤية، وخطوط MLOps التي تبقيها في الخدمة، وتغطي خدمة نظم المعلومات تكامل الأنظمة الحالية. والإرشادات الواردة هنا نابعة من هذا النوع من العمل، لا من معيار مقارنة منشور.
ثلاث نقاط تستحق التخطيط المبكر. خصّصوا ميزانية للوصول إلى البيانات قبل النمذجة، لأن الاستخراج قد يستغرق وقتًا أطول من النموذج. واكتبوا الاستخراج في سكربت منذ اليوم الأول، لأن النموذج الذي لا يمكن إعادة تدريبه على سلسلة المعالجة نفسها سينجرف دون علاج. واحسبوا المتغيرات في الإنتاج بالطريقة نفسها المستخدمة في التدريب: فإذا تعلّم النموذج من متوسطات موزونة زمنيًا على دقيقة واحدة، وجب أن يقدّم التدفق الحي ذلك بالضبط. وللتنظيم، راجعوا فريق البيانات الصناعية الأول لديكم، وافحصوا قاعدة البيانات التاريخية عبر تقييم الجاهزية للذكاء الاصطناعي قبل البدء.
المصادر
- NIST CSRC Glossary, Data historian
- NIST SP 800-82r3, Guide to Operational Technology (OT) Security, 2023
- CISA et al., Principles for the Secure Integration of Artificial Intelligence in Operational Technology, December 2025
- Bregenzer, Exception, Compression, and their Impacts on PI System Performance, AVEVA, 2023
- Thornhill, Choudhury and Shah, The impact of compression on data-driven process analyses, Journal of Process Control 14, 2004
- OPC 10000-11, OPC UA Part 11: Historical Access, Read raw, processed and at time
- OPC 10000-13, OPC UA Part 13: Aggregates, Average
- OPC 10000-13, OPC UA Part 13: Aggregates, TimeAverage
- OPC 10000-4, OPC UA Part 4: Services, StatusCode
- OPC 10000-3, OPC UA Part 3: Address Space Model, UtcTime
- IANA time zone database, africa file (Africa/Algiers)
- pandas documentation, pandas.merge_asof
- scikit-learn documentation, TimeSeriesSplit
- Apache Parquet, Overview
الأسئلة الشائعة
هل يمكن تدريب نموذج على القيم المستكمَلة (interpolated) من قاعدة البيانات التاريخية؟
يمكن ذلك، لكنه خيار افتراضي محفوف بالمخاطر. فالقيم المستكمَلة تُحسب بين النقاط المؤرشفة، لذلك تُخفي مدى ضغط الوسم (tag) وقد ترسم خطوطًا مستقيمة عبر فترات الانقطاع. استخرجوا القيم الخام المسجّلة مع حالتها، ثم أعيدوا أخذ العينات بأنفسكم لتتحكموا في معالجة الفجوات والقيم غير الصالحة.
ما معامل الضغط وكيف يُقدَّر؟
هو النسبة بين عدد القيم التي أنتجها الجهاز وعدد القيم التي احتفظت بها قاعدة البيانات التاريخية. ويُقدَّر عمليًا بقسمة عدد عمليات المسح في فترة ما على عدد القيم المسجّلة في الفترة نفسها: فالوسم الذي يُمسح كل 10 ثوانٍ يعطي 8640 عملية مسح في اليوم، وإذا سُجّلت 300 قيمة فقط كان المعامل نحو 29. وقد اقترح Thornhill وزملاؤه أن البيانات ذات معامل 3 أو أقل يمكن استخدامها بحذر في التحليل القائم على البيانات.
هل يجب إيقاف الضغط في قاعدة البيانات التاريخية؟
ليس على نحو شامل. فالضغط يحافظ على سرعة النظام ويجعل التخزين قابلًا للإدارة. والأفضل الاتفاق مع فريق التقنيات التشغيلية (OT) على الوسوم التي يحتاجها النموذج وخفض إعدادات الاستثناء والضغط الخاصة بها من الآن فصاعدًا، بعد التحقق من أثر ذلك على التخزين وأداء الاستعلامات. أما البيانات التي ضُغطت سابقًا فلا يمكن استرجاعها.
ما الفاصل الزمني المناسب لبيانات التدريب؟
يتوقف على ديناميكية العملية وحالة الاستخدام لا على قاعدة البيانات التاريخية. فالمستشعر البرمجي لمتغير نوعي تؤخذ عينته كل بضع ساعات قد يكفيه متوسطات على 1 إلى 5 دقائق، بينما تتطلب مشكلة اهتزاز أو ضغط سريع بيانات أدق بكثير. اختاروا الفاصل مع مهندس العمليات، واستخدموا المتوسطات الموزونة زمنيًا للوصول إليه.
هل يمكن لخادم علوم البيانات الاستعلام مباشرة من قاعدة البيانات التاريخية؟
فقط عبر المسار الذي تسمح به قواعد أمن التقنيات التشغيلية لديكم. فوثيقة NIST SP 800-82r3 تنص على أن الاتصالات بين مستوى المؤسسة ومستوى العمليات يجب أن تمر عبر خدمات في المنطقة منزوعة السلاح (DMZ)، والإرشادات المشتركة التي قادتها CISA تفضّل معماريات الدفع (push) أو الوسيط (broker). وعمليًا يعني ذلك حسابًا للقراءة فقط على نسخة من قاعدة البيانات التاريخية، أو استخراجًا مجدولًا يُسلَّم إلى منطقة تجميع وسيطة، لا اتصالًا مباشرًا بشبكة التحكم.



