جدول المحتويات
يجب أن يطلب وكيل الذكاء الاصطناعي الصناعي الموافقة قبل أي إجراء يصعب التراجع عنه، أو يخرج إلى خارج الشركة، أو يغيّر العملية، أو يمسّ السلامة. أما قراءة البيانات وصياغة الوثائق فيمكن أن تتم دون موافقة. وتمرّ تغييرات نقاط الضبط والوصفات وأقفال الحماية والتصاريح عبر إجراءات التغيير والتصاريح القائمة في الموقع، ويعتمدها من يملك هذه الصلاحية أصلًا.
أهم النقاط
- ضعوا الموافقة حيث يصبح التراجع عن الإجراء صعبًا، لا في كل خطوة. فإخضاع كل شيء للموافقة يعوّد الناس على النقر على «موافق» دون قراءة.
- توصي CISA والوكالات الشريكة بالحدّ من التحكم الفعلي في أنظمة OT بواسطة الذكاء الاصطناعي دون إنسان في الحلقة، وبإدراج توصيات أنظمة الذكاء الاصطناعي الاستشارية في مسار إدارة التغيير القائم (CISA et al., 2025).
- لا تساوي الموافقة أكثر مما يراه الموافِق: الإجراء بدقة ومعاملاته، والبيانات الخام التي تبرره، وما يحدث إذا كان خاطئًا.
- يصيب انحياز الأتمتة الخبراء كما يصيب المبتدئين، ولا يمكن منعه بالتدريب أو التعليمات وحدها (Parasuraman and Manzey, 2010)، لذلك يجب قياس سلوك الموافقين.
- يجب أن تُفرض نقطة الموافقة في طبقة الأدوات وفي النظام المستهدف، لا أن تُترك لتقدير النموذج.
ماذا يعني «الإنسان في الحلقة» بالنسبة إلى وكيل الذكاء الاصطناعي؟
بالنسبة إلى الوكيل، يعني وجود الإنسان في الحلقة أن التنفيذ يتوقف قبل استدعاء أداة محددة. يراجع شخص مسمّى الإجراء المقترح فيوافق عليه أو يعدّله أو يرفضه، وعندها فقط يواصل الوكيل عمله.
توفّر أطر الوكلاء هذه الآلية مباشرة. فالمقاطعات (interrupts) في LangGraph توقف المخطط وتحفظ حالته وتنتظر «إلى أجل غير مسمّى حتى استئناف التنفيذ» (وثائق LangChain). وفي OpenAI Agents SDK، يمكن للأداة أن تعلن needs_approval، فيتوقف التنفيذ مع قائمة بالاستدعاءات المعلّقة ليوافق عليها شخص أو يرفضها (وثائق OpenAI Agents SDK).
عندما يكون الإنسان فوق الحلقة، ينفّذ الوكيل بمفرده بينما يراقبه شخص يستطيع إيقافه. وعندما يكون الإنسان خارج الحلقة، لا يراجع أحد الإجراءات واحدًا واحدًا. ويُتخذ هذا الاختيار لكل إجراء على حدة: فالوكيل نفسه يمكن أن يقرأ بحرية، ويصوغ المسودات دون موافقة، ويتوقف طلبًا للموافقة قبل أي إرسال.
ولا تنتقل المسؤولية إلى البرنامج. فبحسب الدليل المشترك لـCISA حول الذكاء الاصطناعي في التقنيات التشغيلية، «البشر هم المسؤولون في نهاية المطاف عن السلامة الوظيفية» (CISA et al., 2025).
لماذا تكون نقطة الموافقة أهم في المصنع؟
في المكتب، يكون الإجراء الخاطئ للوكيل في الغالب بريدًا إلكترونيًا خاطئًا. أما في المصنع فقد يعني قطعة غيار خاطئة، أو دفعة خارج المواصفات، أو وضعًا غير آمن. ويحذّر دليل CISA من أنه عندما يؤثر الذكاء الاصطناعي مباشرة في التحكم، «قد تتفاقم المشكلات قبل أن ينتبه إليها المشغلون».
وهناك أيضًا سبب أمني. تعرّف OWASP الصلاحية المفرطة بأنها الثغرة التي تسمح لنظام قائم على LLM بتنفيذ إجراءات ضارة استجابةً لمخرجات «غير متوقعة أو ملتبسة أو متلاعَب بها» (OWASP LLM06:2025). فالوكيل الذي يقرأ وثائق المورّدين أو رسائل البريد أو التعليقات الحرة في أوامر العمل يمكن توجيهه بتعليمات مخفية فيها. ومن بين إجراءات الحدّ التي تقترحها OWASP «اشتراط موافقة إنسان على الإجراءات عالية الأثر قبل تنفيذها».
أما الضمانات الأخرى فيتناولها مقال Chatbot أم Copilot أم وكيل ذكاء اصطناعي.
أي إجراءات الوكيل تحتاج إلى موافقة بشرية؟
صنّفوا كل أداة يمكن للوكيل استدعاؤها بحسب ما تغيّره ومدى سهولة التراجع عن هذا التغيير.
| مستوى الإجراء | أمثلة من المصنع | هل يمكن التراجع عنه؟ | قاعدة الموافقة |
|---|---|---|---|
| 1. القراءة والتحليل | الاستعلام في بيانات مصدَّرة من الـhistorian ونتائج LIMS والأدلة الفنية؛ تلخيص سجل الوردية | لا شيء يتغير | لا موافقة؛ تسجيل كل استعلام |
| 2. صياغة مسودة في نظام أعمال | مسودة أمر عمل أو إشعار صيانة أو تقرير | نعم، يمكن حذف المسودة | لا موافقة لإنشائها؛ يقدّمها شخص |
| 3. الاعتماد في نظام أعمال | إطلاق طلب شراء، أو إغلاق أمر عمل، أو تعديل البيانات الأساسية لقطع الغيار | غالبًا، بجهد | موافقة على كل إجراء من صاحب الصلاحية |
| 4. التصرف خارج الشركة | مراسلة مورّد أو مقاول، أو تقديم تقرير إلى جهة رسمية | لا | موافقة على كل إجراء؛ ويُفضَّل أن يرسله الشخص بنفسه |
| 5. تغيير العملية | نقاط الضبط، والوصفات، وحدود الإنذار، ومنطق التحكم | لا يمكن التراجع عن الآثار الفيزيائية | الوكيل يوصي فقط؛ ويمرّ التغيير عبر إدارة التغيير |
| 6. السلامة والعزل | وظائف السلامة الآلية، وتجاوز أقفال الحماية، وتصاريح العمل، وعمليات العزل | لا | خارج صلاحيات الوكيل كليًا |
للمستوى 5 نقطة موافقة قائمة أصلًا في معظم مصانع العمليات: إدارة التغيير (MOC). فقاعدة إدارة سلامة العمليات الأمريكية، على سبيل المثال، تفرض إجراءات مكتوبة لتغييرات «المواد الكيميائية والتقنيات والمعدات والإجراءات» الخاصة بالعملية، تغطي الأساس الفني، والأثر على السلامة والصحة، وتعديلات إجراءات التشغيل، و«متطلبات التفويض للتغيير المقترح» (29 CFR 1910.119(l)). وتوصي CISA بالمسار نفسه للذكاء الاصطناعي: بالنسبة إلى الأنظمة الأكثر سلبية، تُدرج التوصيات في «مسار قائم لإدارة التغيير».
تسمح بعض المواقع للأتمتة بتعديل القيم داخل نطاق معتمد مسبقًا، كما يصف مقالنا السابق حول الذكاء الاصطناعي الوكيلي لأتمتة العمليات. وتحديد هذا النطاق هو في حد ذاته تغيير يجب أن يمرّ بالمراجعة نفسها.
ويبقى المستوى 6 بعيدًا عن متناول الوكيل. فهيئة الصحة والسلامة البريطانية (HSE) تصف أنظمة تصاريح العمل بأنها وسيلة ضبط أعمال الصيانة في المصانع الكيميائية وضمان أن «العمل مفوَّض على النحو الصحيح من شخص مسؤول» (HSE). يمكن للوكيل أن يساعد في إعداد التصريح، لكن لا ينبغي أبدًا أن يُصدره.
كيف نحدد مستوى إجراء جديد؟
لكل أداة جديدة، اطرحوا هذه الأسئلة بالترتيب. وأول «نعم» تحدد المستوى.
- هل تمسّ وظيفة سلامة أو عملية عزل أو تصريحًا؟ إذن لا يحصل عليها الوكيل.
- هل تغيّر طريقة تشغيل العملية؟ إذن هي توصية تدخل مسار إدارة التغيير.
- هل تخرج إلى خارج الشركة؟ إذن يوافق شخص على كل حالة.
- هل يشترط إجراء قائم توقيعًا أصلًا؟ إذن هذا التوقيع هو الموافقة. يُعدّ الوكيل الطلب، ولا ينشئ مسارًا موازيًا يتجاوز سقف الشراء أو المخطِّط.
- هل يمكن التراجع عنها كليًا خلال الوردية نفسها، من الوكيل أو من شخص؟ إن كان الجواب نعم، فقد يكفي التسجيل والمراجعة الدورية.
ما الذي يجب أن يراه الموافِق؟
طلب الموافقة وثيقة قرار مصغّرة، ويجب أن يتضمن:
- الإجراء بدقة كما سيُنفَّذ: اسم الأداة وكل معامل، مثل «إغلاق أمر العمل 4711 بوصفه منجزًا، 3.5 ساعات عمل»، لا «ترتيب أوامر العمل القديمة».
- الأدلة في صورة بيانات خام: المنحنى، أو نتيجة المختبر، أو صفحة الدليل، برابط مباشر. ويحذّر دليل Microsoft حول الاعتماد المفرط على الذكاء الاصطناعي من أن «التفسيرات قد تزيد ثقة المستخدمين حتى عندما تكون خاطئة»، وأن مجرد وجود مصادر قد يرفع الثقة في مخرجات الذكاء الاصطناعي (Microsoft Learn). ملخص الوكيل ليس دليلًا.
- الأثر وطريقة التراجع: ما الذي يتغير، ولمن، وكيف يُعكس.
- ثلاثة خيارات: الموافقة أو التعديل أو الرفض. وتوثّق LangGraph هذه الأنماط الثلاثة، بما فيها مراجعة استدعاء الأداة وتعديله قبل تنفيذه (وثائق LangChain).
- مهلة صلاحية: الطلب الذي ينتظر إلى ما بعد تبديل الوردية، أو الذي تغيرت بياناته، يجب أن يسقط بدل أن يُنفَّذ متأخرًا.
في المستويات عالية الأثر، يفيد إدخال احتكاك متعمَّد. تذكر Microsoft ضمن إجراءات الحدّ «وظائف الإلزام المعرفي» مثل الاحتكاك، ومنح وقت للتفكير، ونوافذ التأكيد. احصروها في الأخطاء المكلفة، ففي غيرها لا تفعل سوى إبطاء العمل.
لماذا تتحول الموافقات إلى ختم شكلي؟
يميل من يشرفون على الأتمتة إلى الوثوق بها. فقد وجدت مراجعة للأبحاث أجراها Parasuraman وManzey أن الركون إلى الأتمتة يظهر تحت عبء المهام المتعددة، لدى المبتدئين والخبراء على السواء، و«لا يمكن التغلب عليه بمجرد الممارسة». ويؤدي انحياز الأتمتة إلى أخطاء إغفال وأخطاء ارتكاب عندما تكون أدوات دعم القرار غير كاملة، و«لا يمكن منعه بالتدريب أو التعليمات» (Parasuraman and Manzey, 2010).
وتعرف صناعات العمليات جيدًا ما يحدث عندما تفوق المطالب على الانتباه قدرة الأشخاص المتاحين. ففي الدقائق الإحدى عشرة الأخيرة قبل انفجار عام 1994 في مصفاة Texaco في Milford Haven، كان على مشغّلَين اثنين التعرّف على 275 إنذارًا والإقرار بها والتصرف حيالها. ويحدد دليل HSE، استنادًا إلى دليل EEMUA، هدفًا لمتوسط طويل الأمد لا يتجاوز إنذارًا واحدًا كل عشر دقائق في التشغيل العادي (HSE, Better alarm handling).
وُضع هذا الهدف للإنذارات، لكن طلبات الموافقة تتنافس على الانتباه نفسه. عاملوها كالإنذارات: لكل طلب استجابة محددة، ولعددها لكل شخص في كل وردية سقف معلوم.
تابعوا ثلاثة مؤشرات لكل نوع من الإجراءات: نسبة الطلبات المقبولة، ونسبة الطلبات المعدّلة، والزمن الوسيط للمراجعة. فإذا كان كل شيء تقريبًا يُقبل في ثوانٍ، فإما أن الإجراء ينتمي إلى مستوى أدنى، وإما أن نقطة الموافقة توقفت عن أداء دورها. وتحذّر CISA أيضًا من أن الاعتماد الكبير على الذكاء الاصطناعي قد يُضعف المهارات اليدوية اللازمة عند تعطله، لذا حافظوا على تدريب الفرق على أداء المهمة دون الوكيل.
كيف تُفرض الموافقة برمجيًا؟
- ضعوا نقطة الموافقة في طبقة الأدوات لا في الـprompt. تدعو OWASP إلى «الوساطة الكاملة»: يفرض النظامُ اللاحق التفويضَ، ولا يقرّره نموذج LLM.
- الإخفاق في الوضع الآمن. في OpenAI Agents SDK، فإن قواعد الموافقة المكتوبة على شكل دوال «تُخفق في الوضع المغلق عندما يتعذّر على الـSDK فحص المعاملات بأمان» (وثائق OpenAI Agents SDK). البيانات الناقصة أو انتهاء المهلة أو الأداة المجهولة يجب أن تعني جميعها «لا».
- حفظ الحالة المعلّقة. تحتاج مقاطعات LangGraph إلى checkpointer، وتنص الوثائق على أنه يجب أن يكون دائمًا في بيئة الإنتاج، مدعومًا مثلًا بقاعدة بيانات. فقد تصل الموافقة بعد ساعات، بعد تبديل الوردية.
- جعل الإجراءات غير قابلة للتكرار الضار (idempotent). تشير وثائق OpenAI SDK إلى أن «الموافقة تسمح بتنفيذ استدعاء الأداة، لكنها لا تضمن تنفيذه مرة واحدة فقط»، وتوصي بمفتاح idempotency ثابت لكل إجراء منطقي. فطلب الشراء الذي وُوفق عليه مرة واحدة يجب ألا يُنشأ مرتين.
- تسجيل الهويتين. توصي CISA بتسجيل مدخلات الذكاء الاصطناعي ومخرجاته مع هوية مستقلة عن هويات المستخدمين والآلات. سجّلوا من وافق، وما الذي رآه، ومتى.
- الإبقاء على مفتاح إيقاف وحدود. توصي Anthropic بشروط توقف مثل حدّ أقصى لعدد التكرارات، وبالاختبار المسبق في بيئات معزولة (sandbox) (Anthropic).
في الشبكات المعزولة تنطبق القواعد نفسها، مع استضافة قائمة انتظار الموافقات داخل الموقع. راجعوا دليلنا حول نشر الذكاء الاصطناعي في بيئة معزولة (air gap) ومقال دمج الذكاء الاصطناعي مع أنظمة SCADA وOT.
ماذا تقول النصوص التنظيمية عن الإشراف البشري؟
تشترط المادة 14 من قانون الذكاء الاصطناعي الأوروبي (EU AI Act) أن تُصمَّم أنظمة الذكاء الاصطناعي عالية المخاطر بحيث يتمكن المشرفون عليها من فهم حدودها، و«البقاء على وعي بالميل المحتمل إلى الاعتماد التلقائي أو المفرط على المخرجات»، وتجاوز هذه المخرجات أو عكسها، وإيقاف النظام بزر إيقاف أو إجراء مماثل يعيده إلى حالة آمنة (EU AI Act, Article 14). والجزائر غير ملزمة به، لكنه مرجع مفيد، ولا سيما للشركات التي تعمل مع شركاء أوروبيين.
كما أن قاعدة PSM الأمريكية المذكورة أعلاه ليست قانونًا جزائريًا؛ وهي تُستخدم هنا قائمةَ تحقق معروفة. تأكدوا مع قسم HSE لديكم ومستشاركم القانوني من القواعد الجزائرية للسلامة والبيئة التي تنطبق على تغيير يتم بمساعدة الذكاء الاصطناعي في موقعكم.
ما الذي لاحظناه في KABAS AI
يضع مشروعانا المنشوران القرار البشري في المركز بحكم التصميم. ففي ADFC، الفرع التابع لمجمع سوناطراك، يحدد المهندسون أهداف الأداء والقيود، وتُجري منصة Virtual Lab المحاكاة والتحسين متعدد المعايير، ثم يُعدّ النظام خطة اختبارات مخبرية مركّزة يتحقق منها المهندسون في المختبر. وفي ENAD Shymeca، يختبر الباحثون تركيبات المنظفات افتراضيًا قبل الانتقال إلى التجارب الفعلية. وفي الحالتين، البرنامج يقترح والناس يقرّرون.
ويعمل DALILE، مساعدنا متعدد الوكلاء، على خوادم العميل نفسه مع ضوابط الوصول وسجلات التدقيق، وهناك تحديدًا يجب أن تُحفظ سجلات الموافقة: بجانب البيانات، وعلى بنية تحتية تتحكمون فيها.
وعند تحديد نطاق وكيل مع فريق الذكاء الاصطناعي الوكيلي لدينا، تكون الخطوة العملية الأولى قائمة بكل أداة يمكن للوكيل استدعاؤها، مع تصنيف كل منها في أحد مستويات الجدول أعلاه والاتفاق عليها مع فرق التشغيل والصيانة وHSE قبل كتابة أي سطر برمجي. ولمعرفة الأسباب الأخرى التي توقف المشاريع التجريبية قبل بلوغ الإنتاج، راجعوا لماذا تفشل مشاريع الذكاء الاصطناعي الصناعي.
المصادر
- CISA وASD's ACSC وشركاؤهما، Principles for the Secure Integration of Artificial Intelligence in Operational Technology (ديسمبر 2025)
- OWASP GenAI Security Project, LLM06:2025 Excessive Agency
- LangChain، وثائق LangGraph: Interrupts
- وثائق OpenAI Agents SDK: Human-in-the-loop
- Parasuraman and Manzey, Complacency and Bias in Human Use of Automation: An Attentional Integration, Human Factors 52(3), 2010
- Microsoft Learn, Overreliance on AI: Risk Identification and Mitigation Framework
- HSE (المملكة المتحدة)، Better alarm handling, Chemicals Sheet No 6
- HSE (المملكة المتحدة)، Permit to work systems (COMAH technical measures)
- 29 CFR 1910.119, Process safety management of highly hazardous chemicals (Cornell LII)
- EU AI Act، المادة 14: Human Oversight
- Anthropic, Building effective agents (ديسمبر 2024)
الأسئلة الشائعة
ما الفرق بين «الإنسان في الحلقة» و«الإنسان فوق الحلقة»؟
عندما يكون الإنسان في الحلقة، يتوقف الوكيل قبل إجراء محدد وينتظر حتى يوافق عليه شخص مسمّى أو يعدّله أو يرفضه. وعندما يكون الإنسان فوق الحلقة، ينفّذ الوكيل بمفرده بينما يراقبه شخص يستطيع إيقافه. ويمكن للوكيل نفسه أن يجمع بين الأمرين: كأن يقرأ ويصوغ المسودات بحرية، وينتظر الموافقة قبل أي إرسال أو اعتماد نهائي.
هل يجوز لوكيل الذكاء الاصطناعي تغيير نقطة ضبط دون موافقة؟
الأصل هو لا. توصي CISA والوكالات الشريكة بالحدّ من التحكم الفعلي في أنظمة OT بواسطة الذكاء الاصطناعي دون إنسان في الحلقة، وبإدراج توصيات الذكاء الاصطناعي في مسار إدارة التغيير القائم. وتسمح بعض المواقع بتعديلات محدودة داخل نطاق معتمد مسبقًا، لكن تحديد هذا النطاق هو في حد ذاته تغيير يجب أن يمرّ عبر إدارة التغيير ومراجعة السلامة في الموقع.
كيف نمنع الموافقين من الموافقة على كل شيء دون قراءة؟
أرسلوا طلبات أقل، واجعلوا كل طلب سهل التحقق. انقلوا الإجراءات منخفضة المخاطر إلى التسجيل بدل الموافقة، واعرضوا الإجراء بدقة مع البيانات الخام التي تبرره، وقيسوا نسب الموافقة وأزمنة المراجعة. فإذا كانت معظم الطلبات تُقبل في ثوانٍ، فنقطة الموافقة إما غير ضرورية وإما لم تعد تؤدي دورها.
هل تحمي خطوة الموافقة الوكيلَ من حقن الأوامر (prompt injection)؟
جزئيًا فقط. تذكر OWASP موافقة الإنسان على الإجراءات عالية الأثر بوصفها أحد إجراءات الحدّ من الصلاحية المفرطة، إلى جانب مبدأ أقل الصلاحيات وفرض التفويض في الأنظمة اللاحقة. وقد لا ينتبه الموافِق إلى معامل جرى التلاعب به، لذا يجب أن تبقى أدوات الوكيل محدودة وصلاحياته في حدها الأدنى.
من يجب أن يوافق على إجراء وكيل الذكاء الاصطناعي؟
الشخص الذي يملك هذه الصلاحية أصلًا وفق إجراءاتكم القائمة: المخطِّط لأمر العمل، وصاحب الميزانية للشراء، والمعتمِدون في إدارة التغيير لتعديل العملية، ومُصدِر التصريح لتصريح العمل. ويجب ألا ينشئ الوكيل مسار موافقة موازيًا، وألا يكون المورّد أو مسؤول تقنية المعلومات هو من يوافق على الإجراءات التشغيلية.



