Table des Matières
Un agent IA industriel doit demander une validation avant toute action difficile à annuler, qui sort de l'entreprise, modifie le procédé ou touche à la sécurité. Lire des données et rédiger des documents peut se faire sans validation. Les changements de consignes, de recettes, de verrouillages ou de permis passent par les procédures existantes de modification et de permis, validés par ceux qui en détiennent déjà l'autorité.
Points clés
- Placez la validation là où une action devient difficile à annuler, pas à chaque étape. Tout soumettre à validation habitue les gens à cliquer sur « approuver » sans lire.
- La CISA et ses agences partenaires recommandent de limiter le contrôle actif de l'OT par une IA sans humain dans la boucle, et d'intégrer les recommandations des systèmes d'IA consultatifs au processus existant de gestion des modifications (CISA et al., 2025).
- Une validation ne vaut que par ce que voit le valideur : l'action exacte et ses paramètres, les données brutes qui la justifient, et les conséquences en cas d'erreur.
- Le biais d'automatisation touche les experts comme les novices et ne peut pas être évité par la seule formation ou par des consignes (Parasuraman et Manzey, 2010) ; le comportement des valideurs doit donc être mesuré.
- Le point de validation doit être imposé par la couche d'outils et par le système cible, pas laissé au jugement du modèle.
Que signifie « humain dans la boucle » pour un agent IA ?
Pour un agent, l'humain dans la boucle signifie que l'exécution s'interrompt avant un appel d'outil précis. Une personne nommée examine l'action proposée, l'approuve, la modifie ou la rejette, et c'est seulement ensuite que l'agent continue.
Les frameworks d'agents le prévoient directement. Les interruptions de LangGraph suspendent un graphe, sauvegardent son état et attendent « indéfiniment jusqu'à la reprise de l'exécution » (documentation LangChain). Dans l'OpenAI Agents SDK, un outil peut déclarer needs_approval, et l'exécution s'arrête avec la liste des appels en attente qu'une personne approuve ou rejette (documentation OpenAI Agents SDK).
Avec un humain sur la boucle, l'agent agit seul pendant qu'une personne le surveille et peut l'arrêter. Avec un humain hors de la boucle, personne n'examine les actions une à une. Le choix se fait action par action : un même agent peut lire librement, rédiger sans validation et s'arrêter pour validation avant tout envoi.
La responsabilité ne passe pas au logiciel. Selon le guide conjoint de la CISA sur l'IA dans les technologies opérationnelles, « en définitive, ce sont les humains qui sont responsables de la sécurité fonctionnelle » (CISA et al., 2025).
Pourquoi un point de validation compte-t-il davantage en usine ?
Dans un bureau, une mauvaise action d'un agent se résume en général à un mauvais e-mail. En usine, elle peut signifier une mauvaise pièce de rechange, un lot hors spécification ou une situation dangereuse. Le guide de la CISA avertit que lorsqu'une IA influence directement la conduite, « les problèmes peuvent s'aggraver avant que les opérateurs n'en prennent conscience ».
Il y a aussi une raison de sécurité informatique. L'OWASP définit l'agentivité excessive comme la faiblesse qui permet à un système LLM d'exécuter des actions dommageables en réponse à des sorties « inattendues, ambiguës ou manipulées » (OWASP LLM06:2025). Un agent qui lit des documents fournisseurs, des e-mails ou les commentaires libres des ordres de travail peut être détourné par des instructions cachées dans ces textes. L'une des mesures de l'OWASP consiste à « exiger qu'un humain approuve les actions à fort impact avant leur exécution ».
Les autres garde-fous sont traités dans chatbot, copilote ou agent IA.
Quelles actions d'un agent exigent une validation humaine ?
Classez chaque outil que l'agent peut appeler selon ce qu'il modifie et la facilité avec laquelle ce changement peut être annulé.
| Niveau d'action | Exemples en usine | Peut-on annuler ? | Règle de validation |
|---|---|---|---|
| 1. Lire et analyser | Interroger des exports de l'historian, des résultats LIMS et des manuels ; résumer un cahier de quart | Rien ne change | Aucune validation ; journaliser chaque requête |
| 2. Rédiger un brouillon dans un système de gestion | Brouillon d'ordre de travail, d'avis de maintenance ou de rapport | Oui, le brouillon peut être supprimé | Aucune validation pour le créer ; une personne le soumet |
| 3. Valider dans un système de gestion | Lancer une demande d'achat, clôturer un ordre de travail, modifier les données de base des pièces de rechange | En général, avec effort | Validation de chaque action par la personne qui détient cette autorité |
| 4. Agir hors de l'entreprise | Envoyer un e-mail à un fournisseur ou un sous-traitant, déposer un rapport auprès d'une autorité | Non | Validation de chaque action ; de préférence, c'est la personne qui envoie |
| 5. Modifier le procédé | Consignes, recettes, seuils d'alarme, logique de commande | Les effets physiques ne s'annulent pas | L'agent recommande seulement ; la modification passe par la gestion des modifications |
| 6. Sécurité et consignation | Fonctions instrumentées de sécurité, inhibition de verrouillages, permis de travail, consignations | Non | Hors des droits de l'agent |
Le niveau 5 a déjà un point de validation dans la plupart des usines de procédés : la gestion des modifications (MOC). La réglementation américaine sur la gestion de la sécurité des procédés impose par exemple des procédures écrites pour les modifications des « produits chimiques, technologies, équipements et procédures » du procédé, couvrant la justification technique, l'impact sur la sécurité et la santé, les modifications des modes opératoires et les « exigences d'autorisation de la modification proposée » (29 CFR 1910.119(l)). La CISA recommande la même voie pour l'IA : pour les systèmes plus passifs, intégrer les recommandations à « un processus existant de gestion des modifications ».
Certains sites laissent l'automatisme ajuster des valeurs dans une enveloppe préapprouvée, comme le décrit notre article sur l'IA agentique pour l'automatisation des procédés. La définition de cette enveloppe est elle-même une modification et doit passer par la même revue.
Le niveau 6 reste hors de portée. Le HSE britannique présente les systèmes de permis de travail comme le moyen de maîtriser les travaux de maintenance en usine chimique et de garantir que « le travail est correctement autorisé par une personne responsable » (HSE). Un agent peut aider à préparer un permis ; il ne doit jamais en délivrer un.
Comment classer une nouvelle action ?
Pour chaque nouvel outil, posez ces questions dans l'ordre. Le premier « oui » fixe le niveau.
- Touche-t-il une fonction de sécurité, une consignation ou un permis ? Alors l'agent ne l'obtient pas.
- Modifie-t-il la conduite du procédé ? Alors c'est une recommandation qui entre en gestion des modifications.
- Sort-il de l'entreprise ? Alors une personne valide chaque occurrence.
- Une procédure existante exige-t-elle déjà une signature ? Alors cette signature est la validation. L'agent prépare la demande ; il ne crée pas de circuit parallèle qui contourne le plafond d'achat ou le planificateur.
- Peut-on l'annuler entièrement dans le même poste, par l'agent ou par une personne ? Si oui, la journalisation et une revue périodique peuvent suffire.
Que doit voir le valideur ?
Une demande de validation est un petit dossier de décision. Elle doit contenir :
- L'action exacte telle qu'elle sera exécutée : le nom de l'outil et chaque paramètre, par exemple « clôturer l'ordre de travail 4711 comme terminé, 3,5 heures de main-d'œuvre », et non « faire le ménage dans les anciens ordres de travail ».
- Les preuves, en données brutes : la tendance, le résultat de laboratoire ou la page du manuel, en lien direct. Le guide de Microsoft sur la dépendance excessive à l'IA avertit que « les explications peuvent accroître la confiance des utilisateurs même lorsqu'elles sont fausses » et que la simple présence de sources peut renforcer la confiance dans les réponses de l'IA (Microsoft Learn). Le résumé de l'agent n'est pas une preuve.
- La conséquence et le moyen d'annuler : ce qui change, pour qui, et comment revenir en arrière.
- Trois choix : approuver, modifier ou rejeter. LangGraph documente ces trois schémas, y compris l'examen et la modification d'un appel d'outil avant son exécution (documentation LangChain).
- Une échéance : une demande qui attend au-delà d'une relève de poste, ou dont les données ont changé, doit expirer plutôt que s'exécuter en retard.
Pour les niveaux à fort impact, une friction volontaire aide. Microsoft cite parmi les mesures des « fonctions de forçage cognitif » comme la friction, le temps de réflexion et les boîtes de confirmation. Réservez-les aux erreurs coûteuses ; ailleurs, elles ne font que ralentir le travail.
Pourquoi la validation devient-elle machinale ?
Ceux qui supervisent un automatisme ont tendance à s'y fier. Une revue de la recherche de Parasuraman et Manzey a montré que la complaisance envers l'automatisation apparaît en situation de charge multitâche, chez les novices comme chez les experts, et « ne peut pas être surmontée par la simple pratique ». Le biais d'automatisation entraîne des erreurs d'omission et de commission lorsque les aides à la décision sont imparfaites, et « ne peut pas être évité par la formation ou par des consignes » (Parasuraman et Manzey, 2010).
Les industries de procédés savent déjà ce qui se passe quand les sollicitations dépassent les personnes disponibles. Dans les 11 dernières minutes avant l'explosion de 1994 à la raffinerie Texaco de Milford Haven, deux opérateurs ont dû reconnaître, acquitter et traiter 275 alarmes. Le guide du HSE, qui s'appuie sur le guide de l'EEMUA, fixe comme objectif une moyenne à long terme d'au plus une alarme toutes les dix minutes en marche normale (HSE, Better alarm handling).
Cet objectif a été écrit pour les alarmes, mais les demandes de validation se disputent la même attention. Traitez-les comme des alarmes : chacune doit avoir une réponse définie, et leur nombre par personne et par poste doit avoir un budget.
Suivez trois indicateurs par type d'action : la part approuvée, la part modifiée et le temps médian de revue. Si presque tout est approuvé en quelques secondes, soit l'action relève d'un niveau inférieur, soit la validation ne fonctionne plus. La CISA avertit aussi qu'une forte dépendance à l'IA peut éroder les compétences manuelles nécessaires en cas de panne : entraînez régulièrement les équipes à faire la tâche sans l'agent.
Comment imposer la validation dans le logiciel ?
- Placer la validation dans la couche d'outils, pas dans le prompt. L'OWASP demande une « médiation complète » : l'autorisation est appliquée par le système en aval, et non décidée par le LLM.
- Échouer en position sûre. Dans l'OpenAI Agents SDK, les règles d'approbation sous forme de fonction « échouent en position fermée lorsque le SDK ne peut pas inspecter les arguments en toute sécurité » (documentation OpenAI Agents SDK). Donnée manquante, délai dépassé ou outil inconnu doivent tous signifier « non ».
- Conserver l'état suspendu. Les interruptions de LangGraph nécessitent un checkpointer, et la documentation précise qu'en production il doit être persistant, par exemple adossé à une base de données. Une validation peut arriver des heures plus tard, après une relève.
- Rendre les actions idempotentes. La documentation du SDK d'OpenAI précise que « l'approbation autorise l'exécution d'un appel d'outil ; elle ne garantit pas une exécution unique », et recommande une clé d'idempotence stable pour chaque action logique. Une demande d'achat approuvée une fois ne doit pas être créée deux fois.
- Journaliser les deux identités. La CISA recommande de journaliser les entrées et sorties de l'IA avec une identité distincte de celles des utilisateurs et des machines. Enregistrez qui a validé, ce qu'il a vu et quand.
- Garder un arrêt d'urgence et des limites. Anthropic recommande des conditions d'arrêt comme un nombre maximal d'itérations, et des essais préalables dans des environnements isolés (Anthropic).
Sur des réseaux isolés, les mêmes règles s'appliquent, avec une file de validation hébergée sur site. Voir notre guide du déploiement d'IA en environnement isolé (air gap) et l'article sur l'intégration de l'IA aux systèmes SCADA et OT.
Que disent les textes sur la supervision humaine ?
L'article 14 du règlement européen sur l'IA (AI Act) exige que les systèmes d'IA à haut risque soient conçus pour que les personnes qui les supervisent puissent comprendre leurs limites, « rester conscientes de la tendance possible à se fier automatiquement ou excessivement aux résultats », passer outre ces résultats ou les inverser, et interrompre le système par un bouton d'arrêt ou une procédure similaire qui le ramène à un état sûr (EU AI Act, article 14). L'Algérie n'y est pas soumise, mais c'est une référence utile, en particulier pour les entreprises qui travaillent avec des partenaires européens.
La réglementation PSM américaine citée plus haut n'est pas non plus du droit algérien ; elle sert ici de liste de contrôle reconnue. Faites confirmer par votre département HSE et votre conseil juridique les règles algériennes de sécurité et d'environnement applicables à une modification assistée par l'IA sur votre site.
Ce que nous avons constaté chez KABAS AI
Nos deux projets publiés placent la décision humaine au centre par conception. Chez ADFC, filiale du groupe Sonatrach, les ingénieurs définissent les objectifs de performance et les contraintes, Virtual Lab exécute des simulations et une optimisation multicritère, puis le système produit un plan d'essais de laboratoire ciblé que les ingénieurs valident au laboratoire. Chez ENAD Shymeca, les chercheurs testent virtuellement des formulations de détergents avant de lancer les essais physiques. Dans les deux cas, le logiciel propose et les personnes décident.
DALILE, notre assistant multi-agents, fonctionne sur les serveurs du client avec contrôle d'accès et journalisation d'audit ; c'est là que doivent se trouver les traces de validation : à côté des données, sur une infrastructure que vous maîtrisez.
Quand nous cadrons un agent avec notre équipe IA agentique, la première étape concrète est la liste de tous les outils que l'agent pourra appeler, chacun classé dans un niveau du tableau ci-dessus et validé avec l'exploitation, la maintenance et le HSE avant d'écrire la moindre ligne de code. Pour les autres raisons qui bloquent les pilotes avant la production, voir pourquoi les projets d'IA industrielle échouent.
Sources
- CISA, ASD's ACSC et partenaires, Principles for the Secure Integration of Artificial Intelligence in Operational Technology (décembre 2025)
- OWASP GenAI Security Project, LLM06:2025 Excessive Agency
- LangChain, documentation LangGraph : Interrupts
- Documentation OpenAI Agents SDK : Human-in-the-loop
- Parasuraman et Manzey, Complacency and Bias in Human Use of Automation: An Attentional Integration, Human Factors 52(3), 2010
- Microsoft Learn, Overreliance on AI: Risk Identification and Mitigation Framework
- HSE (Royaume-Uni), Better alarm handling, Chemicals Sheet No 6
- HSE (Royaume-Uni), Permit to work systems (COMAH technical measures)
- 29 CFR 1910.119, Process safety management of highly hazardous chemicals (Cornell LII)
- EU AI Act, article 14 : Human Oversight
- Anthropic, Building effective agents (décembre 2024)
Questions fréquentes
Quelle est la différence entre « humain dans la boucle » et « humain sur la boucle » ?
Avec un humain dans la boucle, l'agent s'arrête avant une action précise et attend qu'une personne nommée l'approuve, la modifie ou la rejette. Avec un humain sur la boucle, l'agent agit seul pendant qu'une personne le surveille et peut l'arrêter. Un même agent peut combiner les deux : par exemple, lire et rédiger librement, mais attendre une validation avant tout envoi ou toute validation définitive.
Un agent IA peut-il modifier une consigne sans validation ?
Par défaut, non. La CISA et ses agences partenaires recommandent de limiter le contrôle actif de l'OT par une IA sans humain dans la boucle, et d'intégrer les recommandations de l'IA au processus existant de gestion des modifications. Certains sites autorisent des ajustements bornés dans une enveloppe préapprouvée, mais la définition de cette enveloppe est elle-même une modification qui doit passer par la gestion des modifications et la revue sécurité du site.
Comment éviter que les valideurs approuvent tout sans lire ?
Envoyez moins de demandes et rendez chacune facile à vérifier. Faites passer les actions à faible risque en simple journalisation, montrez l'action exacte et les données brutes qui la justifient, et mesurez les taux d'approbation et les temps de revue. Si presque toutes les demandes sont approuvées en quelques secondes, le point de validation est soit inutile, soit devenu inopérant.
Une étape de validation protège-t-elle un agent contre l'injection de prompt ?
En partie seulement. L'OWASP cite la validation humaine des actions à fort impact comme l'une des mesures contre l'agentivité excessive, avec le moindre privilège et des autorisations appliquées par les systèmes en aval. Un valideur peut ne pas repérer un paramètre manipulé ; l'agent doit donc garder des outils restreints et des droits minimaux.
Qui doit valider l'action d'un agent IA ?
La personne qui détient déjà cette autorité dans vos procédures : le planificateur pour un ordre de travail, le responsable budgétaire pour un achat, les approbateurs MOC pour une modification du procédé, l'émetteur du permis pour un permis de travail. L'agent ne doit pas créer de circuit de validation parallèle, et ni le fournisseur ni l'administrateur informatique ne doivent valider des actions d'exploitation.



