Table des Matières
Quand l'historique de maintenance est pauvre, traitez la GMAO comme une liste d'événements candidats, pas comme la vérité terrain. Reconstruisez chaque défaillance à partir de plusieurs sources (ordres de travail, cahiers de quart, journaux d'alarmes, tendances capteurs), faites marquer son début et sa fin sur les données par des ingénieurs, notez la confiance de chaque étiquette et évaluez les modèles par événement, pas par point.
Points clés
- Les ordres de travail historiques comportent fréquemment des champs poste technique, mode de défaillance, action de maintenance et statut manquants ou erronés, mais le texte libre et la connaissance des pratiques de maintenance permettent d'en corriger beaucoup (Hodkiewicz and Ho, 2016).
- La date d'un ordre de travail n'est pas le début de la défaillance. Dans l'ISO 14224, la date de défaillance est la date de détection (Selvik, 2014), et le début de la dégradation et sa première détection « coïncident rarement » (NASA, 2008).
- Une période sans défaillance enregistrée est non étiquetée, pas saine.
- Les erreurs d'étiquetage changent le modèle qui paraît le meilleur : dix jeux de données de référence très utilisés comptaient en moyenne au moins 3,3 % d'erreurs d'étiquettes dans leurs jeux de test (Northcutt et al., 2021).
- Évaluez les modèles par événement de défaillance, avec le délai d'alerte et les fausses alertes. Avec l'ajustement ponctuel (point adjustment), même un score aléatoire peut sembler à l'état de l'art (Kim et al., 2022).
Pourquoi est-il si difficile de tirer des étiquettes de défaillance des historiques d'usine ?
Un modèle de défaillance a besoin d'exemples de défaillances, correctement placés dans le temps sur les données capteurs. L'enregistrement habituel est la GMAO, conçue pour planifier et suivre les travaux, pas pour entraîner des modèles. Trois problèmes reviennent :
- Champs manquants ou erronés. En étudiant les ordres de travail d'engins mobiles lourds de plusieurs organisations, Hodkiewicz et Ho ont constaté que les historiques comportent fréquemment des champs poste technique, mode de défaillance, action de maintenance et statut manquants ou erronés. Le texte libre, la connaissance des pratiques de maintenance et la position de l'équipement dans son cycle de vie ont permis de les rendre exploitables, grâce à un nettoyage à base de règles, reproductible et transparent (Hodkiewicz and Ho, 2016).
- Texte libre. Le NIST a créé sa boîte à outils Nestor parce que les ordres de travail de maintenance emploient un vocabulaire spécialisé et un jargon que les outils linguistiques standards traitent mal (NIST, Nestor). Dans les usines algériennes, une même note peut mêler français, arabe et abréviations ; voir les documents qui mélangent arabe, français et anglais.
- Mauvaise heure. Un ordre de travail est daté du moment où quelqu'un l'a émis, pas du moment où le défaut a commencé.
Les défaillances sont en outre rares : chacune qui est mal placée ou manquante compte.
Pourquoi la date de l'ordre de travail n'est-elle pas l'heure de la défaillance ?
Le guide de maintenance basée sur la fiabilité de la NASA indique que le point de début de la dégradation et le point de première détection « coïncident rarement » (NASA, 2008). Un roulement peut se dégrader pendant des semaines avant que quiconque le remarque, et l'ordre de travail peut suivre l'alarme de plusieurs jours.
L'ISO 14224, la norme sur les données de fiabilité et de maintenance des industries du pétrole, de la pétrochimie et du gaz naturel, en tient compte. Comme l'a présenté le rédacteur technique du groupe de travail ISO, la date de défaillance est la « date de détection de la défaillance (année/mois/jour) », l'impact sur la fonction de l'équipement est classé critique, dégradé ou naissant, et un champ distinct enregistre la méthode de détection (Selvik, 2014). Une date de détection convient aux statistiques de fiabilité, mais un modèle entraîné sur des données capteurs à la minute doit savoir quand le signal a changé.
Une étiquette de défaillance sur séries temporelles demande donc plus d'un horodatage :
| Champ de l'étiquette | Signification | Source habituelle |
|---|---|---|
| Équipement et repères | L'équipement et les repères capteurs qui voient la défaillance | Poste technique GMAO, liste des repères |
| Mode de défaillance | Ce qui a été observé, choisi dans une liste fixe | Code de type ISO 14224, ou reconstruit à partir du texte |
| Début | Premier changement visible dans les données capteurs | Revue de la tendance par un ingénieur |
| Détection | Quand on s'en est aperçu : alarme, ronde, inspection | Journal des alarmes, cahier de quart, ordre de travail |
| Défaillance fonctionnelle ou déclenchement | Quand l'équipement a cessé de remplir sa fonction | Registre des déclenchements, journal des événements, données de production |
| Réparation et remise en service | Période à exclure des données normales | Dates de l'ordre de travail, permis de travail |
| Méthode de détection | Alarme, surveillance conditionnelle, ronde d'exploitation, panne | Ordre de travail, rapport d'inspection |
| Confiance et sources | Degré de certitude du relecteur et enregistrements qui étayent l'étiquette | Note du relecteur |
L'écart entre le début et la détection est ce qu'un modèle prédictif cherche à exploiter : c'est le champ à soigner.
D'où peuvent venir les étiquettes quand la GMAO est faible ?
| Source | Ce qu'elle apporte | Principale faiblesse |
|---|---|---|
| Ordres de travail GMAO | Équipement, dates, texte libre, parfois un code de défaillance | Codes absents ou génériques ; dates administratives |
| Cahiers de quart et notes de passation | Ce que les exploitants ont vu, et quand | Texte libre, souvent sur papier ou dans des tableurs |
| Journal des alarmes et événements | Heures exactes des alarmes et déclenchements | La plupart des alarmes ne sont pas des défaillances |
| Rapports de déclenchement et d'incident | Cause confirmée des événements majeurs | Seulement pour les plus gros événements |
| Rapports d'inspection et de surveillance conditionnelle | Constats de vibration, d'analyse d'huile et de thermographie, datés | Périodiques ; stockés sous forme de documents |
| Les données capteurs elles-mêmes | Le début, tel que le voit un ingénieur | Demande du temps d'expert ; le jugement varie |
| Entretiens avec le personnel de maintenance | Événements jamais écrits | La mémoire s'efface ; dates approximatives |
Une étiquette est solide quand deux sources indépendantes concordent, par exemple un ordre de travail et un déclenchement dans le journal des événements, ou une note de quart et un changement visible sur la tendance.
Comment reconstruire les étiquettes de défaillance, étape par étape ?
Commencez par les contrôles décrits dans les problèmes de qualité des données industrielles : un transmetteur figé ou un essai de boucle peut ressembler exactement à une défaillance. Ensuite :
- Choisir une classe d'équipements et deux ou trois modes de défaillance qui comptent, par exemple les fuites de garniture et les défaillances de roulements sur un parc de pompes. Rédiger une définition d'une ligne pour chaque mode.
- Extraire tous les ordres de travail sur ces équipements pour la période, y compris ceux annulés, avec leur texte libre.
- Classer le texte d'abord avec des règles simples : des listes de mots-clés par mode, comme « garniture », « fuite », « roulement » ou « vibration », revues par un ingénieur maintenance. Nestor, par exemple, regroupe les termes proches et les variantes orthographiques pour une revue rapide (NIST, Nestor).
- Rapprocher chaque candidat des autres sources : alarmes, déclenchements et notes de quart dans une fenêtre autour de la date de l'ordre de travail. Notre guide sur les données d'historian pour le machine learning traite de l'extraction.
- Marquer le début et la fin sur la tendance. L'outil open source Label Studio, par exemple, propose un modèle pour étiqueter des intervalles de séries temporelles multicanaux chargées depuis des fichiers CSV (Label Studio).
- Noter la confiance et les sources de chaque étiquette, et conserver les candidats rejetés avec leur motif.
- Faire étiqueter un échantillon par un second relecteur, de façon indépendante. Le kappa de Cohen mesure l'accord entre deux annotateurs ; 0 signifie aucun accord au-delà du hasard et 1 un accord complet (scikit-learn). Un accord faible signifie généralement qu'une définition de mode de défaillance est floue.
- Écrire les règles pour que la même démarche s'applique aux enregistrements de l'année suivante.
La supervision faible et l'apprentissage actif réduisent-ils l'effort ?
Les deux réduisent les heures d'expert.
Supervision faible. Au lieu d'étiqueter chaque exemple à la main, les experts écrivent des fonctions d'étiquetage : des heuristiques comme « un déclenchement de pompe dans les 48 heures suivant un ordre de travail qui mentionne "garniture" est une défaillance de garniture ». Snorkel combine ces règles bruitées sans vérité terrain. Dans son étude utilisateurs, des experts métier ont construit des modèles 2,8 fois plus vite qu'avec sept heures d'étiquetage manuel, avec des performances prédictives supérieures de 45,5 % en moyenne (Ratner et al., 2017). Ces résultats portent sur des tâches de référence, pas sur des données d'usine.
Apprentissage actif. Le modèle choisit les exemples que l'expert étiquette ensuite, en général ceux sur lesquels il est le moins sûr. L'idée clé est qu'un algorithme d'apprentissage peut atteindre une meilleure précision avec moins d'exemples étiquetés s'il peut choisir ses données d'entraînement (Settles, 2009). En usine, l'ingénieur revoit chaque semaine les périodes les plus ambiguës, pas un échantillon aléatoire.
Non étiqueté ne veut pas dire sain. Si certaines défaillances n'ont jamais été enregistrées, les périodes « sans défaillance » cachent des positifs. Elkan et Noto ont montré que, si les positifs étiquetés sont tirés au hasard parmi tous les positifs, un classifieur entraîné sur des exemples positifs et non étiquetés prédit des probabilités qui ne diffèrent des vraies que d'un facteur constant (Elkan and Noto, 2008). En usine, les défaillances graves sont plus souvent enregistrées que les mineures, si bien que l'hypothèse est rarement vérifiée entièrement, mais la leçon demeure : une période non enregistrée n'est pas un négatif.
Que se passe-t-il quand certaines étiquettes sont fausses ?
Les erreurs d'étiquetage nuisent autant à l'évaluation qu'à l'entraînement. Northcutt, Athalye et Mueller ont estimé en moyenne au moins 3,3 % d'erreurs d'étiquettes dans les jeux de test de dix jeux de données très utilisés, en image, texte et audio. Sur ImageNet, une hausse de 6 % de la part d'exemples de test mal étiquetés suffisait pour que ResNet-18 dépasse ResNet-50 (Northcutt et al., 2021).
Les bancs d'essai de séries temporelles ne font pas exception. Wu et Keogh écrivent que tous les bancs d'essai de détection d'anomalies populaires qu'ils ont examinés « semblent contenir des données mal étiquetées, à la fois des faux positifs et des faux négatifs » (Wu and Keogh, 2022).
Pour des données d'usine, consacrez d'abord le temps des experts au jeu de test, avec chaque étiquette de test revue deux fois, même si les étiquettes d'entraînement restent approximatives.
Comment évaluer un modèle sur des événements de défaillance ?
Une défaillance dure un certain temps : une exactitude calculée point par point est trompeuse. Tatbul et al. notent que de nombreuses anomalies réelles s'étendent sur un intervalle, et étendent la précision et le rappel aux intervalles (Tatbul et al., 2018). L'erreur inverse est courante dans les publications : avec l'ajustement ponctuel, si un seul instant d'un segment anormal est détecté, tout le segment compte comme détecté. Kim et al. ont montré qu'avec ce protocole même un score d'anomalie aléatoire peut ressembler à une méthode à l'état de l'art (Kim et al., 2022).
Mesurez ce qui compte pour les planificateurs de maintenance :
| Indicateur | Question à laquelle il répond |
|---|---|
| Événements détectés | Parmi les défaillances confirmées de la période de test, combien ont déclenché une alerte avant la défaillance fonctionnelle ? |
| Délai d'alerte | Combien de temps avant le déclenchement, ou avant que quelqu'un s'en aperçoive, l'alerte est-elle arrivée ? |
| Fausses alertes par semaine | Combien d'alertes ne correspondaient à aucun événement confirmé ? |
| Résultats par niveau de confiance | Les performances tiennent-elles sur les seules étiquettes de confiance élevée ? |
Attention au biais « run-to-failure ». Wu et Keogh ont constaté que de nombreuses anomalies des bancs d'essai se trouvent vers la fin des séries, si bien qu'une méthode naïve qui signale le dernier point a d'excellentes chances d'avoir raison. Si vos historiques s'arrêtent à la défaillance, vérifiez que le modèle n'a pas simplement appris « tard dans l'enregistrement », et découpez les données dans le temps : apprentissage sur les périodes anciennes, test sur les plus récentes.
Et s'il n'y a presque aucune défaillance à étiqueter ?
Ne commencez pas par un classifieur supervisé de défaillances. Entraînez un détecteur sur le fonctionnement normal et servez-vous des quelques événements étiquetés pour le tester, comme le décrit notre guide des méthodes de détection d'anomalies, et regroupez les équipements identiques exploités dans des conditions similaires. Les étiquettes deviennent indispensables ensuite, pour les modèles de classification de défauts et de durée de vie résiduelle décrits dans la maintenance prédictive par IA dans le pétrole et le gaz, et pour contrôler un modèle en service, comme l'explique notre article sur la surveillance de la dérive des modèles.
Comment obtenir de meilleurs enregistrements à l'avenir ?
Les étiquettes coûtent le moins cher quand on les saisit à la clôture : modifiez donc l'ordre de travail.
- Transformer le mode de défaillance, la méthode de détection et l'impact de la défaillance en listes déroulantes, alignées sur l'ISO 14224 quand vos codes le permettent.
- Ajouter un champ indiquant quand le problème a été remarqué pour la première fois, avec date et heure.
- Relier chaque ordre de travail au repère, et à l'alarme ou au déclenchement quand il y en a un.
- Revoir chaque mois un échantillon d'ordres de travail clôturés avec les planificateurs.
Un agent IA peut signaler les ordres clôturés sans code de défaillance ; voir connecter un agent IA à une GMAO. Notre checklist de préparation des données pétrole et gaz comprend un test rapide sur les ordres de travail.
Ce que nous avons constaté chez KABAS AI
Notre service data science couvre la préparation des données, les modèles prédictifs qui anticipent les défaillances et les pipelines MLOps qui les surveillent en production. Notre page pétrole et gaz cite la maintenance prédictive parmi ses cas d'usage, avec DALILE qui relie données de production, historiques de maintenance et historiques d'équipements. Nous n'avons pas publié de projet de maintenance prédictive : ce qui suit relève du conseil, pas d'un résultat rapporté.
Chez ADFC (groupe Sonatrach), l'expérience en formulation était « dispersée dans divers formats et emplacements » avant que Virtual Lab ne structure les essais passés et les recettes validées en données réutilisables. L'historique des défaillances est généralement dispersé de la même façon. Nos conseils :
- Prévoir du temps d'ingénieur pour les étiquettes dans le planning du projet ; c'est la ressource la plus rare.
- Construire d'abord le jeu de test, revu deux fois, avant tout modèle.
- Garder les enregistrements, les étiquettes et les outils d'étiquetage dans votre réseau, car les ordres de travail décrivent vos équipements et votre personnel.
Sources
- Hodkiewicz and Ho, Cleaning historical maintenance work order data for reliability analysis, Journal of Quality in Maintenance Engineering 22(2), 2016
- NIST, Nestor : boîte à outils pour le texte des ordres de travail de maintenance
- Selvik, Collection and exchange of reliability and maintenance data for equipment (ISO 14224), ISO/TC 67/WG4, Rio de Janeiro, 2014
- NASA, Reliability-Centered Maintenance Guide for Facilities and Collateral Equipment, septembre 2008
- Label Studio, modèle Time Series Labeling
- scikit-learn, cohen_kappa_score
- Ratner et al., Snorkel: Rapid Training Data Creation with Weak Supervision, PVLDB 11(3), 2017 (arXiv 1711.10160)
- Settles, Active Learning Literature Survey, University of Wisconsin-Madison, 2009
- Elkan et Noto, Learning Classifiers from Only Positive and Unlabeled Data, KDD 2008
- Northcutt, Athalye et Mueller, Pervasive Label Errors in Test Sets Destabilize Machine Learning Benchmarks, NeurIPS Datasets and Benchmarks 2021 (arXiv 2103.14749)
- Wu et Keogh, Current Time Series Anomaly Detection Benchmarks are Flawed and are Creating the Illusion of Progress, ICDE 2022 (arXiv 2009.13807)
- Tatbul et al., Precision and Recall for Time Series, NeurIPS 2018 (arXiv 1803.03639)
- Kim et al., Towards a Rigorous Evaluation of Time-Series Anomaly Detection, AAAI 2022 (arXiv 2109.05257)
Questions fréquentes
Combien d'exemples de défaillances faut-il pour entraîner un modèle de prédiction de pannes ?
Il n'y a pas de nombre fixe : cela dépend du mode de défaillance et de la diversité des conditions d'exploitation. Avec seulement quelques événements confirmés par mode, entraînez un détecteur d'anomalies sur le fonctionnement normal et gardez les événements pour le tester. Un classifieur supervisé pour un mode de défaillance donné exige assez d'exemples revus de ce mode, couvrant les conditions qu'il rencontrera en service.
Un modèle de langage peut-il lire nos ordres de travail et attribuer les codes de défaillance ?
Il peut proposer des codes à partir du texte libre, y compris des notes qui mêlent français, arabe et abréviations, ce qui fait gagner du temps de revue. Traitez ses propositions comme des étiquettes candidates : comparez-les à un échantillon revu par des ingénieurs avant de vous y fier, et conservez le texte source à côté de chaque code proposé. Les ordres de travail décrivent vos équipements et votre personnel ; faites donc tourner le modèle dans votre propre réseau.
Quelle doit être la durée de la fenêtre avant défaillance ?
Fixez-la par mode de défaillance à partir des débuts de dégradation marqués par les ingénieurs sur les données, et non d'après une règle empirique. La fenêtre doit commencer là où le signal change réellement et laisser à l'équipe de maintenance le temps d'agir. Tester quelques durées et comparer le délai d'alerte et les fausses alertes montre laquelle est utile.
Faut-il étiqueter comme sains les périodes sans défaillance enregistrée ?
Pas automatiquement. Certaines défaillances n'ont jamais été enregistrées, et ces périodes contiennent aussi des réparations, des démarrages et des essais. N'étiquetez comme normales que les périodes revues par les exploitants et les ingénieurs, excluez réparations et essais, et traitez le reste comme non étiqueté.
Qui doit réaliser l'étiquetage ?
Les ingénieurs maintenance ou fiabilité et les exploitants expérimentés décident de ce qu'est une défaillance et du moment où elle a commencé ; un data scientist prépare les données, les outils et les contrôles. Faites étiqueter un échantillon de façon indépendante par un second relecteur, et servez-vous des désaccords pour préciser les définitions des modes de défaillance.
Faut-il adopter l'ISO 14224 avant de commencer l'étiquetage ?
Non. Ses champs mode de défaillance, cause de défaillance, méthode de détection et impact de la défaillance constituent une référence utile, et rapprocher vos codes GMAO existants de ces champs rend les étiquettes plus faciles à réutiliser d'un site à l'autre. Un premier projet peut partir de vos propres codes, à condition que chaque mode de défaillance soit défini par écrit.



