Table des Matières
Les problèmes de qualité des données les plus courants en machine learning industriel sont les valeurs manquantes masquées en zéros ou en constantes, les capteurs figés, les valeurs aberrantes, la dérive des capteurs, la compression de l'historian, les horodatages et fréquences d'échantillonnage mal alignés, et les périodes hors marche normale, comme les arrêts et les essais de boucle. La plupart paraissent plausibles sur une courbe, donc chacun exige un contrôle explicite avant la modélisation.
Points clés
- Une revue des capteurs logiciels dans l'industrie de procédés cite le bruit, les valeurs manquantes, les valeurs aberrantes, les variables colinéaires et les fréquences d'échantillonnage différentes comme courants dans les données d'usine, et souligne que leur traitement demande beaucoup de travail manuel (Kadlec et al., 2009).
- Les valeurs manquantes apparaissent souvent comme un zéro ou une autre constante, pas comme un vide, si bien qu'un modèle peut les apprendre comme de vraies mesures.
- La compression de l'historian modifie la moyenne et la variance des données archivées ; Thornhill et al. proposent de n'utiliser des données compressées, avec prudence, que si le facteur de compression est de 3 ou moins (Thornhill et al., 2004).
- OPC UA qualifie les résultats de Good, Uncertain ou Bad, et les résultats de statut Bad ne doivent jamais être utilisés (« shall never be used ») (OPC Foundation). Conservez ce statut avec chaque valeur extraite.
Pourquoi les données d'usine sont-elles plus difficiles qu'il n'y paraît ?
Des années de données d'historian laissent croire à une abondance de données d'apprentissage, mais une grande partie décrit les instruments et le système d'acquisition autant que le procédé.
Kadlec, Gabrys et Strandt ont passé en revue les capteurs logiciels data-driven dans la chimie, les bioprocédés et la sidérurgie, et ont constaté que beaucoup de problèmes non résolus de leur développement et de leur maintenance trouvent leur origine dans les données procédé (Kadlec et al., 2009). Les mêmes problèmes touchent aussi bien les capteurs logiciels que les modèles de qualité prédictive et les détecteurs d'anomalies.
Les problèmes de données apparaissent aussi tardivement. En interrogeant 53 praticiens de l'IA en Inde, dans des pays d'Afrique de l'Est et de l'Ouest et aux États-Unis, dans des domaines comme la santé et la protection de la nature, Sambasivan et al. ont constaté que les « cascades de données », des problèmes en aval qui s'enchaînent à partir de défauts de données, avaient une prévalence de 92 % (Sambasivan et al., 2021). L'étude ne portait pas sur l'industrie, mais la leçon s'applique.
Quels sont les problèmes courants ?
| Problème | Ce qu'on voit dans les données | Cause habituelle | Premier contrôle |
|---|---|---|---|
| Valeurs manquantes ou de remplacement | Vides, zéros ou valeur constante | Panne, maintenance ou dépose du capteur ; liaison perdue | Compter vides, zéros et valeurs répétées par tag |
| Valeurs figées | Même valeur pendant des heures alors que les tags liés bougent | Transmetteur bloqué, interface en défaut | Plus longue série de valeurs identiques |
| Valeurs aberrantes | Pics, valeurs physiquement impossibles | Bruit, erreurs de transmission, ou vrais incidents | Limites physiques ; limites fondées sur la médiane |
| Dérive de capteur | Écart lent avec les instruments redondants ou le laboratoire | Encrassement, vieillissement, perte d'étalonnage | Comparer aux tags redondants, au laboratoire et aux bilans |
| Statut Bad ou Uncertain | Valeurs signalées, exportées sans leur indicateur | Défaut de l'appareil, essai de boucle, perte de communication | Extraire le statut avec chaque valeur |
| Compression de l'historian | Segments droits entre points archivés ; variance plus faible | Réglages de compression ou d'exception trop larges | Points archivés par jour |
| Décalages d'horodatage et de fréquence | Résultats de laboratoire à l'heure de saisie ; heures répétées ou manquantes | Saisie manuelle, réglage des horloges, retards du procédé | Comparer heures de prélèvement, d'analyse et de saisie |
| Périodes hors procédé | Démarrages, arrêts et essais dans les données « normales » | Journal des événements non joint | Joindre main courante, maintenance et journal d'alarmes |
| Problèmes d'étiquettes | Peu d'étiquettes ; entrées qui utilisent une information future | Faible fréquence de prélèvement, fuite de données | Vérifier ce qui était connu au moment de la prédiction |
Valeurs manquantes : pourquoi les vides sont-ils le cas facile ?
Kadlec et al. définissent les données manquantes dans les usines de procédés comme des valeurs qui ne reflètent pas l'état réel de la grandeur mesurée, et notent que les variables concernées affichent généralement zéro ou une autre constante. Les causes courantes sont la panne, la maintenance ou la dépose d'un capteur, et les problèmes de transmission ou de base de données (Kadlec et al., 2009).
Un vide se détecte facilement. Un zéro, non : un modèle traite un débit nul comme un vrai arrêt. Comparez les séries de zéros ou d'une même valeur avec les historiques de maintenance et les alarmes de communication.
La même revue qualifie le remplacement par la moyenne de méthode « très primitive et non recommandée », bien qu'encore courante, et oriente vers des méthodes qui utilisent les autres variables. scikit-learn distingue l'imputation univariée, qui n'utilise que le tag lui-même, de l'imputation multivariée, qui utilise toutes les variables disponibles, et note que garder la trace des valeurs manquantes « peut être informatif » (scikit-learn). Ne complétez que les trous courts, marquez chaque valeur complétée, et écartez les longues interruptions.
Valeurs figées et valeurs aberrantes : comment les repérer ?
Une valeur figée cesse de varier alors que le procédé autour d'elle bouge. Kadlec et al. citent les variables bloquées sur une valeur constante parmi les problèmes évidents à repérer dès la première inspection. Cherchez les longues séries de valeurs identiques ou un écart-type glissant nul, et comparez avec les tags qui devraient évoluer avec elle. Les consignes et les états marche/arrêt sont constants par nature.
Les valeurs aberrantes sont de deux types (Kadlec et al., 2009) :
- Les valeurs aberrantes évidentes violent des limites physiques ou technologiques, comme une pression absolue négative. Les ingénieurs doivent fournir ces limites.
- Les valeurs aberrantes non évidentes restent dans les limites mais hors de la plage habituelle. La règle des 3 sigma repose sur la moyenne et l'écart-type, que les valeurs aberrantes faussent ; l'identificateur de Hampel utilise la médiane et l'écart absolu médian, ce qui le rend plus robuste.
Ne supprimez pas toute valeur inhabituelle : un incident ou un déclenchement est une donnée réelle. Retirez les erreurs d'instrument ; étiquetez les événements procédé.
Est-ce le capteur ou le procédé qui dérive ?
Kadlec et al. distinguent deux types de dérive. La dérive du procédé vient de l'usure, de la désactivation du catalyseur, de la pureté de la charge ou de la météo, et modifie le procédé. La dérive du capteur vient de l'appareil de mesure et ne reflète aucun changement du procédé ; la réponse est de réétalonner l'instrument ou d'adapter le modèle, pas d'agir sur le procédé.
Comparez le tag aux transmetteurs redondants, aux résultats de laboratoire et aux bilans matière ou énergie, et récupérez les dates d'étalonnage dans la GMAO. Un modèle entraîné sur une période de dérive non détectée l'apprend comme un comportement du procédé.
Conservez-vous le statut de qualité avec chaque valeur ?
Les appareils et les serveurs de données signalent déjà beaucoup de valeurs mauvaises. La recommandation NAMUR NE 107 définit quatre signaux d'état des appareils ; « contrôle de fonctionnement » (function check) indique un signal temporairement invalide, par exemple des sorties forcées pendant des essais de boucle, et « défaillance » (failure) un signal invalide causé par un dysfonctionnement (Endress+Hauser). En OPC UA, les résultats Uncertain « peuvent ne pas convenir à certains usages », et les résultats de statut Bad ne doivent jamais être utilisés (OPC Foundation).
Dans un export qui ne contient que les valeurs, une mesure prise pendant un essai de boucle ressemble à toutes les autres. Extrayez aussi le statut, et écartez ou marquez les valeurs qui ne sont pas Good.
Comment la compression de l'historian modifie-t-elle les données ?
Les historians ne conservent souvent qu'une partie des valeurs reçues. Kadlec et al. décrivent des systèmes qui n'enregistrent un échantillon que lorsqu'une variable varie de plus d'un seuil : un seuil trop élevé fait manquer des changements importants du procédé.
Thornhill, Shoukat Choudhury et Shah ont étudié l'algorithme « swinging door », qu'OSIsoft déclarait utiliser dans son historian PI, et des méthodes linéaires par morceaux similaires (Thornhill et al., 2004). La compression modifiait la moyenne et réduisait la variance des données reconstruites, et altérait les indices de performance des boucles de régulation. Leurs conclusions :
- Les données dont le facteur de compression est de 3 ou moins « peuvent être utilisées avec prudence » pour des analyses fondées sur les données.
- Dans un jeu de données industriel, les facteurs de compression atteignaient environ 94 et seuls cinq tags étaient à 3 ou moins ; les auteurs l'ont jugé inadapté à l'analyse de données.
- Les moyennes, la réconciliation de données et les bilans matière doivent utiliser les données d'origine, pas les valeurs reconstruites.
Une prépublication de 2025 rédigée par des ingénieurs de Saudi Aramco, à partir de signaux synthétiques, indique qu'une compression « swinging door » trop agressive faisait manquer 35 % des anomalies transitoires (Faqehi et al., 2025). C'est une simulation, pas une étude en usine, mais elle va dans le même sens.
Pour contrôler un tag, comparez le nombre de points archivés à la période de scrutation, ou, comme Thornhill et al., reconstruisez-le à l'intervalle d'origine et comptez les différences secondes nulles. Notre guide sur les données d'historian pour le machine learning détaille les réglages d'extraction.
Vos horodatages disent-ils la vérité ?
- Résultats de laboratoire. Utilisez l'heure du prélèvement, pas celle de l'analyse ou de la saisie dans le LIMS, comme l'explique notre guide sur les capteurs logiciels.
- Retards du procédé. La matière met du temps à traverser un réacteur ou une colonne, donc les entrées doivent être décalées du temps de séjour ou du temps mort, ce qui exige la connaissance du procédé (Kadlec et al.).
- Fréquences différentes. Pour chaque prélèvement, prenez la dernière valeur procédé à l'instant de prélèvement décalé ou avant, avec un écart maximal pour qu'une valeur ancienne ne soit pas utilisée sans qu'on le sache. La fonction pandas
merge_asofle fait avec une recherche « backward » et unetolerance(pandas). - Horloges. Quand on recule l'heure au passage à l'heure d'hiver, des heures locales se répètent ; quand on l'avance, certaines n'existent pas (PEP 495). L'Algérie est à UTC+1 sans heure d'été depuis 1981, selon la base de données des fuseaux horaires de l'IANA, mais un serveur réglé sur un autre fuseau, ou des données fusionnées avec celles de sites situés dans des pays qui changent d'heure, peuvent encore créer des heures en double ou manquantes. Stockez et joignez les données en UTC, et vérifiez que les horloges des automates, de l'historian et du LIMS concordent.
Quelles périodes exclure des données d'apprentissage ?
Un modèle entraîné sur « toutes les données » apprend les démarrages, arrêts, essais de boucle et étalonnages comme de la marche normale. Repérez-les grâce à la main courante, à la GMAO et au journal des événements, puis excluez-les ou étiquetez-les. Étiquetez aussi les modes de marche ; notre guide de détection d'anomalies explique pourquoi chaque mode demande en général son propre modèle. Les usines batch doivent en plus faire correspondre les numéros de lot entre systèmes, comme le montre l'analyse du golden batch.
Les étiquettes sont-elles assez bonnes ?
- Combien y en a-t-il ? Une année de prélèvements à raison d'un par poste donne environ un millier de points, et les défauts peuvent ne représenter qu'une petite fraction des pièces, comme le montre notre guide de la qualité prédictive.
- Sont-elles justes ? Les méthodes de laboratoire ont leur propre répétabilité. Filtrez les valeurs de laboratoire avant l'apprentissage.
- Étaient-elles connues au moment de la prédiction ? scikit-learn définit la fuite de données (data leakage) comme l'utilisation, pour construire le modèle, d'informations qui ne seraient pas disponibles au moment de la prédiction, ce qui donne des estimations trop optimistes et de moins bonnes performances en production (scikit-learn). Un indicateur de retouche laissé parmi les entrées en est un cas typique.
Comment contrôler la qualité des données, étape par étape ?
- Formuler d'abord la question : modèle, cible, tags. Un tag suffisant pour un rapport journalier peut être trop compressé pour un capteur logiciel.
- Obtenir la liste des tags avec leurs métadonnées : unités, plages, période de scrutation, réglages de compression, dates de remplacement des instruments.
- Extraire les valeurs brutes avec leur statut, à la résolution archivée et non interpolée, avec les données de laboratoire, d'événements et de maintenance.
- Profiler chaque tag : part de valeurs manquantes, nulles et constantes, plus longue série figée, valeurs hors limites physiques.
- Contrôler la compression et les horodatages, y compris heure de prélèvement contre heure de saisie et réglage des horloges.
- Repérer les périodes hors procédé avec les exploitants.
- Vérifier les dérives par rapport aux instruments redondants, au laboratoire et aux bilans.
- Consigner chaque règle par écrit pour qu'elle s'applique de la même façon aux données en temps réel.
Faut-il nettoyer les données ou corriger la source ?
Les deux, mais les corrections à la source durent plus longtemps et profitent à tous les modèles suivants. Réparez ou réétalonnez les instruments derrière les pires tags, revoyez les réglages de compression des tags qui alimentent des modèles en suivant les recommandations de l'éditeur de votre historian, enregistrez les heures de prélèvement et tenez les journaux d'événements à jour. Nos articles sur la gouvernance des données industrielles et la check-list de préparation des données pour le pétrole et le gaz traitent des responsabilités et des questions à poser avant un projet.
Les mêmes contrôles doivent aussi tourner, avec des alertes, sur les données en temps réel qui alimentent le modèle.
Ce que nous avons constaté chez KABAS AI
Notre service data science commence par la collecte et la préparation des données (rassembler, nettoyer et structurer les données pour l'analyse et l'IA) et se termine par des pipelines MLOps qui surveillent les modèles en production. Sur notre page industrie manufacturière, DALILE propose l'analyse des tendances qualité et la détection d'anomalies sur les données de production, qui dépendent des contrôles décrits ici.
Notre conseil pratique : profilez les données avant de fixer le périmètre d'un modèle, et demandez aux instrumentistes et ingénieurs procédés qui savent quels transmetteurs ne sont pas fiables de traduire ce savoir en règles écrites. Gardez les extractions brutes à l'intérieur de votre propre réseau. Pour la question des équipes, voir constituer une première équipe data industrielle.
Sources
- Kadlec, Gabrys et Strandt, Data-driven Soft Sensors in the Process Industry, Computers and Chemical Engineering 33(4), 2009
- Thornhill, Shoukat Choudhury et Shah, The impact of compression on data-driven process analyses, Journal of Process Control 14(4), 2004
- Faqehi et al., The Impact of Data Compression in Real-Time and Historical Data Acquisition Systems on the Accuracy of Analytical Solutions, arXiv 2510.26868, 2025
- Sambasivan et al., "Everyone wants to do the model work, not the data work": Data Cascades in High-Stakes AI, CHI 2021
- OPC Foundation, OPC 10000-4 Part 4: Services, 7.38.1 StatusCode General
- Endress+Hauser, NAMUR NE 107
- scikit-learn, Imputation of missing values
- scikit-learn, Common pitfalls and recommended practices
- pandas, pandas.merge_asof
- Python, PEP 495: Local Time Disambiguation
- IANA, base de données des fuseaux horaires, fichier africa (Africa/Algiers)
Questions fréquentes
Faut-il compléter les valeurs manquantes des capteurs ou les supprimer ?
Ne complétez que les trous courts, et marquez chaque valeur complétée pour que le modèle et ses utilisateurs sachent qu'elle a été estimée. Les longues interruptions, ainsi que les zéros ou valeurs constantes laissés par un capteur en panne, sont à retirer ou à marquer comme manquants. Les méthodes qui estiment une valeur manquante à partir de tags liés sont en général meilleures que le remplacement par la moyenne du tag.
Quel réglage de compression de l'historian est sûr pour le machine learning ?
Il n'existe pas de réglage universel. Thornhill et ses coauteurs proposent que les données archivées avec un facteur de compression de 3 ou moins puissent être utilisées avec prudence pour des analyses fondées sur les données. Pour les tags qui alimentent un modèle, revoyez les réglages de compression et d'exception avec l'administrateur de l'historian, et envisagez de conserver une copie moins compressée.
Un modèle de machine learning peut-il gérer seul des données de mauvaise qualité ?
En partie seulement. Les méthodes robustes réduisent l'effet de quelques valeurs aberrantes, mais un transmetteur figé, un zéro de remplacement ou un capteur en dérive ressemblent à des données valides pour le modèle. Il faut les détecter par des contrôles explicites et la connaissance du procédé, aussi bien dans les données d'apprentissage que sur les données en temps réel.
Comment distinguer la dérive d'un capteur d'un vrai changement du procédé ?
Comparez le tag à une information indépendante : un transmetteur redondant, les résultats de laboratoire, ou un bilan matière ou énergie. Si un seul instrument bouge alors que les autres concordent, suspectez le capteur et vérifiez son historique d'étalonnage. Si plusieurs mesures liées bougent ensemble, le procédé a plus probablement changé.
Qui doit être responsable de la qualité des données dans une usine ?
La qualité des données mobilise l'équipe instrumentation, les ingénieurs procédés et les personnes qui gèrent l'historian et le LIMS, pas seulement les data scientists. Une organisation pratique consiste à nommer un responsable pour chaque liste de tags critiques, à documenter les contrôles, et à prévoir une routine pour corriger à la source les problèmes récurrents.
Faut-il des données parfaites avant de lancer un projet ?
Non. L'important est de savoir quels problèmes sont présents, comment ils affectent le modèle visé, et s'ils peuvent être corrigés ou exclus. Un court travail de profilage des tags concernés répond à ces questions avant le début de la modélisation.



