Table des Matières
Pour extraire les données d'un historian procédé pour le machine learning, lisez les valeurs brutes enregistrées par un chemin en lecture seule qui traverse la DMZ, conservez l'indicateur de qualité de chaque valeur, stockez les horodatages en UTC, puis rééchantillonnez sur une grille commune avec des moyennes pondérées dans le temps. Vérifiez d'abord la compression de chaque tag : au-delà d'un facteur 3 environ, les archives peuvent tromper les modèles fondés sur les données.
Points clés
- Un historian ne conserve pas toutes les mesures. Les filtres d'exception et de compression éliminent des valeurs, et AVEVA décrit la compression comme la suppression de données qui peuvent être recréées par interpolation.
- La compression swinging door a modifié la moyenne et l'écart-type de données d'usine, et une étude publiée dans une revue à comité de lecture propose que seules les données avec un facteur de compression de 3 ou moins puissent être utilisées avec prudence pour l'analyse fondée sur les données.
- Extrayez les valeurs brutes enregistrées avec leur statut. Les valeurs interpolées sont calculées, et une moyenne simple de points irréguliers n'est pas une moyenne pondérée dans le temps.
- Gardez les horodatages en UTC, rattachez résultats de laboratoire et événements par une jointure as-of, et séparez apprentissage et test selon le temps.
- Sortez les données de l'OT par la DMZ, en lecture seule et en mode push, comme le recommande le guide conjoint actuel.
Que stocke réellement un historian procédé ?
Le NIST définit un historian (base de données historique) comme une base de données centralisée qui permet l'analyse des données par des techniques de maîtrise statistique des procédés (NIST CSRC). Dans le modèle de Purdue, il se situe au niveau 3, au-dessus du SCADA et du DCS (le modèle de Purdue et l'IA). Il stocke une série temporelle par tag : un horodatage, une valeur et un statut.
Ce qu'il ne stocke pas, c'est chaque scrutation. Dans le PI System d'AVEVA, deux filtres s'appliquent avant l'archivage (AVEVA, 2023) :
- Le filtrage par exception (exception reporting) est une simple bande morte appliquée par l'interface. Une nouvelle valeur n'est transmise que si elle s'écarte de plus que la déviation d'exception, ou si une durée maximale est écoulée.
- La compression utilise l'algorithme swinging door pour éliminer les données qui peuvent être recréées sans risque par interpolation. L'objectif affiché est de filtrer le bruit de l'instrument et du procédé tout en enregistrant les évolutions significatives du procédé.
La même présentation d'AVEVA suggère de fixer la déviation de compression au plus à la précision de l'instrument, et la déviation d'exception à la moitié de cette valeur. Lors d'un pilote offshore qu'elle décrit, exception et compression ont réduit ensemble d'environ 94 % les données stockées à terre. D'autres historians utilisent d'autres algorithmes, mais le résultat est comparable : les points archivés sont irréguliers, denses autour des changements et clairsemés en régime stable.
À partir de quel niveau la compression gêne-t-elle le machine learning ?
Thornhill, Choudhury et Shah ont étudié directement cette question (Thornhill et al., 2004). Ils définissent le facteur de compression comme le rapport entre le volume de stockage des données d'origine et celui des données archivées. Leurs résultats :
- La compression swinging door a modifié des caractéristiques statistiques essentielles du jeu de données, comme la valeur moyenne et l'écart-type, et d'autres analyses fondées sur les données ont aussi été affectées.
- Pour deux jeux de données procédé, les résultats avec un facteur de compression de 3 étaient proches du cas non compressé, et aucune non-linéarité n'apparaissait à 3 ou moins. D'où leur règle : des données avec un facteur de 3 ou moins peuvent être utilisées avec prudence.
- Dans un jeu de données industriel, les facteurs atteignaient 93,8 et seuls cinq tags étaient à 3 ou moins. Une fois compressées, les données d'origine étaient perdues définitivement.
Cette tension mérite d'être connue. La présentation d'AVEVA, écrite pour les performances de l'historian, évoque un taux de compression minimal suggéré de 3:1. Le même rapport qui est un plancher pour les performances est un plafond pour l'analyse.
Vous pouvez estimer le facteur tag par tag avant de modéliser. Comptez les valeurs enregistrées sur une période et comparez-les au nombre de scrutations. Un tag scruté toutes les 10 secondes produit 8 640 scrutations par jour ; si l'historian a gardé 300 valeurs, le facteur est d'environ 29. Thornhill et al. décrivent aussi comment détecter la compression à partir des données elles-mêmes, en comptant les dérivées secondes nulles de la tendance reconstruite.
Brutes, interpolées ou agrégées : quel mode de lecture choisir ?
OPC UA Historical Access définit trois types de lecture des données historiques (OPC 10000-11). Les interfaces des éditeurs donnent leurs propres noms à des options similaires.
| Mode de lecture | Terme OPC UA | Ce que vous obtenez | Usage pour le ML | Risque principal |
|---|---|---|---|---|
| Brut (valeurs enregistrées) | Read raw | Les valeurs archivées à leurs propres horodatages, avec leur statut | Choix par défaut pour l'apprentissage ; vous maîtrisez le rééchantillonnage et les trous | Gros volumes ; espacement irrégulier |
| À horodatage donné (interpolé) | Read at time | Une valeur à chaque horodatage demandé, interpolée entre les points archivés quand il n'en existe pas | Aperçu rapide de données régulièrement espacées | Masque la compression ; peut tracer des droites à travers des coupures |
| Traité (agrégats) | Read processed | Une valeur par intervalle : moyenne temporelle, minimum, maximum, nombre de valeurs, pourcentage de bonnes valeurs et autres | Variables au pas du modèle, calculées par le serveur | Un mauvais agrégat donne des valeurs biaisées |
Dans une lecture à horodatage donné, OPC UA indique pour chaque valeur renvoyée si elle est brute ou interpolée. Dans une lecture brute, une période sans données est renvoyée avec le statut Good_NoData. Conservez ces indicateurs dans votre extraction.
Le choix de l'agrégat compte plus qu'il n'y paraît. L'agrégat OPC UA Average additionne toutes les valeurs brutes de bonne qualité de chaque intervalle et divise la somme par le nombre de ces valeurs (OPC 10000-13, Average). TimeAverage relie les points par des segments inclinés et divise l'aire sous ces segments par la durée de l'intervalle (OPC 10000-13, TimeAverage). Sur des données compressées, les points archivés se concentrent autour des changements, si bien qu'une moyenne simple surpondère les transitoires. Utilisez des moyennes pondérées dans le temps pour les tags analogiques, et des valeurs en escalier pour les tags discrets comme l'état d'une pompe : la variante TimeAverage2 suit la propriété Stepped du tag.
Le volume est la limite pratique. AVEVA cite les réponses lentes, les dépassements de délai et l'atteinte de la limite de collecte de l'archive (ArcMaxCollect) parmi les problèmes courants de performance des requêtes (AVEVA, 2023). Extrayez les données brutes par tranches, par exemple un mois par groupe de tags, en dehors des heures de pointe.
Comment traiter les indicateurs de qualité et les valeurs invalides ?
Chaque valeur OPC UA porte un code de statut dont la sévérité est Good, Uncertain ou Bad. Good signifie que le résultat peut être utilisé, Uncertain qu'il peut ne pas convenir à certains usages, et Bad qu'il ne peut pas être utilisé (OPC 10000-4). Selon l'historian, une mesure en défaut peut aussi être stockée sous forme de libellé texte plutôt que de nombre.
Quelques règles évitent la plupart des surprises :
- Gardez la colonne de statut à côté de chaque valeur, tout au long de la chaîne de traitement.
- Traitez Bad comme une valeur manquante, jamais comme un zéro. Un débit nul pendant une panne de communication apprend au modèle un arrêt qui n'a jamais eu lieu.
- N'interpolez pas à travers les longues coupures. Fixez un trou maximal par tag, selon sa dynamique, et supprimez ou marquez les fenêtres qui le dépassent.
- Repérez les valeurs figées avec un statut Good. Un transmetteur bloqué peut renvoyer une valeur constante sans aucune erreur.
L'agrégat TimeAverage lui-même écarte les valeurs Bad et marque le résultat Uncertain_DataSubNormal : vérifiez donc aussi le statut des agrégats. Notre article sur les problèmes de qualité des données industrielles couvre la liste plus large.
Comment gérer les horodatages et les fuseaux horaires ?
En OPC UA, toutes les valeurs de temps échangées entre serveurs et clients sont en UTC, et ce sont les clients qui convertissent en heure locale. La même section avertit que l'horodatage source et l'horodatage serveur peuvent provenir d'horloges différentes, non synchronisées (OPC 10000-3).
L'Algérie simplifie les choses par rapport à l'Europe : la base de données des fuseaux horaires place Africa/Algiers en CET (UTC+1) depuis mai 1981, sans heure d'été depuis 1980 (base tz de l'IANA). Les pièges sont ailleurs : un tableur de laboratoire en heure locale, un serveur d'éditeur réglé sur un fuseau européen, ou un résultat de laboratoire horodaté à l'heure d'analyse au lieu de l'heure de prélèvement. Stockez tout en UTC et ne convertissez que pour l'affichage. Notre guide sur les capteurs logiciels explique pourquoi c'est l'heure de prélèvement qui compte.
Comment rattacher résultats de laboratoire et événements aux données procédé ?
Résultats de laboratoire, changements de qualité, déclenchements et interventions de maintenance arrivent à des instants irréguliers. Une jointure as-of associe chaque prélèvement à la ligne procédé la plus proche dans le temps. Dans pandas, merge_asof est semblable à une jointure à gauche, sauf que l'association se fait sur la clé la plus proche plutôt que sur des clés égales, avec une direction backward, forward ou nearest et une tolerance optionnelle (pandas).
Utilisez direction="backward" après avoir décalé l'heure de prélèvement du temps mort entre le procédé et le point de prélèvement. Le modèle ne voit alors que des valeurs procédé antérieures au prélèvement, ce qu'il verra en service. Fixez une tolérance pour qu'un prélèvement sans données procédé proches ne reçoive aucune correspondance plutôt qu'une valeur ancienne. Utilisez le journal d'événements pour masquer démarrages, arrêts et essais, comme dans notre guide sur les méthodes de détection d'anomalies.
Comment découper et stocker l'extraction ?
Découpez selon le temps, jamais au hasard. scikit-learn rappelle que la validation croisée classique sur des données ordonnées dans le temps conduirait à entraîner sur des données futures et à évaluer sur des données passées. Son TimeSeriesSplit dispose d'un paramètre gap qui exclut des échantillons entre jeu d'apprentissage et jeu de test (scikit-learn), utile quand les variables reposent sur des fenêtres glissantes.
Stockez le résultat dans un format en colonnes comme Apache Parquet, un format de fichier open source orienté colonnes, conçu pour stocker et relire les données efficacement (Apache Parquet). Enregistrez à côté un manifeste : liste des tags, mode de lecture, agrégat et pas de temps, période, paramètres de compression au moment de l'extraction et date de la requête. Sans lui, personne ne pourra reconstruire le jeu d'apprentissage quand le modèle devra être réentraîné.
Où l'extraction doit-elle s'exécuter ?
Pas sur le réseau de contrôle. Le NIST SP 800-82r3 indique que toute communication entre le niveau entreprise et le niveau gestion des opérations doit passer par des services situés dans la DMZ (NIST SP 800-82r3, section 5.4.1). Le guide conjoint piloté par la CISA privilégie les architectures en push ou via un intermédiaire, qui sortent de l'OT les variables ou synthèses nécessaires sans accorder d'accès entrant permanent, avec des transferts unidirectionnels et des zones de transit auditées (CISA et al., 2025).
Concrètement : un compte en lecture seule sur une copie de l'historian en DMZ, ou un export planifié vers une zone de transit. Nos guides sur l'intégration de l'IA aux systèmes SCADA et OT et sur les diodes de données et le transfert unidirectionnel traitent de l'architecture.
Étape par étape : de l'historian au jeu d'apprentissage
- Fixez le cas d'usage et la liste des tags avec l'ingénieur procédé. Notez pour chaque tag l'unité, l'échelle, la fréquence de scrutation et les paramètres d'exception et de compression.
- Estimez le facteur de compression de chaque tag sur un mois type, et signalez les tags très au-dessus de 3.
- Extrayez les valeurs brutes enregistrées avec leur statut par tranches, par le chemin en lecture seule.
- Convertissez en UTC, triez et supprimez les doublons.
- Marquez les valeurs Bad et Uncertain et les longues coupures. Ne les remplacez jamais par des zéros.
- Rééchantillonnez sur une grille unique avec des moyennes pondérées dans le temps pour les tags analogiques et des valeurs en escalier pour les tags discrets.
- Rattachez résultats de laboratoire et événements par une jointure as-of, décalée du temps mort.
- Découpez selon le temps, enregistrez en Parquet avec un manifeste, et scriptez chaque étape pour pouvoir la relancer.
- Demandez à l'équipe OT de réduire la compression des tags dont dépend le modèle, à partir de maintenant.
Ce que nous avons constaté chez KABAS AI
Notre offre data science couvre la collecte et la préparation des données, les modèles prédictifs et les pipelines MLOps qui les maintiennent en service, et notre offre systèmes d'information couvre l'intégration des systèmes existants. Les conseils de cet article découlent de ce type de travail, pas d'un benchmark publié.
Trois points méritent d'être prévus tôt. Budgétez l'accès aux données avant la modélisation, car l'extraction peut prendre plus de temps que le modèle. Scriptez l'extraction dès le premier jour : un modèle qui ne peut pas être réentraîné sur la même chaîne dérivera sans correctif possible. Et calculez les variables de la même façon en production qu'à l'apprentissage : si le modèle a appris sur des moyennes pondérées dans le temps sur 1 minute, le flux en service doit fournir exactement cela. Pour l'organisation, voir votre première équipe data industrielle, et vérifiez l'historian par une évaluation de maturité IA avant de commencer.
Sources
- NIST CSRC Glossary, Data historian
- NIST SP 800-82r3, Guide to Operational Technology (OT) Security, 2023
- CISA et al., Principles for the Secure Integration of Artificial Intelligence in Operational Technology, décembre 2025
- Bregenzer, Exception, Compression, and their Impacts on PI System Performance, AVEVA, 2023
- Thornhill, Choudhury et Shah, The impact of compression on data-driven process analyses, Journal of Process Control 14, 2004
- OPC 10000-11, OPC UA Part 11: Historical Access, lectures brutes, traitées et à horodatage donné
- OPC 10000-13, OPC UA Part 13: Aggregates, Average
- OPC 10000-13, OPC UA Part 13: Aggregates, TimeAverage
- OPC 10000-4, OPC UA Part 4: Services, StatusCode
- OPC 10000-3, OPC UA Part 3: Address Space Model, UtcTime
- Base de données des fuseaux horaires de l'IANA, fichier africa (Africa/Algiers)
- Documentation pandas, pandas.merge_asof
- Documentation scikit-learn, TimeSeriesSplit
- Apache Parquet, Overview
Questions fréquentes
Peut-on entraîner un modèle sur les valeurs interpolées de l'historian ?
C'est possible, mais risqué comme choix par défaut. Les valeurs interpolées sont calculées entre les points archivés : elles masquent le niveau de compression du tag et peuvent tracer des droites à travers des coupures. Extrayez les valeurs brutes enregistrées avec leur statut, puis rééchantillonnez-les vous-même pour maîtriser le traitement des trous et des valeurs invalides.
Qu'est-ce que le facteur de compression et comment l'estimer ?
C'est le rapport entre le nombre de valeurs produites par l'instrument et le nombre de valeurs conservées par l'historian. En pratique, on divise le nombre de scrutations sur une période par le nombre de valeurs enregistrées sur la même période : un tag scruté toutes les 10 secondes donne 8 640 scrutations par jour, donc 300 valeurs enregistrées correspondent à un facteur d'environ 29. Thornhill et ses coauteurs proposent que des données avec un facteur de 3 ou moins puissent être utilisées avec prudence pour l'analyse fondée sur les données.
Faut-il désactiver la compression dans l'historian ?
Pas de façon générale. La compression garde l'historian rapide et le stockage maîtrisable. Il vaut mieux convenir avec l'équipe OT des tags dont un modèle a besoin et réduire leurs paramètres d'exception et de compression à partir de maintenant, après avoir vérifié l'effet sur le stockage et les temps de requête. Les données déjà compressées ne peuvent pas être récupérées.
Quel pas d'échantillonnage choisir pour les données d'apprentissage ?
Il dépend de la dynamique du procédé et du cas d'usage, pas de l'historian. Un capteur logiciel pour une variable qualité prélevée toutes les quelques heures peut se contenter de moyennes sur 1 à 5 minutes, alors qu'un problème de vibration ou de pression rapide exige des données bien plus fines. Choisissez le pas avec l'ingénieur procédé, et utilisez des moyennes pondérées dans le temps pour l'obtenir.
Le serveur data science peut-il interroger directement l'historian ?
Uniquement par le chemin autorisé par vos règles de sécurité OT. Le NIST SP 800-82r3 indique que les communications entre le niveau entreprise et le niveau exploitation doivent passer par des services situés dans la DMZ, et le guide conjoint piloté par la CISA privilégie les architectures en push ou via un intermédiaire (broker). Concrètement, il s'agit d'un compte en lecture seule sur une copie de l'historian ou d'une extraction planifiée déposée dans une zone de transit, pas d'une connexion directe au réseau de contrôle.



