Un jour, un spécialiste de la numérisation vient à l'usine. Il s'est promené ici, a marché là-bas, s'est froncé le front et a dit: «Je sais comment vous pouvez optimiser quelque chose ici. Vous économiserez spécifiquement! Donnez-moi simplement accès, oo, à ces données de production. » En réponse, la plante haussa les épaules. «Ici, nous avons un analyste des ventes. Il y a quelque chose à dire sur les turbines - des turbines Siemens très intelligentes. Et pour le reste de l'équipement, il n'y a rien eu. »
Vous lisez une miniature sur le conflit de deux mondes - l'industrie et l'analyse. Nous sommes du dernier, et voici à quoi cela ressemble pour nous: d'une part, des protocoles d'échange de données avec un grand nombre de chiffres au nom qui ont été créés pour la gestion de l'équipement et inaccessibles aux mortels ordinaires. De l'autre - des systèmes analytiques, de beaux rapports, des tableaux de bord pratiques et d'autres commodités.
Toutes les productions n'ont pas atteint un niveau technologique élevé. Mais tout le monde a besoin d'aide. Sur la photo, un cadre du film "Plant".Dans cet article, nous vous expliquerons comment nous essayons de façonner un visage humain (selon les normes d'un simple data scientist) - pour permettre aux analystes commerciaux de traiter des données industrielles et d'utiliser de beaux rapports BI.
Qu'avons-nous maintenant
Récemment, nous rendions visite à une entreprise de traitement du gaz. L'entreprise est grande, combine plusieurs usines. Nous sommes entrés dans la salle de contrôle. Tout y est très bien équipé: chaque répartiteur dispose de 6 à 8 moniteurs, et il y a un énorme plasma sur les murs. C'est juste le contenu de ces plasmas ... laisse beaucoup à désirer. Une carte d'aspect étrange, des flèches stupides, en haut de cette fenêtre de Windows qui a survécu à la terrible torture et montre quelques chiffres.
"Pourquoi tant de vyrviglaznoe?" - nous demandons. «C'est le mieux que nous puissions faire sortir de nos systèmes industriels», entend-on en réponse. Le temps de réponse du répartiteur à un incident ne devrait généralement pas dépasser 30 secondes, mais avec une telle interface, il n'est pas facile à rencontrer. Pas de BI ici et ça ne sent pas.
Une autre histoire sans interface. Les scientifiques des données viennent à l'usine et disent: "Donnez ces données sur votre installation, et nous pouvons prédire les problèmes avec une précision de 95%." Eh bien, au moins, ils le promettent. Ils hochent la tête à l'usine, et pour les scientifiques des données, le script commence dans les meilleures traditions de Kafka. Collecte de données ponctuelles. Selon une centaine de systèmes. Pour chacun, vous devez écrire cinq déclarations. Joignez une biographie personnelle et un pedigree au cinquième genou. Passez toutes les analyses, joignez-les à un essai sur un sujet gratuit et attrapez la bonne humeur du patron. Et c'est seulement alors que nous pourrons compter sur le succès. Plus précisément, j'espère.
Analyse d'usine
Pour résoudre des problèmes tels que ceux décrits ci-dessus, vous devez vous faire des amis de l'industrie grâce à l'analyse. Pour ce faire, nous construisons un système unique avec une architecture
intégrée . Un tel système peut fonctionner avec des types de données complètement différents et résoudre des problèmes analytiques sur leur base. Nous construisons un
système avec une architecture intégrée , et non quelque chose d'universel, car les systèmes universels résolvent tout aussi mal les problèmes. Dans une architecture complexe, nous combinons des outils d'analyse de différents types de données. Voici à quoi cela pourrait ressembler:
Il existe de nombreux types de données en production. Il existe des données relationnelles classiques des systèmes d'entreprise et des systèmes comptables. Il existe des données provenant de capteurs d'équipement - séries chronologiques. Il y a des événements de l'analyse vidéo - ils sont placés dans un dataleyk et une surveillance intégrée est effectuée sur eux (maintenant c'est un sujet populaire). Il existe des journaux de systèmes d'entreprise qui doivent être indexés pour un traitement ultérieur (nous utilisons Apache Solr) pour obtenir une image réelle de ce qui se passe dans la production en tenant compte des caméras de surveillance et pour évaluer la façon dont les opérateurs réagissent à certains événements. Et ce n'est pas tout, chaque production a sa propre combinaison d'exigences. Et au final, tous les travaux avec des données doivent être connectés au sein d'un écosystème unique, ce qui permettra de collecter des données dans un stockage centralisé avec des paramètres d'accès flexibles et des outils d'analyse communs.
Récemment, nous avions un projet: organiser le suivi du mode technologique de l'usine, ainsi que la qualité des matières premières. Le système de surveillance doit surveiller en temps réel tous les indicateurs importants et les comparer avec les normes en utilisant des formules très originales. Nous analysons en laboratoire les matières premières d'une base de données et les indicateurs de performance des équipements d'une autre.
En conséquence, l'opérateur obtient une image complète de ce qui se passe dans son installation: ce à quoi vous devez faire attention, vaut-il la peine d'arrêter le travail et à quel point c'est grave. Pour chaque écart par rapport au travail normatif, l'opérateur doit fixer la cause de la panne. Ainsi, la base de connaissances sur les incidents a augmenté.
En même temps, toutes les analyses sont affichées via un système de BI beau et pratique. Il vous permet non seulement de créer des rapports simples, mais également de créer des panneaux d'informations (tableaux de bord) compréhensibles et intuitifs. Et c'est un autre argument expliquant pourquoi il est si important de se lier d'amitié avec les systèmes analytiques. Pour des raisons de NDA, nous ne pouvons pas montrer les tableaux de bord de ce projet, mais par contraste nous donnons des exemples publics d'approches pour visualiser les systèmes BI et les systèmes industriels.
Voici à quoi pourraient ressembler les rapports BI:
Et voici l'interface SCADA:
Dans le cadre du développement de notre plateforme, nous envisageons de connecter l'analyse prédictive, qui révèle des modèles de causalité. Différentes raisons conduisent à différents scénarios. Par exemple, une mauvaise qualité des matières premières ou un mauvais ajustement de l'équipement après une maintenance programmée peut entraîner une baisse de la qualité du produit final ou une défaillance de l'équipement.
L'une des principales exigences d'un système d'analyse est la vitesse à laquelle les informations sont reçues. Il s'agit de la collecte de télémétrie à partir de capteurs et du calcul d'indicateurs (plan / fait d'indicateurs d'agrégation pour l'atelier) en mode quasi-temps réel. Cela vous permet d'ajuster la gestion opérationnelle de la production.
Quelque chose comme ça fonctionne dans un nouveau monde courageux. Mais en réalité, il y a des nuances.
L'analyse des données industrielles ou le casse-tête de l'intelligence d'affaires en production
Comment réduire les données des systèmes industriels (que personne ne collecte vraiment) sous une forme pratique pour l'analyse des données? L'un des protocoles standard pour les données industrielles est OPC DA / HDA. Il semble être ouvert, mais seuls les membres du consortium ont accès à ses spécifications. L'adhésion au consortium coûte cher et il n'existe pas de mise en œuvre ouverte stable de ce protocole.
Afin
de connecter ce protocole et d'autres protocoles industriels à des systèmes d'analyse modernes , nous créons des passerelles pour chaque protocole. Cela se fait par une équipe distincte de solutions industrielles. Le grand nombre de nombres dans les noms des protocoles les inspire. L'équipe a de l'expérience dans l'écriture de connecteurs industriels (par exemple, en utilisant le protocole OPC DA / HDA, en utilisant le PI SDK, etc.).
Mais
pour connecter les protocoles industriels au monde du Big Data, nous utilisons Apache NiFi - un outil de l'écosystème Hadoop qui vous permet de mettre en œuvre l'intégration en mode de traitement en streaming.
En construisant ce pont le plus important entre l'industrie et l'analytique, nous avons pu résoudre le problème sur la pile Hadoop familière. Dans les projets industriels, nous utilisons le plus souvent les distributions de notre partenaire domestique Arenadata. Avec Apache Phoenix, nous sélectionnons les données JDBC à l'aide de SQL. Dans les versions récentes, Phoenix a été bien optimisé pour travailler avec les séries temporelles qui apparaissent toujours dans les projets industriels.
Nous avons pu fermer le système analytique complexe avec les produits d'un fournisseur, ce qui est important en ce qui concerne les solutions d'entreprise. Apache Spark est utilisé pour calculer les paramètres (écarts dans les modes de fonctionnement de l'équipement), les indicateurs calculés et d'autres indicateurs de performance clés - un composant pour effectuer des calculs distribués en mode presque en temps réel dans l'écosystème Hadoop.
Nuances
Hélas, les protocoles industriels sont compliqués. La première fois que nous avions prévu de faire l'intégration avec PI, nous espérions prendre son interface JDBC standard et nous aurions un bonheur simple et rapide. Et lorsqu'ils ont commencé à travailler avec l'interface, il s'est avéré que sa bande passante n'était pas suffisante, même pour charger les données actuelles. Sans parler du téléchargement de l'histoire. Mais le connecteur possède sa propre API SDK interne, qui peut rapidement travailler avec les données. Nous avons donc écrit une passerelle spéciale sur cette API et résolu le problème.
Nous avons abordé la solution de ce problème de telle manière qu'au final nous obtenons la présentation des périodes de déviations sous forme de vitrine. Pour ce faire, il a fallu calculer combien de fois et quand les indicateurs ont dépassé la norme. Si vous analysez toute l'histoire à la recherche d'écarts, cela nécessitera beaucoup de ressources. Nous venons donc de passer par une série de valeurs, en comparant les suivantes et les précédentes. Si les deux sont normaux / pas normaux - il n'y a pas d'écart / cela continue. Si l'un des deux n'est pas normal - nous comptons, respectivement, le début ou la fin de l'écart. Nous avons donc pu économiser de la puissance de calcul lors de la création d'une vitrine avec des statistiques pour les analystes et les technologues.
Perspectives
Le but de ces projets dans l'industrie n'est pas seulement de rendre tout beau et clair, mais aussi de préparer une plate-forme analytique pour la production, de passer à une entreprise numérique, où il est possible de collecter et d'analyser tous les événements en un seul endroit.
Quant à la plateforme décrite, elle est utile à plusieurs départements à la fois. Nous avons résolu le problème des personnes qui gèrent la production. Si les opérateurs antérieurs ne pouvaient pas répondre à des écarts mineurs dans le fonctionnement de l'équipement, ils doivent maintenant signaler à la direction chaque non-conformité à la norme. Cela apporte de la valeur pour le moment. Nous avons donné aux numériseurs et aux services de R&D une source d'informations pratique sur la production, ce qui nous permet d'analyser tous les événements pour n'importe quelle période de temps - cela apportera de la valeur à l'avenir.
Maintenant, nous sommes activement engagés dans le développement de ces plates-formes technologiques, expérimentant la mise en œuvre. En général, nous nous efforçons d'éloigner l'industrie du contrôle manuel pour automatiser le contrôle de la production, comme dans les usines d'Ilon Mask.
Nous serons heureux de discuter avec tout le monde - à la fois avec les développeurs et les architectes du Big Data (que nous pouvons inviter dans notre équipe), et avec les digitaliseurs, les responsables de production, leur parler de notre expérience et proposer des options pour travailler ensemble. Pour tout le monde, nous organisons des réunions Big Data, au cours desquelles nous sommes heureux de discuter de toutes les questions et suggestions.
Mon courrier est EOsipov@croc.ru