Un día, un especialista en digitalización llega a la fábrica. Caminó por aquí, caminó por allá, arrugó la frente y dijo: “Sé cómo puedes optimizar algo aquí. ¡Ahorrará específicamente! Solo dame acceso, oo, a estos datos de producción. En respuesta, la planta se encoge de hombros. “Aquí tenemos un analista de ventas. Hay algo que decir sobre las turbinas: turbinas Siemens muy inteligentes. Y para el resto del equipo, no se generó nada ”.
Lees una miniatura sobre el conflicto de dos mundos: industria y análisis. Somos del último, y así es como nos busca: por un lado, los protocolos de intercambio de datos con una gran cantidad de dígitos en el nombre que se crearon para la administración de equipos e inaccesibles para los mortales comunes. Por otro lado: sistemas analíticos, informes hermosos, paneles prácticos y otras comodidades.
No todas las producciones han alcanzado un alto nivel tecnológico. Pero todos necesitan ayuda. En la foto un marco de la película "Planta".En esta publicación, le diremos cómo tratamos de diseñar un rostro humano (según los estándares de un simple científico de datos), para permitir que los analistas de negocios procesen datos industriales y usen hermosos informes de BI.
Que tenemos ahora
Recientemente visitamos una empresa de procesamiento de gas. La empresa es grande, combina varias fábricas. Entramos en la sala de control. Todo está muy bien equipado allí: cada despachador tiene 6-8 monitores, y hay un enorme plasma en las paredes. Eso es solo el contenido de estos plasmas ... deja mucho que desear. Un mapa de aspecto extraño, flechas estúpidas, en la parte superior de esta ventana de Windows que sobrevivió a la terrible tortura y muestra algunos números.
"¿Por qué tan vyrviglaznoe?" - preguntamos "Esto es lo mejor que podemos sacar de nuestros sistemas industriales", escuchamos en respuesta. El tiempo de respuesta del despachador a un incidente generalmente no debe exceder los 30 segundos, pero con dicha interfaz no es fácil de cumplir. No hay BI aquí y no huele.
Otra historia sin interfaz. Los científicos de datos acuden a la planta y dicen: "Proporcione estos datos sobre su instalación, y podemos predecir los problemas con una precisión del 95%". Bueno, al menos lo prometen. Asienten con la cabeza hacia la planta, y para los científicos de datos, el guión comienza con las mejores tradiciones de Kafka. Recopilación de datos puntuales. Según un centenar de sistemas. Para cada uno, necesita escribir cinco declaraciones. Adjunte una biografía personal y pedigrí a la quinta rodilla. Pase todos los análisis, adjúntelos a un ensayo sobre un tema gratuito y capte el buen humor del jefe. Y solo entonces podemos contar con el éxito. Más precisamente, esperanza.
Analítica de fábrica
Para resolver problemas como los descritos anteriormente, debe hacer amigos de la industria con los análisis. Para hacer esto, estamos construyendo un sistema único con una arquitectura
integrada . Tal sistema puede trabajar con tipos de datos completamente diferentes y resolver problemas analíticos sobre su base. Estamos construyendo un
sistema con una arquitectura integrada , y no algo universal, porque los sistemas universales resuelven cualquier problema igualmente mal. En una arquitectura compleja, combinamos herramientas analíticas de diferentes tipos de datos. Así es como podría verse:
Hay muchos tipos de datos en producción. Hay datos relacionales clásicos de sistemas comerciales y sistemas contables. Hay datos de los sensores del equipo: series temporales. Hay eventos de análisis de video: se colocan en un dataleyk y se realiza un monitoreo integrado en ellos (ahora este es un tema popular). Hay registros de los sistemas empresariales que deben indexarse para su posterior procesamiento (utilizamos Apache Solr) para obtener una imagen real de lo que está sucediendo en la producción teniendo en cuenta las cámaras de vigilancia y evaluar cómo responden los operadores a ciertos eventos. Y eso no es todo, cada producción tiene su propia combinación de requisitos. Y al final, todo el trabajo con datos debe estar conectado dentro de un único ecosistema, lo que permitirá recopilar datos en un almacenamiento centralizado con configuraciones de acceso flexibles y herramientas de análisis comunes.
Recientemente tuvimos un proyecto: organizar el monitoreo del modo tecnológico de la planta, así como la calidad de las materias primas. El sistema de monitoreo debe monitorear en tiempo real todos los indicadores importantes y compararlos con los estándares usando fórmulas muy originales. Tomamos análisis de laboratorio de materias primas de una base de datos, e indicadores de rendimiento del equipo de otra.
Como resultado, el operador obtiene una imagen completa de lo que está sucediendo en su instalación: a qué debe prestar atención, vale la pena detener el trabajo y qué tan serio es. Para cada desviación del trabajo normativo, el operador debe corregir la causa de la falla. Por lo tanto, la base de conocimiento sobre incidentes ha crecido.
Al mismo tiempo, todos los análisis se muestran a través de un hermoso y conveniente sistema de BI. Le permite no solo crear informes simples, sino también crear paneles de información (paneles) comprensibles e intuitivos. Y este es otro argumento por el que es tan importante hacer amigos de datos industriales con sistemas analíticos. Por razones de la NDA, no podemos mostrar paneles de este proyecto, pero por el contrario, damos ejemplos públicos de enfoques para visualizar sistemas de BI y sistemas industriales.
Así es como se verían los informes de BI:
Y aquí está la interfaz SCADA:
Como parte del desarrollo de nuestra plataforma, estamos considerando conectar análisis predictivos, que revelan patrones causales. Diferentes razones conducen a diferentes escenarios. Por ejemplo, la mala calidad de las materias primas o el ajuste incorrecto del equipo después del mantenimiento programado puede conducir a una disminución en la calidad del producto final o la falla del equipo.
Uno de los requisitos clave para un sistema de análisis es la velocidad a la que se recibe la información. Esta es la recopilación de telemetría de sensores y el cálculo de indicadores (plan / hecho de indicadores de agregación para el taller) en modo casi en tiempo real. Esto le permite ajustar la gestión operativa de la producción.
Algo como esto funciona en un mundo nuevo y valiente. Pero en realidad hay matices.
Análisis de datos industriales, o el dolor de cabeza de la inteligencia empresarial en la producción.
¿Cómo reducir los datos de los sistemas industriales (que nadie recopila realmente) en una forma conveniente para el análisis de datos? Uno de los protocolos estándar para datos industriales es OPC DA / HDA. Parece estar abierto, pero solo los miembros del consorcio tienen acceso a sus especificaciones. La membresía en el consorcio es costosa y no existen implementaciones abiertas estables de este protocolo.
Para
conectar este y otros protocolos industriales con sistemas de análisis modernos , creamos puertas de enlace para cada protocolo. Esto lo realiza un equipo separado de soluciones industriales. La gran cantidad de números en los nombres de los protocolos los inspira. El equipo tiene experiencia escribiendo conectores industriales (por ejemplo, usando el protocolo OPC DA / HDA, usando el SDK de PI, etc.).
Pero
para conectar protocolos industriales con el mundo de Big Data, utilizamos Apache NiFi, una herramienta del ecosistema Hadoop que le permite implementar la integración en el modo de procesamiento de transmisión.
Al construir este puente más importante entre la industria y el análisis, pudimos resolver el problema en la pila familiar de Hadoop. En proyectos industriales, con mayor frecuencia utilizamos distribuciones de nuestra pareja doméstica Arenadata. Con Apache Phoenix, seleccionamos datos JDBC usando SQL. En versiones recientes, Phoenix ha sido optimizado para trabajar con las series de tiempo que siempre aparecen en proyectos industriales.
Pudimos cerrar el complejo sistema analítico con los productos de un proveedor, lo cual es importante cuando se trata de soluciones empresariales. Apache Spark se usa para calcular configuraciones (desviaciones en los modos de operación del equipo), indicadores calculados y otros KPI, un componente para realizar cálculos distribuidos en modo casi en tiempo real dentro del ecosistema Hadoop.
Matices
Por desgracia, los protocolos industriales son complicados. La primera vez que planeamos hacer la integración con PI, esperábamos tomar su interfaz JDBC estándar y tener una felicidad simple y rápida. Y cuando comenzaron a trabajar con la interfaz, resultó que su ancho de banda no era suficiente ni siquiera para cargar los datos actuales. Sin mencionar la descarga de la historia. Pero el conector tiene su propia API SDK interna, que puede funcionar rápidamente con datos. Entonces escribimos una puerta de enlace especial en esta API y resolvimos el problema.
Abordamos la solución de este problema de tal manera que al final obtenemos la presentación de los períodos de desviaciones en forma de ventana. Para hacer esto, fue necesario calcular cuántas veces y cuándo los indicadores fueron más allá de la norma. Si analiza toda la historia en busca de desviaciones, requerirá muchos recursos. Así que acabamos de pasar por una serie de valores, comparando cada uno posterior y anterior. Si ambos son normales / no normales, no hay desviación / continúa. Si uno de los dos no es normal, contamos, respectivamente, el comienzo o el final de la desviación. Así que pudimos ahorrar energía informática al crear un escaparate con estadísticas para analistas y tecnólogos.
Perspectivas
El propósito de estos proyectos en la industria no es solo hacer que todo sea hermoso y claro, sino también preparar una plataforma analítica para la producción, ir a una empresa digital, donde es posible recopilar y analizar todos los eventos en un solo lugar.
En cuanto a la plataforma descrita, es útil para varios departamentos a la vez. Hemos resuelto el problema de las personas que gestionan la producción. Si los operadores anteriores no podían responder a las desviaciones menores en la operación del equipo, ahora tienen que informar a la administración por cada incumplimiento de la norma. Esto proporciona valor en este momento. Dimos a los digitalizadores y servicios de I + D una fuente conveniente de información sobre la producción, que nos permite analizar cualquier evento durante cualquier período de tiempo, lo que proporcionará valor en el futuro.
Ahora estamos activamente involucrados en el desarrollo de tales plataformas tecnológicas, experimentando con la implementación. En general, nos esforzamos por alejar a la industria del control manual para automatizar el control de producción, como en las fábricas de Ilon Mask.
Estaremos encantados de hablar con todos, tanto con los desarrolladores y arquitectos de big data (a quienes podemos invitar a nuestro equipo) como con digitalizadores, gerentes de producción, contarles sobre nuestra experiencia y ofrecerles opciones para trabajar juntos. Para todos, celebramos grandes reuniones de datos, en las que nos complace discutir todos los problemas y sugerencias.
Mi correo es EOsipov@croc.ru