Um dia, um especialista em digitalização chega à fábrica. Ele andou por aqui, andou até lá, franziu a testa e disse: “Eu sei como você pode otimizar algo aqui. Você salvará especificamente! Apenas me dê acesso a esses dados de produção. ” Em resposta, a planta encolhe os ombros. “Aqui temos um analista de vendas. Há algo a dizer sobre as turbinas - turbinas Siemens muito inteligentes. E para o resto do equipamento, não houve nada desova.
Você lê uma miniatura sobre o conflito de dois mundos - indústria e análise. Somos do último, e aqui está como isso nos parece: por um lado, protocolos de troca de dados com um grande número de dígitos no nome que foram criados para o gerenciamento de equipamentos e inacessíveis aos mortais comuns. Por outro lado - sistemas analíticos, relatórios bonitos, painéis convenientes e outras comodidades.
Nem toda produção atingiu um alto nível tecnológico. Mas todo mundo precisa de ajuda. Na foto um quadro do filme "Planta".Neste post, mostraremos como tentamos criar um rosto humano (segundo os padrões de um simples cientista de dados) - para permitir aos analistas de negócios processar dados industriais e usar belos relatórios de BI.
O que temos agora
Recentemente, estávamos visitando uma empresa de processamento de gás. A empresa é grande, combina várias fábricas. Entramos na sala de controle. Tudo está muito bem equipado lá: cada despachante tem de 6 a 8 monitores e há um enorme plasma nas paredes. Esse é apenas o conteúdo desses plasmas ... deixa muito a desejar. Um mapa de aparência estranha, flechas estúpidas, no topo desta janela do Windows que sobreviveu à terrível tortura e mostra alguns números.
"Por que tão vyrviglaznoe?" - perguntamos. "É o melhor que podemos extrair de nossos sistemas industriais", ouvimos em resposta. O tempo de resposta do despachante a um incidente geralmente não deve exceder 30 segundos, mas com essa interface não é fácil encontrar. Não há BI aqui e não cheira.
Outra história sem interface. Os cientistas de dados chegam à fábrica e dizem: "Forneça esses dados sobre sua instalação e podemos prever os problemas com 95% de precisão". Bem, pelo menos eles prometem isso. Eles acenam para a fábrica e, para os cientistas de dados, o roteiro começa nas melhores tradições de Kafka. Coleta de dados pontuais. De acordo com cem sistemas. Para cada um, você precisa escrever cinco instruções. Anexe uma biografia pessoal e linhagem ao quinto joelho. Passe em todas as análises, anexe-as a um ensaio sobre um tópico gratuito e capte o bom humor do chefe. E só então podemos contar com sucesso. Mais precisamente, esperança.
Análise de fábrica
Para resolver problemas como os descritos acima, você precisa fazer amizades do setor com análises. Para isso, estamos construindo um sistema único com uma arquitetura
integrada . Esse sistema pode trabalhar com tipos completamente diferentes de dados e resolver problemas analíticos com base. Estamos construindo um
sistema com uma arquitetura integrada , e não algo universal, porque os sistemas universais resolvem os problemas da mesma forma. Em uma arquitetura complexa, combinamos ferramentas de análise de diferentes tipos de dados. Aqui está o que pode parecer:
Existem muitos tipos de dados em produção. Existem dados relacionais clássicos de sistemas de negócios e sistemas de contabilidade. Existem dados dos sensores do equipamento - séries temporais. Existem eventos da análise de vídeo - eles são colocados em um dataleyk e o monitoramento integrado é feito neles (agora esse é um tópico popular). Existem registros de sistemas comerciais que precisam ser indexados para processamento adicional (usamos o Apache Solr) para obter uma imagem real do que está acontecendo na produção, levando em consideração as câmeras de vigilância e para avaliar como os operadores respondem a determinados eventos. E isso não é tudo, cada produção tem sua própria combinação de requisitos. E, no final, todo o trabalho com dados deve ser conectado em um único ecossistema, o que permitirá coletar dados em um armazenamento centralizado com configurações de acesso flexíveis e ferramentas de análise comuns.
Recentemente, tivemos um projeto: organizar o monitoramento do modo tecnológico da planta, bem como a qualidade das matérias-primas. O sistema de monitoramento deve monitorar em tempo real todos os indicadores importantes e compará-los com os padrões usando fórmulas muito originais. Fazemos análises laboratoriais de matérias-primas de um banco de dados e indicadores de desempenho de equipamentos de outro.
Como resultado, o operador obtém uma imagem abrangente do que está acontecendo em sua instalação: no que você precisa prestar atenção, vale a pena interromper o trabalho e qual a sua gravidade. Para cada desvio do trabalho normativo, o operador deve corrigir a causa da falha. Assim, a base de conhecimento sobre incidentes aumentou.
Ao mesmo tempo, todas as análises são exibidas através de um belo e conveniente sistema de BI. Ele permite não apenas criar relatórios simples, mas também criar painéis de informações compreensíveis e intuitivos (painéis). E esse é outro argumento por que é tão importante fazer com que os dados industriais sejam amigos dos sistemas analíticos. Por razões da NDA, não podemos mostrar painéis deste projeto, mas, por outro lado, fornecemos exemplos públicos de abordagens para visualizar sistemas de BI e sistemas industriais.
Aqui está a aparência dos relatórios de BI:
E aqui está a interface SCADA:
Como parte do desenvolvimento de nossa plataforma, estamos considerando conectar análises preditivas, o que revela padrões causais. Diferentes razões levam a diferentes cenários. Por exemplo, má qualidade das matérias-primas ou ajuste inadequado do equipamento após a manutenção programada pode levar a uma diminuição na qualidade do produto final ou falha do equipamento.
Um dos principais requisitos para um sistema de análise é a velocidade com que as informações são recebidas. Esta é a coleção de telemetria de sensores e o cálculo de indicadores (plano / fato de indicadores de agregação para a oficina) em modo quase em tempo real. Isso permite ajustar o gerenciamento operacional da produção.
Algo assim funciona em um admirável mundo novo. Mas, na realidade, existem nuances.
Análise de dados industriais ou dor de cabeça da inteligência de negócios na produção
Como reduzir dados de sistemas industriais (que ninguém realmente coleta) de uma forma conveniente para análise de dados? Um dos protocolos padrão para dados industriais é o OPC DA / HDA. Parece estar aberto, mas apenas membros do consórcio têm acesso às suas especificações. A associação ao consórcio é cara e não existem implementações abertas estáveis deste protocolo.
Para
conectar esse e outros protocolos industriais aos modernos sistemas de análise , criamos gateways para cada protocolo. Isso é feito por uma equipe separada de soluções industriais. O grande número de números nos nomes dos protocolos os inspira. A equipe tem experiência em escrever conectores industriais (por exemplo, usando o protocolo OPC DA / HDA, usando o PI SDK, etc.).
Mas,
para conectar protocolos industriais ao mundo do big data, usamos o Apache NiFi - uma ferramenta do ecossistema Hadoop que permite implementar a integração no modo de processamento de streaming.
Com a construção dessa ponte mais importante entre o setor e a análise, conseguimos resolver o problema na familiar pilha Hadoop. Em projetos industriais, geralmente usamos distribuições de nosso parceiro doméstico Arenadata. Com o Apache Phoenix, selecionamos dados JDBC usando SQL. Nas versões recentes, o Phoenix foi bem otimizado para trabalhar com as séries temporais que sempre aparecem em projetos industriais.
Conseguimos fechar o complexo sistema analítico com os produtos de um fornecedor, o que é importante quando se trata de soluções corporativas. O Apache Spark é usado para calcular configurações (desvios nos modos de operação do equipamento), indicadores calculados e outros KPIs - um componente para executar cálculos distribuídos no modo quase em tempo real no ecossistema Hadoop.
Nuances
Infelizmente, protocolos industriais são complicados. Na primeira vez que planejamos fazer a integração com o PI, esperávamos que adotássemos sua interface JDBC padrão e tivéssemos uma felicidade simples e rápida. E quando eles começaram a trabalhar com a interface, descobriu-se que sua largura de banda não era suficiente para carregar dados atuais. Sem mencionar o download da história. Mas o conector tem sua própria API SDK interna, que pode trabalhar rapidamente com dados. Então, escrevemos um gateway especial nessa API e resolvemos o problema.
Abordamos a solução desse problema de forma que, no final, obtivemos a apresentação dos períodos de desvios na forma de uma janela. Para isso, foi necessário calcular quantas vezes e quando os indicadores foram além da norma. Se você analisar toda a história em busca de desvios, serão necessários muitos recursos. Então, passamos por uma série de valores, comparando cada subsequente e anterior. Se ambos são normais / não normais - não há desvio / continua. Se um dos dois não for normal - contamos, respectivamente, o início ou o fim do desvio. Assim, conseguimos economizar energia de computação ao criar uma vitrine com estatísticas para analistas e tecnólogos.
Perspectivas
O objetivo desses projetos na indústria não é apenas tornar tudo bonito e claro, mas também preparar uma plataforma analítica para produção, mudar para uma empresa digital, onde é possível coletar e analisar todos os eventos em um só local.
Quanto à plataforma descrita, é útil para vários departamentos ao mesmo tempo. Resolvemos o problema das pessoas que gerenciam a produção. Se os operadores anteriores não puderam responder a pequenos desvios na operação do equipamento, agora eles precisam se reportar à gerência por cada não conformidade com a norma. Isso fornece valor no momento. Fornecemos aos digitalizadores e aos serviços de P&D uma fonte conveniente de informações sobre produção, o que nos permite analisar quaisquer eventos por qualquer período de tempo - isso fornecerá valor no futuro.
Agora, estamos ativamente engajados no desenvolvimento dessas plataformas tecnológicas, experimentando a implementação. Em geral, nos esforçamos para afastar a indústria do controle manual para automatizar o controle da produção, como nas fábricas da Ilon Mask.
Teremos o maior prazer em conversar com todos - tanto com os desenvolvedores quanto com os arquitetos de big data (a quem podemos convidar para nossa equipe), e com os digitalizadores, gerentes de produção, contando sobre nossa experiência e oferecendo opções para trabalhar juntos. Para todos, realizamos grandes reuniões de dados, nas quais estamos felizes em discutir todas as questões e sugestões.
Meu e-mail é EOsipov@croc.ru