Por que as plantas precisam de aprendizado de máquina

Como o aprendizado de máquina está sendo introduzido em empresas industriais, que alcançaram o maior sucesso nisso e que exemplos de uso já existem, aprendemos com Roman Chebotarev ( convexo ). Roman é arquiteto de ML e diretor de implementação da Digital . Ele implementa as tecnologias das classes Smart Machine Learning e Inteligência Artificial há 11 anos. Nos últimos anos, Roman se especializou em ML / AI na indústria.


Conte-nos sobre sua carreira.

Comecei minha carreira com aprendizado de máquina (embora esse termo ainda não fosse amplamente utilizado) para tarefas de visão computacional. Desenvolvi vários módulos para sistemas de análise de vídeo: detectores de congestionamento, detectores de fumaça, contadores de objetos. Depois, eles também foram planejados como sistemas de segurança da geração futura - agora são usados ​​em todos os lugares.

Lentamente, a partir da análise de imagem, mudei para a análise de dados em geral. Eu já trabalhei na CROC, onde vim como desenvolvedor e saí como chefe da prática de aprendizado de máquina. Aprendi a maior parte da experiência e, basicamente, resolvemos os problemas associados à previsão de várias quantidades quantitativas no futuro. Havia mais tarefas no varejo - o aprendizado de máquina era mais procurado pelos clientes nessa área. Resolvemos as tarefas de previsão da demanda para otimizar a logística. Havia muitas dessas tarefas em vários campos: do varejo de alimentos aos postos de gasolina de automóveis.

Então, um interesse sério no aprendizado de máquinas começou a tomar forma nas empresas industriais. Em algum momento, meus parceiros e eu decidimos organizar minha própria startup - Theta Data Solution. Fizemos 6 projetos e mais de 10 pilotos por ano para empresas industriais e, em seguida, a empresa foi adquirida pela empresa "Digital", onde agora trabalho como diretor de implementação no departamento de IA. Comparado à equipe inicial de startups, expandimos bastante: agora em nossa tribo de IA (como chamamos a nós mesmos), existem mais de 30 pessoas.

Quando a indústria estava interessada em aprendizado de máquina?

O interesse sempre existiu, mas a disposição das empresas de investir nesses projetos, embora muito, muito lentas, apareceu, de acordo com minhas observações, em 2013. Mais ou menos, tornou-se possível chamar isso de tendência até 2016. Agora, a fase de rápido crescimento começou.

Quais são as especificidades do design de modelos de aprendizado de máquina para empresas industriais?

A indústria tem um custo de erro muito alto. Se você começar a operar alguma instalação incorretamente, na melhor das hipóteses, ela começará a funcionar mal, não da maneira mais eficiente possível (em qualquer caso, são números muito grandes em rublos) e, na pior das hipóteses, ocorrerão processos irreversíveis e serão necessários reparos caros.

Isso afeta a maneira como os modelos são projetados e operados: eles são muito "distorcidos" na direção de experimentar menos. Se, por exemplo, em fintech ou telecomunicações, você pode fazer testes A / B e mostrar a eles um anúncio fundamentalmente diferente, dar um desconto direcionado, etc., no nível de um subconjunto de clientes, então, na indústria, as ferramentas e as possibilidades de experimentação são muito mais estreitas. . Se você tentar formular os recursos em uma frase - mudanças drásticas no trabalho do sistema industrial não poderão ser feitas. As alterações serão muito pequenas e direcionais. Faremos ajustes, veremos o que acontece - e, se tudo der certo, tentaremos avançar nessa direção, mas com passos muito pequenos. Isso é chamado de regularização de modelos de aprendizado de máquina (mais precisamente, modelos de controle) - na indústria, eles são muito regularizados para mudanças. Dessa maneira, a possibilidade de um erro oneroso é minimizada.

A segunda característica é que os modelos de aprendizado de máquina (ML) precisam fazer amizade com física e química. Isso não é fácil o suficiente. Um modelo baseado em dados não se importa com o tipo de física por trás de um processo específico - ele simplesmente captura os padrões entre os dados. Muitas vezes acontece que o modelo construído é completamente anti-físico. Por exemplo, qualquer pessoa sã entende - e a física confirma isso: se você aumentar a temperatura do líquido de arrefecimento no sistema de aquecimento, ele se tornará mais quente nas casas, ceteris paribus. Um modelo pode aprender um relacionamento completamente diferente, às vezes o oposto. Dar mais peso a fatores indiretos (diferenças de temperatura na rua, hora do dia etc.) e, assim, aprender a parecer o comportamento correto, mas usando os fatores "errados".

Agora, as pessoas estão trabalhando no setor, bastante abertas a novas tecnologias. Eles estão tentando descobrir o que oferecemos a eles para entregar. Se os modelos não forem físicos (como verificado por alguns testes simples), ninguém dará uma luz verde para iniciar esse sistema. Mas, no final, descobriu-se que, como resultado de tais falhas, encontramos outra maneira, pelas estimativas atuais, de uma maneira muito mais eficaz.

Existem leis, teóricas ou empíricas, sistemas de equações diferenciais e uma enorme camada de conhecimento criada por físicos e químicos. Esse conhecimento é usado no design de plantas e, em geral, descreve mais ou menos bem o processo de produção. Incorporamos esse conhecimento junto ao ML para obter modelos físicos - de fato, confiamos em um conjunto de dependências conhecidas e diferimos, refinamos os coeficientes nos dados disponíveis e também descrevemos a dinâmica que não poderia ser "aprendida" por abordagens físicas usando abordagens bastante padronizadas de ML (otimização) .

Para maior clareza, costumo introduzir o conceito de "gastar dados". Quando você aprende algo com o modelo, está "desperdiçando" dados (no sentido de que qualquer reutilização no treinamento é um ponto sutil, existe o risco de "super-treinamento" - super-ajuste). Portanto, não "gastamos" dados na restauração de padrões e dependências, que em termos gerais já são conhecidos graças a cientistas e tecnólogos. Usamos essas dependências conhecidas e "gastamos" os dados para esclarecer as características, concluir as dependências que não foram levadas em consideração nos modelos físicos e, finalmente, construir modelos que levem em conta os recursos de cada local de produção local ou mesmo de um equipamento, sabendo como ele basicamente funciona.

Como resultado, obtemos modelos melhores e mais estáveis. Naturalmente, os modelos de processos físicos e químicos nem sempre estão disponíveis ou completos - nesse caso, nossa equipe possui analistas com experiência nos respectivos setores que podem construir modelos de linha de base físicos apropriados para cientistas de dados.

Além disso, estamos tentando usar as abordagens da teoria do controle automático para tomar decisões sobre os parâmetros ótimos de controle que precisam ser definidos na instalação, levando em consideração o inevitável atraso no tempo e a probabilidade de que a recomendação não seja aceita. Em geral, examinamos atentamente as abordagens de Aprendizado por Reforço, mas até agora as leis (políticas) de controle resultantes são bastante instáveis ​​em nossas tarefas. Mas a combinação dessas abordagens certamente está no futuro. E essa não é apenas a minha opinião.

Essa abordagem “física” ao longo do tempo revelou uma importante consequência a longo prazo: devido à maior estabilidade de tais modelos, acordamos com menos frequência à noite para chamar que algo deu errado e que o modelo precisa ser treinado novamente. Como resultado, gastamos menos tempo em suporte.

Muitas pessoas no mundo pensaram em uma abordagem híbrida, mas na Rússia fomos um dos primeiros a ir além das experiências e colocá-la em produção real.

Em 22 de novembro, Roman se tornará o moderador do painel de discussão “AI e IoT: Expectativa e Realidade” na Conferência da AI. Detalhes e programa do evento - no site oficial .

Como está o trabalho de criação de um modelo digital do processo de produção?

O projeto de desenvolvimento e implementação difere pouco de outros setores. Em geral, os gerentes de projeto que vêm, por exemplo, do setor bancário para o setor, sentem-se bastante à vontade (além do fato de que os tecnólogos geralmente zombam deles). Do ponto de vista organizacional, os projetos não são muito diferentes. Primeiro, capturamos as expectativas do cliente - o que ele deseja alcançar. Às vezes, oferecemos trabalhar juntos se eles não sabem o que querem, mas realmente querem digitalizar. Juntos, encontramos pontos de melhoria, colocamos em alguns KPIs mensuráveis, realizamos protótipos, fazemos uma pequena pesquisa ou até um piloto - convencemos a nós mesmos e ao cliente de que esses KPIs são alcançáveis. Depois disso, desenvolvemos modelos, usamos um grande número de nossos desenvolvimentos atuais, integramos aos sistemas de produção cliente e implementar o sistema em produção.

Os principais recursos estão focados na fase de implementação. Os sistemas são bastante complexos - tanto em como eles funcionam quanto em quais dados eles usam para tomar decisões em diferentes momentos. Na maioria das vezes, os trabalhadores da fábrica não têm educação especializada para trabalhar com eles. Portanto, eles precisam criar painéis especiais e esquemas mnemônicos, realizar treinamento. Ao mesmo tempo, há um manual que entende muito bem o que eles precisam e que eles façam outros painéis com informações mais detalhadas.

Em geral, o principal "inimigo" de nossos sistemas é um engenheiro de processos. As decisões para mudar os regimes são tomadas por ele, e ele geralmente tem sua própria opinião sobre como a oficina ou o local de produção que lhe foi confiado deve funcionar. É gasto muito tempo convencendo os executores diretos a acreditar nas recomendações do sistema. Mais precisamente, não apenas “acredite”, mas faça e teste - primeiro basta olhar para as recomendações e depois aplicá-las no sentido. Geralmente, esses funcionários não estão diretamente subordinados aos clientes diretos do projeto e simplesmente não é possível forçá-los a seguir as recomendações de maneira diretiva. Mas, no geral, parece que aprendemos a construir esses diálogos e processos de persuasão em diferentes níveis, desde operadores impenetráveis ​​a gerentes de produção agressivos. Essa é uma experiência extremamente interessante, especialmente para matemáticos de TI "baunilha" de Moscou como nós. Mas, como geralmente acontece, a coisa real é melhor do que qualquer persuasão; portanto, se nossos modelos realmente funcionarem, esse é o melhor argumento e, geralmente, essas discussões duram pouco.

Com que frequência você precisa ir a uma empresa real ao desenvolver um modelo e implementá-lo?

Os analistas de negócios passam a maior parte do tempo no site. Eles estão sempre presentes na equipe do projeto, além de cientistas e engenheiros de dados. Os analistas de negócios descrevem os processos, escrevem as regras e as limitações do sistema e precisam entender profundamente o processo que será, pois agora está na moda dizer "digitalizar", mais precisamente, com licença, "digitalizar". No site, eles descobrem certas nuances e entendem onde, como e o que precisa ser implementado para que o processo funcione: como o processo geralmente é gerenciado, como eles não são controlados, o que geralmente não está escrito nos regulamentos. Muitas coisas só podem ser encontradas na sala de fumantes, conversando com trabalhadores locais durante o intervalo - como as coisas realmente são, onde você realmente precisa fazer esforços etc. A tarefa dos analistas é revelar a necessidade, e isso só pode ser descoberto por funcionários reais que eles trabalham no chão com as próprias mãos. Mas há uma especificidade: as pessoas que trabalham com as próprias mãos geralmente moram longe das cidades com uma população de mais de um milhão. Às vezes, eles geralmente estão presentes rotativamente em depósitos e pedreiras. Portanto, temos que ir a eles em diferentes lugares pitorescos.

Quanto mais longe, onde você foi?

Estávamos em toda parte, da região de Murmansk ao território de Khabarovsk.

Ocorre frequentemente que o modelo virtual criado começa a funcionar imediatamente e sem surpresas em condições reais?

Tentamos minimizar todas as surpresas no estágio da pesquisa, mas, quando implementadas, nunca são completas sem elas. As surpresas podem ser divididas em vários grupos. O primeiro é, obviamente, TI e infraestrutura. Para atualizar modelos ao longo do tempo, é importante que tenhamos acesso aos dados para alterar, corrigir, adicionar algo. Mas o acesso à infraestrutura pode não ser possível se o objeto estiver localizado em algum lugar muito distante, onde a conexão seja organizada, como dizemos, "por meio de um pente" ou esteja totalmente ausente. Se isso for conhecido com antecedência, você poderá criar e depurar um processo que atualizará o modelo por conta própria, sem a intervenção de seus criadores. Agora isso está sendo feito com relativa facilidade, temos tecnologias prontas para isso - mas, no entanto, gostaria de saber com antecedência que não haverá conexão. No mínimo, porque afeta a mão de obra e o custo do projeto. Os clientes do projeto costumam negociar com especialistas em TI quando o projeto já está próximo da implementação. Isso é característico não apenas da indústria, mas aqui é o mais crítico. A arquitetura da solução depende muito da disponibilidade ou não da Internet, como eu disse anteriormente. E não se trata apenas dos modelos.

A segunda classe de problemas está relacionada à entrada de dados incorreta. Por exemplo, dados sobre a qualidade de produtos certificados, dados de análises de laboratório. Isso pode acontecer por várias razões, não vou falar sobre elas, a maioria das razões não é muito agradável para expressar, muito menos ouvir, mas esse é um problema muito grande, porque um modelo que aprendeu com dados falsos começa a prever características falsas do processo e a dar recomendações incorretas. . Isso pode riscar todo o projeto.

Lembre-se do exemplo de implementação mais bem-sucedido e demorado.

Começarei com um projeto bem-sucedido no sistema de energia. Vimos o cliente apenas duas vezes. Na primeira vez que chegamos, esclarecemos a tarefa, recebemos as informações necessárias, saímos e ligávamos uma vez por semana. Três meses depois, o primeiro lançamento foi lançado, depois de mais dois, o lançamento final. Tudo funcionou perfeitamente, os modelos são atualizados automaticamente e o sistema está funcionando sem falhas há mais de dois anos. O projeto exigiu um esforço mínimo, porque o cliente era muito competente: ele entendeu o que precisava, como o que deveria ser gerenciado e sabíamos antecipadamente todas as nuances.

Existem muito mais exemplos de trabalho intensivo. Infelizmente, a presença do termo “digitalização” em conversas preliminares com o cliente aqui geralmente é um sinal de que o projeto não será bem-sucedido. Muitas vezes ouvimos: "Você está participando do nosso processo de transformação digital, estamos refazendo tudo completamente, portanto, estrague sua IA aqui". Ao mesmo tempo, as pessoas geralmente não entendem que deveriam resolver problemas não com a ajuda de uma máquina, mas primeiro alterando os processos em sua empresa para “digitalizações” mais apropriadas. Mudar processos (ou pelo menos repensá-los) deve sempre ser a primeira fase da mudança com qualquer digitalização ou outra evolução. Qualquer ferramenta, incluindo aprendizado de máquina, tem limites de aplicabilidade. Se o processo é antigo, subótimo e ainda pior - construído inteiramente com base no consenso das pessoas (várias pessoas precisam sentar e decidir o que fazer - isso geralmente acontece na logística de produção, onde fabricantes, logísticos e comércio colidem), nenhum aprendizado de máquina o consertará. E, pelo contrário, às vezes as mudanças mais simples nos processos (por exemplo, o conceito de "manufatura enxuta") nos permitem obter efeitos que nenhum ML pode alcançar. Infelizmente, muito poucos "transformadores" compreendem isso e trabalham nessa direção. Hypanut na implementação da IA, não importa o motivo, é uma prática mais comum.

Um exemplo simples: existe uma coluna de destilação, nela você pode controlar as taxas de alimentação de vapor e refluxo. Se simplesmente emitirmos recomendações ao operador na tela - “amigo, torça essa caneta assim” -, infelizmente, quase não haverá efeito no sistema. Idealmente, uma pessoa deve permanecer apenas para controle, e o controle direto deve ser automático. Tal mudança no processo, de acordo com nossas estimativas muito conservadoras, fornece uma melhoria de 3-4 vezes. Não sou a favor de demitir todas as pessoas e substituí-las por carros - apenas uma pequena mudança no processo com pouco investimento dá um efeito muito maior.

Muitos projetos, sobre os quais se afirma que a IA é implementada lá, realmente se parecem com isso, perdoam a verdade, o útero: algum tio Vasya exibe recomendações na tela, ele olha para eles e diz: “Sim, e para o inferno com ele, talvez amanhã eu Vou colocar como ele quiser, mas hoje não farei nada. " É muito lamentável que poderosas tecnologias legais sejam divididas nos processos da empresa e nas pessoas que não estão prontas para mudar esses processos. Mas se esse tio Vasya colocou o KPI para implementar as recomendações do sistema. Ou mesmo sem a IA - para colocar o Vasya KPI no rendimento específico do produto em matérias-primas, apenas como um bônus no salário -, então há efeitos realmente sérios. Desde que, é claro, o tio Vasya não possa ser substituído por um controlador, mas isso já é uma pergunta de um plano diferente.

Qual é a situação da coleta de dados e do aprendizado de máquina nas empresas? Quantos deles estão tentando ir nessa direção?

As estatísticas sobre o número de empresas melhoram a cada ano. Os líderes, como sempre, são aqueles que têm dinheiro e têm a oportunidade de investir em efeitos a longo prazo: indústria de petróleo, petroquímica e metalurgia.Todo mundo está alcançando.

Mas você precisa entender que, basicamente, esses são sistemas que dão recomendações a uma pessoa, e ele já decide se deve fazer algo de acordo com essas recomendações ou não; praticamente não há execução automática de recomendações. Esta é certamente uma rolha para o desenvolvimento desses sistemas. Em geral, isso, é claro, nunca foi o setor 4.0, pois geralmente eles gostam de colocá-lo na mídia. Porém, o reequipamento com automação requer grandes investimentos, então, por enquanto, estamos felizes com o que temos.

Gostaríamos de ver os processos nas empresas mais orgânicos: as pessoas primeiro coletam dados e depois implementam o aprendizado de máquina com base. De fato, a princípio, é necessário fazer algo baseado em AI / ML, chegamos ao cliente e entendemos que os dados necessários não são coletados. Ou eles se acumulam de alguma forma terrível, de modo que é impossível obtê-los - você precisa iniciar um projeto de coleta de dados. Cerca de 5 a 7 anos atrás, era comum em telecomunicações e bancos em todos os lugares (agora não mais) - hoje a indústria tem os mesmos problemas. Havia projetos atrasados ​​por seis meses - um ano e meio devido à falta de dados.

É este o tempo que leva para a implementação de sensores e sistemas de aquisição de dados?

Quase todo mundo tem sensores - a questão é que os dados deles podem não ser armazenados ou armazenados em armazenamento de curto prazo por três meses, por exemplo, para que seja possível organizar a análise de voo com base neles. Como desnecessários, eles não podem mais ser armazenados e, se estiverem armazenados, de forma inadequada para análise. Temos que fazer os processos de extração e purificação. E há casos bastante cômicos em que tudo parece estar lá, mas chegamos à empresa - e há todo o análogo de tubos quentes , por exemplo, indicadores de direção .

, , AI ML, 1-2%. , : , , , ? 1-2%. , .

success fee. — 50 — , , . 10 , 2-3 . 70-80 — , . , , , — , .

Quais tipos padrão de tarefas a IA resolve na produção?

A tarefa mais comum é prever a falha do equipamento, ou melhor, diagnosticar momentos de comportamento atípico. Existem recursos aqui: precisamos de dados que não podem ser coletados, precisamos de informações sobre como esse equipamento funciona - para isso, há pessoal de produção com quem consultamos. Porque alguns padrões nos dados são lógicos e não significam que o equipamento não funcione corretamente.

Um exemplo dessa tarefa é determinar quanto tempo uma determinada seção da tubulação pode funcionar, dependendo de onde ela está enterrada, qual a profundidade, conforme mostrado pelos dados mais recentes da inspeção interna de tubulações ou controle magnético, com que frequência os regimes mudam e o que eram. Podemos prever quando o tubo se tornará inutilizável e planejar de maneira ideal sua substituição.

O segundo tipo de tarefas envolve a necessidade de otimizar algum processo. Vamos examinar um exemplo com energia térmica, como o mais compreensível para o leitor em geral. Podemos controlar as condições térmicas nas fontes de energia térmica (casas de caldeiras, usinas termelétricas, etc.), enquanto devemos manter um certo nível de temperatura em salas diferentes: elas estão a distâncias diferentes, construídas com materiais diferentes, diferem em geodésia e, como resultado, diferentemente resfriado pelo ar ambiente. Como construir de maneira ideal os regimes térmicos em uma caldeira ou usina termelétrica para manter um indicador do nível de qualidade em relação ao cliente final? Aqui você precisa determinar o principal indicador de eficácia. Podemos gastar menos energia no total em aquecimento e bombeamento de refrigerante, podemos reduzir o número de reclamações de avós congeladas,podemos reduzir custos variáveis ​​de aquecimento, reduzir a perda de calor ou até o desgaste do equipamento. Você pode fazer qualquer modelo de otimização - basta dizer as prioridades relativas de vários fatores. Essa escolha é o maior problema. Imagine-se o proprietário de uma empresa de aquecimento. Quantas avós descontentes você deseja trocar pelo fato de que esse cachimbo viverá mais alguns meses? Uma pergunta extremamente difícil. Portanto, nossos analistas de negócios estão trabalhando, entre outras coisas, para ajudar a reduzir todos os fatores ao rublo como o valor mais universal para medições. Depois disso, geralmente fica claro o que precisa ser trabalhado e o que otimizar.Essa escolha é o maior problema. Imagine-se o proprietário de uma empresa de aquecimento. Quantas avós descontentes você deseja trocar pelo fato de que esse cachimbo viverá mais alguns meses? Uma pergunta extremamente difícil. Portanto, nossos analistas de negócios estão trabalhando, entre outras coisas, para ajudar a reduzir todos os fatores ao rublo como o valor mais universal para medições. Depois disso, geralmente fica claro o que precisa ser trabalhado e o que otimizar.Essa escolha é o maior problema. Imagine-se o proprietário de uma empresa de aquecimento. Quantas avós descontentes você deseja trocar pelo fato de que esse cachimbo viverá mais alguns meses? Uma pergunta extremamente difícil. Portanto, nossos analistas de negócios estão trabalhando, entre outras coisas, para ajudar a reduzir todos os fatores ao rublo como o valor mais universal para medições. Depois disso, geralmente fica claro o que precisa ser trabalhado e o que otimizar.no que trabalhar e no que otimizar.no que trabalhar e no que otimizar.

Que tipos de tarefas tornou-se possível resolver recentemente graças à melhoria dos métodos de MO?

Eu, provavelmente, a maioria dos leitores irá decepcionar, porque o movimento não se deve ao uso das mais recentes conquistas nos métodos de ML. Não porque o que está sendo introduzido na produção deva ser testado pelo tempo e mais sustentável. Aqui o desenvolvimento segue o contrário: o modelo precisa fazer amizade com a física e a química, sobre as quais eu já falei antes. Acontece que isso também é muito difícil do ponto de vista da ML.

Dê exemplos de sua prática quando as decisões tomadas pelas máquinas foram mais bem-sucedidas e eficientes do que as que vieram de uma pessoa.

De fato, as decisões e recomendações que são emitidas pelo sistema são sempre mais efetivas do que as tomadas pela pessoa. Caso contrário, nosso negócio simplesmente não faria sentido. Aqui estão alguns exemplos.

Na siderurgia, os altos-fornos consomem energia como uma cidade pequena. Dependendo da qualidade da sucata que colocamos lá, qual o tamanho de suas peças, você pode ajustar a força da corrente fornecida para aquecer o forno. Ao controlar a força atual, é possível reduzir significativamente (e para o setor 1-2% - isso é significativo) reduzir o custo da eletricidade.

Ainda em fornos de metalurgia - concha em que o aço é trazido. Ao derreter, ligas de ferro são adicionadas ao aço. Eles custam muito mais do que as principais matérias-primas. Ao analisar as características de um material específico, entendemos quando é possível derramar um pouco menos de ferroligas para obter uma determinada qualidade do produto e, ao mesmo tempo, economizar ferroligas.

Na indústria de petróleo - otimizamos a operação de bombas durante o levantamento mecânico de óleo. Aprendemos a aumentar levemente a taxa de produção de óleo apenas devido ao controle mais eficiente dos modos de bomba. É importante que neste caso utilizemos minimamente dados geológicos devido ao fato de que nosso horizonte de controle não é muito longo (até um mês) e conseguimos evitar integrações com um software de modelagem de formação muito complexo e caro.

Toda a produção na Rússia é única, e dizer que trabalhamos em algum lugar significa abrir imediatamente o cliente e violar a NDA. Portanto, digamos que podemos fazer o mesmo para otimizar a produção de fertilizantes minerais e várias indústrias químicas (não petroquímicas). Desde o início - o projeto Digital Plant da PJSC Gazprom Neft, cujos detalhes são facilmente pesquisados ​​no Google.