Artem Astafurov: “Começamos com ferros de solda, mas paramos em uma nuvem”

O líder da prática de IoT DataArt conta como a Internet das coisas mudou nos últimos três anos, sobre novos desafios de engenharia e dificuldades de pessoal do mercado, sobre onde a plataforma DeviceHive está se movendo e o que é a Big Data Academy.

- IoT há alguns anos e hoje - duas histórias completamente diferentes?

- Iniciamos essa jornada há cerca de quatro anos e, em seguida, a direção da IoT começou com sensores conectados à Internet e "casas inteligentes". Claro, agora muito do que parecia importante e original na época parece bastante ingênuo. Mas, em geral, é o trabalho que foi realizado desde o início até os dias atuais que nos dá experiência em que podemos confiar. Hoje, a Internet das Coisas é o segundo grande sucesso depois do Big Data. Podemos dizer que, assim que todos terminaram de falar sobre Big Data na empresa, imediatamente começaram a falar sobre como as grandes empresas colocarão a IoT em prática.

No entanto, de fato, uma coisa é uma continuação lógica da outra: na IoT, estamos lidando com muitos dados e eventos que precisam ser analisados ​​em tempo real e, em seguida, tiramos conclusões deles. Estamos lidando com o que costumava ser chamado apenas analítica, e agora eles são chamados analítica preditiva - precisamos prever como a situação mudará no futuro com base em eventos passados ​​e presentes. E as raízes de muitos dos problemas de engenharia mais importantes e interessantes do nosso tempo realmente crescem na Internet das Coisas, porque, juntamente com finanças, publicidade on-line e redes sociais, são precisamente as coisas que geram mais eventos e dados. E são apenas o recebimento, transmissão, análise e armazenamento que são de maior interesse para o DataArt, para empresas e, provavelmente, para toda a comunidade de TI.

Inicialmente, havia a hipótese de ajudarmos a conectar dispositivos à Internet e fornecer ferramentas para interagir com esses dispositivos - foi assim que o DeviceHive nasceu. Na prática, algumas das tarefas mais interessantes surgem em torno da grande quantidade de dados que esses dispositivos geram. Portanto, nossas tarefas foram para o campo de criação de sistemas distribuídos que podem bombear esses dados por si mesmos e possibilitar a criação de várias análises com base em seus dados, a fim de responder de maneira diferente a eventos complexos.

- As coisas são capazes de gerar fluxos de dados poderosos, mas de que tipo de volumes estamos falando?

- Estamos falando de terabytes e até petabytes de informação. Estamos falando de dados que não cabem em um único servidor há muito tempo e, francamente, dentro da estrutura das tarefas que resolvemos, o próprio conceito de servidor não existe mais. Operamos com os conceitos de infraestrutura em nuvem, nos quais, à medida que a tarefa se torna mais complicada e a quantidade de informações aumenta, os recursos necessários são simplesmente adicionados. Nem sabemos onde nossa tarefa específica é executada, pois nunca vemos essas máquinas separadamente. Nós os usamos em dezenas, e às vezes centenas, e para nós é apenas o poder da computação que bombeia nossos dados através de nós mesmos.

- As capacidades necessárias serão combinadas no futuro em um número limitado de plataformas? E isso intensificará a concorrência entre plataformas?

- é assim. Agora, os principais players são conhecidos: Amazon, Microsoft, Google e IBM. Além disso, podemos debater por um longo tempo como será a indústria daqui a cinco anos, mas vale a pena confessar que simplesmente não sabemos disso. Por exemplo, muitas pessoas pensam que a IBM está um pouco atrasada. Mas vamos lembrar o que aconteceu com a IBM e os computadores pessoais nos anos 80. A Apple então abriu essa porta e, já no meio da década, perdeu esse nicho - era ocupado pela IBM e pela Microsoft. Portanto, ninguém pode prever como as coisas vão com a mesma Amazônia, que hoje, é claro, domina. Faça uma empresa - todas as empresas querem mudar para a infraestrutura da Amazon, se livrando. Mas ainda temos que ver qual cartão a IBM jogará.

E a Microsoft?

- Você definitivamente não deve esquecê-lo - recentemente ele parece muito forte contra o pano de fundo geral. Eu me pergunto o que eles farão depois de comprar o LinkedIn. Porque, como entendemos, não estamos falando apenas da infraestrutura para aplicativos e análises de negócios, mas também sobre os dados - sobre onde esses dados estão localizados e o que isso significa para os negócios. A grande quantidade de informações do LinkedIn para o Microsoft Azure pode tornar o acesso muito atraente para muitos que desejam usar a nuvem.

- As plataformas locais personalizadas para tarefas específicas são definitivamente algo do passado?

- Você pode apenas ver como a evolução dos sistemas operacionais. No início, havia muitas opções locais, depois os principais players apareceram, cobrindo quase toda a indústria. Eles ocupavam seus nichos - alguns em computadores pessoais, outros em sistemas de servidores em rápido crescimento na época do boom da Internet. Com as tecnologias em nuvem, podemos ter uma imagem semelhante - grandes grupos de problemas resolvidos com a ajuda de uma ou outra infraestrutura e uma ou outra oferta da nuvem já está aparecendo.
Como eu disse, a maioria das grandes empresas deseja a Amazon, mais conservadora deseja a IBM e está esperando o que ele oferecerá. No entanto, depois que essa proposta é feita, não se sabe como se comportará todos aqueles que aspiraram à Amazônia. Muitos têm medo de se tornar completamente dependentes da Amazon e construir seus sistemas para que possam ser transferidos de nuvem em nuvem - essa é outra tarefa não trivial que ajudamos os clientes a resolver.

- Os desafios enfrentados pela prática dentro da empresa mudam com o setor?

- Em geral, a história da IoT nos levou a um lugar muito interessante, no qual não esperávamos estar: nossa empresa era simplesmente aberta ao mundo, e é por isso que fomos trazidos para cá. Agora, estamos falando sobre computação paralela, trabalhando com grandes quantidades de dados, aprendizado de máquina, sistemas em nuvem e design de sistemas para a nuvem. Tudo isso, em princípio, mudou nossa visão das coisas. Aqui, é claro, é necessária uma preparação séria e, nesse sentido, mudamos nossa plataforma de código aberto DeviceHive na mesma direção.

Há três anos, criamos o DeviceHive com uma certa imagem: vimos como um tipo de servidor Web ao qual os dispositivos se conectam e enviam mensagens que podemos ler usando aplicativos da Web. Então percebemos que o design antigo não é adequado para a escala real das tarefas de IoT - eu tive que olhar a arquitetura de uma maneira diferente. Aprendemos as lições e começamos a desenvolver o DeviceHive, várias gerações de equipes participaram disso. À medida que evoluiu, o DeviceHive se tornou uma plataforma de aprendizado. Novos profissionais que agora estão ganhando experiência trabalhando com o DeviceHive ajudarão nossos clientes a criar sistemas distribuídos e escaláveis.

- Quais tarefas a prática da IoT no DataArt resolve para os clientes agora?

- Na maioria dos nossos projetos, agimos não apenas como desenvolvedores, mas também como consultores. Quando um cliente solicita um resumo das pessoas que possuem todas as modernas tecnologias em nuvem, tentamos direcionar a conversa para problemas específicos que a empresa precisa resolver. Nos oferecemos olhar juntos a situação real e decidir como podemos ajudar, com base na experiência total da prática. Como a IoT é um mercado muito quente, em que há uma escassez aguda de pessoal, eles geralmente respondem muito bem a essa proposta.

- Você realmente precisa de especialistas no setor?

- Como treinamos o pessoal usando o DeviceHive, novos engenheiros têm a oportunidade de participar do desenvolvimento da plataforma e escrevê-la em nossos currículos. Como o campo em si é muito novo, é difícil adquirir experiência apenas em projetos que realizamos para os clientes. De fato, para declarar experiência, você precisa dela e, para isso, precisa de clientes capazes de executar tarefas, resolvendo o que obteremos com essa experiência. As soluções padrão nessa área apenas começaram a aparecer e, até agora, precisamos treinar bastante. Por um lado, entendemos como podemos melhorar o DeviceHive, por outro, os engenheiros estão aprendendo a resolver problemas usando nosso próprio projeto.

Outra estrutura interessante surgiu no site DeviceHive - Big Data Academy, que reúne pessoas que se preocupam com o tópico big data e sistemas distribuídos e computação em nuvem. Existem cursos, tópicos para discussão, tarefas, um fórum onde você pode pedir conselhos ou compartilhar informações interessantes. Neste site, há grupos que participam, por exemplo, de competições de aprendizado de máquina.

- É verdade que os requisitos para engenheiros no campo da IoT são especialmente altos?

- É verdade, mas o crescimento dos requisitos é a tendência geral de todo o setor associado ao desenvolvimento de ferramentas de produção. Eu chamaria isso de revolução industrial dentro da revolução industrial, quando abordagens clássicas mais tradicionais são substituídas por abordagens automatizadas ou mais inovadoras. Acontece a mesma coisa conosco. Agora, muitas tarefas podem ser resolvidas com a ajuda de tecnologias menos avançadas, mas elas têm suas próprias limitações, um certo custo de suporte, alguns problemas em potencial que, até o momento, podem não ser tão importantes em um projeto específico, mas subsequentemente se tornam mais frequentes. Nesse caso, você precisa se virar, procurar novos funcionários e fazer o possível para ajudar seus especialistas a dominar a tecnologia, a se comunicar mais com aqueles que já adquiriram a experiência necessária. Para isso, criamos a Big Data Academy,onde qualquer curioso pode chegar. Não há testes de admissão - todos podem ver se ele está interessado neste tópico.

Mas, em geral, os requisitos de pessoal estão mudando, o que nos permite interessar engenheiros no mercado de trabalho, que antes não pareciam tão interessantes para nossas propostas. Afinal, não se pode dizer que esse pessoal não seja, em princípio - há pouco tempo, não tínhamos um volume de tarefas com complexidade suficiente. Agora, a gama de tarefas que podem realmente cativar especialistas em engenharia expandiu-se seriamente.

- Ou seja, IoT - uma direção para geeks de verdade?

"De certa forma." Isso faz alguns ajustes na maneira como prestamos o serviço ao cliente. Vemos menos entrevistas e currículos, e cada vez mais frequentemente ajudamos imediatamente no trabalho, realizando projetos-piloto e transformando-os em relacionamentos de longo prazo. E devo dizer que muitos que trabalham em nosso grupo realmente vivem e respiram tudo isso.

— DeviceHive . IoT-? ?

"Sim, claro." Até o final, conseguimos sentir exatamente quais eram as práticas ágeis nos projetos de IoT, incluindo o DeviceHive. Tendo elaborado um plano para o ano, com o tempo, você só pode rir dele e, em geral, sobre o que achou do seu trabalho. Naturalmente, você precisa fazer restrições básicas para não tentar resolver todos os problemas ao mesmo tempo. Mas ter uma estrutura completamente aberta para o futuro é "uma metodologia de desenvolvimento flexível". Algumas coisas, o trabalho adicional que parecia importante ao criar o DeviceHive, hoje parecem fracamente relevantes: algumas tecnologias simplesmente desapareceram como prática padrão na indústria e até deixaram de ser suportadas. A equipe está mudando - afinal, estamos escrevendo uma plataforma dentro de uma empresa de serviços, o que é difícil mesmo do ponto de vista organizacional.Mas, devido à nossa disponibilidade para mudanças, movemos o DeviceHive para acompanhar os horários. E este é um sentimento fantástico.

— IoT? ?

"Afinal, somos todos humanos." E se olharmos para a pirâmide de Maslow, definitivamente encontraremos segurança em algum lugar de sua base. Alguns agora adoram adicionar wi-fi ao fundo, mas ainda assim ninguém nega que a segurança é uma necessidade fundamental para cada um de nós. Somos constantemente, cada vez mais, confrontados com assuntos relacionados à Internet das coisas. Já não são “casas inteligentes” e dispositivos portáteis, mas quase todas as tecnologias que nos cercam: aplicativos telefônicos que enviam estatísticas sobre seu uso, telemetria do transporte público, que rastreia períodos de manutenção, dados retirados de aviões no ar, eventos que ocorrem em plataformas de publicidade, etc. E eu não diria que, em termos de segurança, tudo isso parece muito otimista. Vamos viver, mas, provavelmente, tudo poderia ser pensado melhor.

Agora, estamos apenas preparando a próxima versão do DeviceHive, que será lançada em outubro - há várias mudanças relacionadas à segurança. Em princípio, em primeiro lugar, nos concentramos em segurança e desempenho, que estão intimamente relacionados entre si. Este é um sistema dinâmico em que, ao distorcer um, você pode perder muito no outro - uma plataforma que não cause nenhuma dúvida do ponto de vista da segurança será pouco produtiva.

E se estamos falando de centenas de milhares de dispositivos, o custo da infraestrutura para esse sistema será simplesmente proibitivo. Portanto, a principal questão é a otimização: analisamos quais ameaças são reais, como evitá-las, como elas afetarão a infraestrutura e o custo dos serviços e, finalmente, se sua implantação é real. Alguns projetos relacionados à medicina não são implantados em grande número precisamente por razões de segurança. Provavelmente, todos nós gostaríamos de usar dispositivos que digam aos médicos quando precisamos ser examinados. Mas existem várias limitações - e a questão da possibilidade de criar um dispositivo desse tipo é apenas metade do problema. A segunda metade é transferir todas essas informações com segurança. Ao mesmo tempo, os engenheiros lidam com a primeira parte com mais sucesso, porque a segunda também é monitorada pelos reguladores.Mas a tecnologia está evoluindo, e acho que em breve veremos, entre outras coisas, uma nova geração de dispositivos para o mercado de massa que podem coletar e transmitir informações sobre saúde.

- Quanto a TI geralmente entende o que os engenheiros de IoT fazem?

- Eu acho que aqueles que pessoalmente se sobrepõem pouco a nós representam bastante os engenheiros de IoT como pessoas loucas com ferros de solda. Três anos atrás, isso era parcialmente verdade, desde que começamos com os dispositivos e os conectamos à nuvem. Mas acabamos com uma nuvem e dados - planejamos ficar aqui. Nesta área, há uma sinergia maior com o que outras práticas fazem, com o que os grandes clientes precisam - e há dinheiro na forma em que é conveniente para as empresas ganharem dinheiro.

Source: https://habr.com/ru/post/pt396101/