Artem Astafurov: «Nous avons commencé avec des fers à souder, mais nous nous sommes arrêtés sur un nuage»

Le leader de la pratique IoT DataArt raconte comment l'Internet des objets a changé au cours des trois dernières années, les nouveaux défis d'ingénierie et les difficultés de personnel du marché, où la plateforme DeviceHive évolue et qu'est-ce que la Big Data Academy.

- IoT il y a quelques années et aujourd'hui - deux histoires complètement différentes?

- Nous avons commencé ce voyage il y a environ quatre ans, puis la direction de l'IoT a commencé avec des capteurs connectés à Internet et des «maisons intelligentes». Bien sûr, maintenant beaucoup de ce qui semblait important et original à l'époque semble plutôt naïf. Mais en général, c'est le travail qui a été fait depuis le tout début jusqu'à nos jours qui nous donne une expérience sur laquelle nous pouvons compter. Aujourd'hui, l'Internet des objets est le deuxième grand battage médiatique après le Big Data. Nous pouvons dire que dès que tout le monde a fini de parler du Big Data dans l'entreprise, ils ont immédiatement commencé à parler de la manière dont les grandes entreprises mettront l'IoT en pratique.

Cependant, en fait, une chose est une continuation logique de l'autre: dans l'IoT, nous traitons un grand nombre de données et d'événements qui doivent être analysés en temps réel, puis en tirer des conclusions. Nous traitons de ce que l'on appelait autrefois uniquement des analyses, et maintenant elles sont appelées analyses prédictives - nous devons prédire comment la situation évoluera à l'avenir en fonction des événements, passés et présents. Et les racines de bon nombre des problèmes d'ingénierie les plus importants et les plus intéressants de notre temps proviennent vraiment de l'Internet des objets, car avec les finances, la publicité en ligne et les réseaux sociaux, ce sont les choses qui génèrent le plus d'événements et de données. Et ce ne sont que la réception, la transmission, l'analyse et le stockage qui présentent le plus grand intérêt pour DataArt, pour les entreprises et, probablement, pour l'ensemble de la communauté informatique.

Initialement, il y avait une hypothèse que nous aiderons à connecter des appareils à Internet et fournirons des outils pour interagir avec ces appareils - c'est ainsi que DeviceHive est né. Dans la pratique, il s'est avéré que certaines des tâches les plus intéressantes concernent les grandes quantités de données générées par ces appareils. Nos tâches sont donc allées dans le domaine de la création de systèmes distribués qui peuvent pomper ces données à travers eux-mêmes et permettre de construire diverses analyses sur leur base afin de répondre différemment à des événements complexes.

- Les choses sont capables de générer de puissants flux de données, mais de quel volume parlons-nous?

- Nous parlons de téraoctets et même de pétaoctets d'informations. Nous parlons de données qui ne tiennent pas sur un seul serveur depuis longtemps et, franchement, dans le cadre des tâches que nous résolvons, le concept même de serveur n'existe plus. Nous fonctionnons avec les concepts d'infrastructure cloud, dans lesquels, à mesure que la tâche se complique et que la quantité d'informations augmente, les ressources nécessaires sont simplement ajoutées. Nous ne savons même pas où notre tâche spécifique est effectuée, car nous ne regardons jamais ces machines séparément. Nous les utilisons par dizaines, et parfois par centaines, et pour nous, c'est juste la puissance de calcul qui pompe nos données à travers nous-mêmes.

- Les capacités nécessaires seront-elles combinées à l'avenir sur un nombre limité de plateformes? Et cela va-t-il intensifier la concurrence entre les plateformes?

- C'est vrai. Désormais, les principaux acteurs sont connus: Amazon, Microsoft, Google et IBM. De plus, nous pouvons débattre longtemps de l’aspect de l’industrie dans cinq ans, mais il convient d’avouer que nous ne le savons tout simplement pas. Par exemple, beaucoup de gens pensent qu'IBM est quelque peu en retard. Mais rappelons ce qui est arrivé à IBM et aux ordinateurs personnels dans les années 80. Apple a alors ouvert cette porte, et déjà au milieu de la décennie a perdu ce créneau - il était occupé par IBM et Microsoft. Donc, personne ne peut prédire comment les choses se passeront avec la même Amazonie, qui aujourd'hui, bien sûr, domine. Entreprise-les - toutes les entreprises veulent passer à l'infrastructure Amazon, se débarrasser de la leur. Mais nous devons encore voir quelle carte IBM jouera.

- Et Microsoft?

- Vous ne devriez certainement pas l'oublier - récemment, il regarde très fortement dans le contexte général. Je me demande ce qu'ils feront après l'achat de LinkedIn. Parce que, comme nous le comprenons, nous parlons non seulement de l'infrastructure pour les applications commerciales et l'analyse, mais aussi des données - sur l'emplacement de ces données et ce qu'elles signifient pour l'entreprise. La grande quantité d'informations de LinkedIn à Microsoft Azure peut rendre l'accès à celui-ci très intéressant pour ceux qui souhaitent utiliser le cloud.

- Les plateformes locales adaptées à des tâches spécifiques appartiennent-elles définitivement au passé?

- Vous pouvez simplement regarder comment l'évolution des systèmes d'exploitation. Au début, il y avait de nombreuses options locales, puis les principaux acteurs sont apparus, couvrant presque toute l'industrie. Ils occupaient leurs créneaux - certains dans les ordinateurs personnels, d'autres dans les systèmes de serveurs à croissance rapide de l'époque du boom Internet. Avec les technologies cloud, nous pouvons obtenir une image similaire - de grands groupes de problèmes résolus à l'aide de l'une ou l'autre infrastructure et de l'une ou l'autre offre cloud se profilent déjà.
Comme je l'ai dit, la plupart des grandes entreprises veulent Amazon, les conservateurs veulent IBM et attendent ce qu'il offrira. Cependant, après cette proposition, on ne sait pas comment se comporteront tous ceux qui aspiraient à Amazon. Beaucoup ont peur de devenir complètement dépendants d'Amazon et de construire leurs systèmes afin qu'ils puissent être transférés d'un cloud à l'autre - c'est une autre tâche non triviale que nous aidons les clients à résoudre.

- Les défis rencontrés par la pratique au sein de l'entreprise changent-ils avec l'industrie?

- En général, l'histoire de l'IoT nous a amenés à un endroit très intéressant, dans lequel nous ne nous attendions pas du tout: notre entreprise était simplement ouverte sur le monde, c'est pourquoi nous avons été amenés ici. Nous parlons maintenant d'informatique parallèle, de travail avec de grandes quantités de données, d'apprentissage automatique, de systèmes cloud et de conception de systèmes pour le cloud. Tout cela, en principe, a changé notre vision des choses. Ici, bien sûr, une préparation sérieuse est requise, et à cet égard, nous avons orienté notre plateforme open source DeviceHive dans la même direction.

Il y a trois ans, nous avons créé DeviceHive avec une certaine image en tête: nous l'avons vu comme une sorte de serveur Web auquel les appareils se connectent et envoient des messages que nous pouvons lire à l'aide d'applications Web. Ensuite, nous avons réalisé que l'ancien design n'était pas tout à fait adapté à l'échelle réelle des tâches IoT - j'ai dû regarder l'architecture d'une manière différente. Nous avons appris les leçons et commencé à développer DeviceHive, plusieurs générations d'équipes y ont participé. Au fil de son évolution, DeviceHive est devenu une plateforme d'apprentissage. De nouveaux professionnels qui acquièrent maintenant de l'expérience avec DeviceHive aideront ensuite nos clients à créer des systèmes distribués évolutifs.

- Quelles tâches la pratique de l'IoT dans DataArt résout-elle maintenant pour les clients?

- Dans la plupart de nos projets, nous agissons non seulement en tant que développeurs, mais également en tant que consultants. Lorsqu'un client nous demande un CV de personnes qui possèdent toutes les technologies cloud modernes, nous essayons d'orienter la conversation vers des problèmes spécifiques que l'entreprise doit résoudre. Nous proposons d'examiner la situation réelle ensemble et de décider comment nous pouvons vous aider, sur la base de l'expérience totale de la pratique. Étant donné que l'IoT est un marché très chaud dans lequel il y a une pénurie aiguë de personnel, ils répondent généralement très bien à une telle proposition.

- Avez-vous vraiment besoin de spécialistes de l'industrie?

- Nous formons le personnel à l'aide de DeviceHive, les nouveaux ingénieurs ont la possibilité de participer au développement de la plateforme et de l'écrire dans nos CV. Comme le domaine lui-même est très nouveau, il nous est difficile de construire une expertise uniquement sur des projets que nous réalisons pour des clients. En effet, pour déclarer une expérience, vous devez l'avoir, et pour cela vous avez besoin de clients capables de donner des tâches, en résolvant ce que nous gagnerons cette expérience. Des solutions standard dans ce domaine commencent à peine à apparaître et, jusqu'à présent, nous devons nous former beaucoup. D'une part, nous comprenons comment améliorer DeviceHive, d'autre part, les ingénieurs apprennent à résoudre des problèmes à l'aide de notre propre projet.

Une autre structure intéressante est apparue sur le site DeviceHive - Big Data Academy, qui rassemble des personnes qui s'intéressent au thème du Big Data et des systèmes distribués et du cloud computing. Il y a des cours, des sujets de discussion, des tâches, un forum où vous pouvez demander des conseils ou partager des informations intéressantes. Sur ce site, il y a des groupes qui vont, par exemple, pour participer à des compétitions d'apprentissage automatique.

- Est-il vrai que les exigences pour les ingénieurs dans le domaine de l'IoT sont particulièrement élevées?

- C'est le cas, mais la croissance des besoins est la tendance générale de l'ensemble de l'industrie associée au développement d'outils de production. Je l'appellerais même la révolution industrielle au sein de la révolution industrielle, lorsque les approches plus traditionnelles et classiques sont remplacées par des approches automatisées ou plus innovantes. La même chose se produit avec nous. De nombreuses tâches peuvent maintenant être résolues à l'aide de technologies moins avancées, mais elles ont leurs propres limites, un certain coût de support, certains problèmes potentiels qui, jusqu'à présent, peuvent ne pas être si importants dans le cadre d'un projet spécifique, mais deviennent par la suite plus fréquents. Dans ce cas, vous devez faire demi-tour, chercher du nouveau personnel et faire de votre mieux pour aider vos spécialistes à maîtriser la technologie, communiquer plus avec ceux qui ont déjà acquis l'expérience nécessaire. Pour cela, nous sommes venus avec Big Data Academy,où tout curieux peut se rendre. Il n'y a pas de tests d'entrée - tout le monde peut voir s'il est intéressé par ce sujet.

Mais en général, les besoins en personnel évoluent, ce qui nous permet d'intéresser les ingénieurs au marché du travail, qui auparavant ne semblait pas si intéressant à nos propositions. Après tout, on ne peut pas dire que ces personnels ne sont pas en principe - il y a tout juste un certain temps, nous n'avions pas un tel volume de tâches d'une complexité suffisante. Maintenant, l'éventail des tâches qui peuvent vraiment captiver les spécialistes soucieux de l'ingénierie s'est considérablement élargi.

- Autrement dit, l'IoT - une direction pour les vrais geeks?

"D'une certaine manière." Cela apporte certains ajustements à la façon dont nous fournissons le service au client. Nous voyons moins d'entretiens et de CV, et de plus en plus souvent, nous aidons immédiatement le travail, réalisons des projets pilotes et les transformons en relations à long terme. Et je dois dire que beaucoup de ceux qui travaillent dans notre groupe vivent et respirent vraiment tout cela.

— DeviceHive . IoT-? ?

"Oui, bien sûr." Jusqu'à la fin, nous avons pu ressentir exactement quelles étaient les pratiques Agile dans les projets IoT, y compris DeviceHive. Ayant construit un plan pour l'année, au fil du temps, vous ne pouvez que rire de lui et, en général, de ce que vous avez pensé de votre travail. Naturellement, vous devez faire des restrictions de base afin de ne pas essayer de résoudre tous les problèmes en même temps. Mais avoir une structure totalement ouverte sur l'avenir est «une méthodologie de développement flexible». Certaines choses, sur lesquelles les travaux supplémentaires semblaient importants lors de la création de DeviceHive, semblent aujourd'hui peu pertinentes: certaines technologies sont tout simplement tombées au rang de pratique courante dans l'industrie et ont même cessé d'être prises en charge. L'équipe change - après tout, nous écrivons une plateforme au sein d'une entreprise de services, ce qui est difficile même d'un point de vue organisationnel.Mais en raison de notre volonté de changement, nous déplaçons DeviceHive pour suivre le temps. Et c'est une sensation fantastique.

— IoT? ?

"Après tout, nous sommes tous humains." Et si nous regardons la pyramide de Maslow, nous trouverons certainement la sécurité quelque part à sa base. Certains aiment maintenant ajouter le wi-fi au fond, mais personne ne nie toujours que la sécurité est un besoin fondamental pour chacun de nous. Nous sommes constamment, de plus en plus souvent, confrontés à des sujets liés à l'Internet des objets. Ce ne sont plus des «maisons intelligentes» et des appareils portables, mais presque toutes les technologies qui nous entourent: applications téléphoniques qui envoient des statistiques sur leur utilisation, télémétrie des transports publics, qui suivent les périodes de maintenance, données extraites d'avions en vol, événements qui se produisent sur les plateformes publicitaires, etc. Et je ne dirais pas qu'en termes de sécurité, tout cela semble très rose. Nous vivrons, mais, probablement, tout pourrait être mieux pensé.

Nous préparons maintenant la prochaine version de DeviceHive, qui sortira en octobre - un tas de changements concerneront la sécurité. En principe, nous nous concentrons tout d'abord sur la sécurité et les performances, qui sont très étroitement liées. Il s'agit d'un système dynamique dans lequel, ayant tordu l'un, vous pouvez perdre beaucoup dans l'autre - une plate-forme qui ne pose pas de questions du point de vue de la sécurité sera peu productive.

Et si nous parlons de centaines de milliers d'appareils, le coût de l'infrastructure d'un tel système sera tout simplement prohibitif. Ainsi, le principal problème est l'optimisation: nous regardons quelles menaces sont réelles, comment les prévenir, comment elles affecteront l'infrastructure et le coût des services, et finalement si son déploiement est réel. Certains projets liés à la médecine ne sont pas déployés en grand nombre précisément pour des raisons de sécurité. Probablement, nous aimerions tous porter des appareils qui indiquent aux médecins quand nous devons être examinés. Mais il existe un certain nombre de limitations - et la question de la possibilité de créer un tel appareil n'est que la moitié du problème. La seconde moitié consiste à transférer toutes ces informations en toute sécurité. Dans le même temps, les ingénieurs traitent la première partie avec plus de succès, car la seconde est également surveillée par les régulateurs.Mais la technologie évolue, et je pense que bientôt nous verrons, entre autres, une nouvelle génération d'appareils pour le marché de masse capables de collecter et de transmettre des informations de santé.

- Dans quelle mesure l'informatique comprend-elle généralement ce que font les ingénieurs IoT?

- Je pense que ceux qui ont personnellement peu de chevauchement avec nous, représentent beaucoup les ingénieurs IoT comme des fous avec des fers à souder. Il y a trois ans, cela était en partie vrai, car nous avons commencé avec les appareils et les connectons au cloud. Mais nous nous sommes retrouvés avec un nuage et des données - nous prévoyons de rester ici. Dans ce domaine, il y a une plus grande synergie avec ce que font les autres pratiques, ce dont les gros clients ont besoin - et il y a de l'argent sous la forme qui permet aux entreprises de gagner de l'argent.

Source: https://habr.com/ru/post/fr396101/