Artem Astafurov: "Comenzamos con soldadores, pero nos detuvimos en una nube"

El líder de la práctica de IoT DataArt cuenta cómo la Internet de las cosas ha cambiado en los últimos tres años, sobre los nuevos desafíos de ingeniería y las dificultades de personal del mercado, sobre dónde se mueve la plataforma DeviceHive y qué es Big Data Academy.

- IoT hace unos años y hoy - ¿dos historias completamente diferentes?

- Comenzamos este viaje hace unos cuatro años, y luego la dirección de IoT comenzó con sensores conectados a Internet y "hogares inteligentes". Por supuesto, ahora mucho de lo que parecía importante y original en ese momento parece bastante ingenuo. Pero, en general, es el trabajo que se ha realizado desde el principio hasta el día de hoy que nos da experiencia en la que podemos confiar. Hoy, Internet de las cosas es la segunda gran exageración después de Big Data. Podemos decir que tan pronto como todos terminaron de hablar sobre Big Data en la empresa, inmediatamente comenzaron a hablar sobre cómo las grandes corporaciones pondrán en práctica la IoT.

Sin embargo, de hecho, una cosa es una continuación lógica de la otra: en IoT estamos tratando con muchos datos y eventos que deben analizarse en tiempo real, y luego sacar conclusiones de ellos. Estamos lidiando con lo que solía llamarse simplemente análisis, y ahora se llaman análisis predictivos: necesitamos predecir cómo cambiará la situación en el futuro en función de los eventos pasados ​​y presentes. Y las raíces de muchos de los problemas de ingeniería más importantes e interesantes de nuestro tiempo realmente surgen del Internet de las cosas, porque junto con las finanzas, la publicidad en línea y las redes sociales, son las cosas que generan la mayor cantidad de eventos y datos. Y solo el recibo, la transmisión, el análisis y el almacenamiento son los de mayor interés para DataArt, para las empresas y, probablemente, para toda la comunidad de TI.

Inicialmente, existía la hipótesis de que ayudaremos a conectar dispositivos a Internet y proporcionaremos herramientas para interactuar con estos dispositivos; así es como nació DeviceHive. En la práctica, resultó que algunas de las tareas más interesantes surgen en torno a la gran cantidad de datos que generan estos dispositivos. Por lo tanto, nuestras tareas entraron en el campo de la creación de sistemas distribuidos que pueden bombear estos datos a través de ellos mismos y posibilitar la creación de diversos análisis en función de ellos para responder de manera diferente a eventos complejos.

- Las cosas son capaces de generar flujos de datos potentes, pero ¿de qué tipo de volúmenes estamos hablando?

- Estamos hablando de terabytes e incluso petabytes de información. Estamos hablando de datos que no han encajado en un solo servidor durante mucho tiempo y, francamente, en el marco de las tareas que resolvemos, el concepto mismo de servidor ya no existe. Operamos con los conceptos de infraestructura en la nube, en los cuales, a medida que la tarea se vuelve más complicada y la cantidad de información aumenta, los recursos necesarios simplemente se agregan. Ni siquiera sabemos dónde se realiza nuestra tarea específica, ya que nunca miramos estas máquinas por separado. Los usamos en docenas, y a veces en cientos, y para nosotros es solo la potencia informática que bombea nuestros datos a través de nosotros mismos.

- ¿Se combinarán las capacidades necesarias en un futuro en un número limitado de plataformas? ¿Y intensificará la competencia entre plataformas?

- Esto es asi. Ahora se conocen los principales actores: Amazon, Microsoft, Google e IBM. Además, podemos debatir durante mucho tiempo cómo se verá la industria dentro de cinco años, pero vale la pena confesar que simplemente no lo sabemos. Por ejemplo, muchas personas piensan que IBM está algo atrasada en los tiempos. Pero recordemos lo que sucedió con IBM y las computadoras personales en los años 80. Apple luego abrió esta puerta, y ya a mediados de la década perdió este nicho: estaba ocupado por IBM y Microsoft. Entonces, nadie puede predecir cómo irán las cosas con el mismo Amazon, que hoy, por supuesto, domina. Empresa ellos: todas las corporaciones quieren cambiar a la infraestructura de Amazon, deshacerse de la suya. Pero todavía tenemos que ver qué carta jugará IBM.

- ¿Y Microsoft?

- Definitivamente no debes olvidarte de él - recientemente se ve muy fuertemente en el contexto general. Me pregunto qué harán después de comprar LinkedIn. Porque, tal como lo entendemos, no se trata solo de la infraestructura para aplicaciones y análisis de negocios, sino también de datos, de dónde se encuentran estos datos y de lo que significa para el negocio. La gran cantidad de información de LinkedIn a Microsoft Azure puede hacer que acceder a él sea una oferta muy atractiva para muchos que desean usar la nube.

- ¿Las plataformas locales diseñadas para tareas específicas son definitivamente una cosa del pasado?

- Solo puedes ver cómo evoluciona la evolución de los sistemas operativos. Al principio había muchas opciones locales, luego aparecieron los principales actores, cubriendo casi toda la industria. Ocupaban sus nichos, algunos en computadoras personales, otros en sistemas de servidores de rápido crecimiento de la época del auge de Internet. Con las tecnologías en la nube, podemos obtener una imagen similar: grandes grupos de problemas resueltos con la ayuda de una u otra infraestructura y una u otra oferta en la nube ya se avecinan.
Como dije, la mayoría de las grandes empresas quieren a Amazon, las más conservadoras quieren a IBM y están esperando lo que él ofrecerá. Sin embargo, después de hacer esta propuesta, no se sabe cómo se comportarán todos los que aspiraban a Amazon. Muchos tienen miedo de volverse completamente dependientes de Amazon y construir sus sistemas para que puedan transferirse de una nube a otra; esta es otra tarea no trivial que ayudamos a los clientes a resolver.

- ¿Cambian los desafíos que enfrenta la práctica dentro de la empresa con la industria?

- En general, la historia de IoT nos trajo a un lugar muy interesante, en el que no esperábamos estar: nuestra compañía simplemente estaba abierta al mundo, por eso nos trajeron aquí. Ahora estamos hablando de computación paralela, trabajando con grandes cantidades de datos, aprendizaje automático, sistemas en la nube y diseño de sistemas para la nube. Todo esto, en principio, cambió nuestra visión de las cosas. Aquí, por supuesto, se requiere una preparación seria, y en este sentido, giramos nuestra plataforma de código abierto DeviceHive en la misma dirección.

Hace tres años creamos DeviceHive con una imagen determinada en mente: lo vimos como una especie de servidor web al que los dispositivos se conectarán y enviarán mensajes que podemos leer usando aplicaciones web. Luego nos dimos cuenta de que el diseño anterior no era del todo adecuado para la escala real de las tareas de IoT: tenía que ver la arquitectura de una manera diferente. Aprendimos las lecciones y comenzamos a desarrollar DeviceHive, varias generaciones de equipos participaron en esto. A medida que evolucionó, DeviceHive se convirtió en una plataforma de aprendizaje. Los nuevos profesionales que ahora están adquiriendo experiencia trabajando con DeviceHive ayudarán a nuestros clientes a construir sistemas distribuidos escalables.

- ¿Qué tareas resuelve la práctica de IoT en DataArt para los clientes ahora?

- En la mayoría de nuestros proyectos, actuamos no solo como desarrolladores, sino también como consultores. Cuando un cliente nos pide un currículum de personas que poseen todas las tecnologías modernas en la nube, tratamos de cambiar la conversación hacia problemas específicos que la empresa necesita resolver. Ofrecemos analizar juntos la situación real y decidir cómo podemos ayudar, en función de la experiencia total de la práctica. Dado que IoT es un mercado muy activo en el que hay una gran escasez de personal, generalmente responden muy bien a dicha propuesta.

- ¿Realmente necesitas especialistas en la industria?

- Capacitamos personal con DeviceHive, los nuevos ingenieros tienen la oportunidad de participar en el desarrollo de la plataforma y escribirla en nuestros currículums. Dado que el campo en sí es muy nuevo, es difícil para nosotros desarrollar experiencia solo en proyectos que hacemos para los clientes. De hecho, para declarar experiencia, necesita tenerla, y para esto necesita clientes que puedan dar tareas, resolviendo lo que obtendremos esta experiencia. Las soluciones estándar en esta área acaban de comenzar a aparecer, y hasta ahora tenemos que entrenar mucho nosotros mismos. Por un lado, entendemos cómo podemos mejorar DeviceHive, por otro, los ingenieros están aprendiendo cómo resolver problemas utilizando nuestro propio proyecto.

Otra estructura interesante ha surgido en el sitio DeviceHive: Big Data Academy, que reúne a personas que se preocupan por el tema de big data y sistemas distribuidos y computación en la nube. Hay cursos, temas de discusión, tareas, un foro donde puede pedir consejos o compartir información interesante. En este sitio hay grupos que van, por ejemplo, a participar en competencias de aprendizaje automático.

- ¿Es cierto que los requisitos para los ingenieros en el campo de IoT son especialmente altos?

- Esto es así, pero el crecimiento de los requisitos es la tendencia general de toda la industria asociada con el desarrollo de herramientas de producción. Incluso lo llamaría la revolución industrial dentro de la revolución industrial, cuando los enfoques más tradicionales y clásicos son reemplazados por enfoques automatizados o más innovadores. Casi lo mismo pasa con nosotros. Muchas tareas ahora se pueden resolver con la ayuda de una tecnología menos avanzada, pero tienen sus propias limitaciones, un cierto costo de soporte, algunos problemas potenciales que, hasta ahora, pueden no ser tan importantes dentro del marco de un proyecto específico, pero posteriormente se vuelven más frecuentes. En este caso, debe darse la vuelta, buscar personal nuevo y hacer todo lo posible para ayudar a sus especialistas a dominar la tecnología, comunicarse más con aquellos que ya han adquirido la experiencia necesaria. Para esto, se nos ocurrió Big Data Academy,donde cualquier curioso puede llegar. No hay pruebas de acceso: todos pueden ver si está interesado en este tema.

Pero, en general, los requisitos para el personal están cambiando, lo que nos permite interesar a los ingenieros en el mercado laboral, que antes podrían no haber parecido tan interesantes para nuestras propuestas. Después de todo, no se puede decir que este personal no es, en principio, hace un tiempo no teníamos un volumen de tareas de tal complejidad suficiente. Ahora, la gama de tareas que realmente pueden cautivar a los especialistas en ingeniería se ha ampliado considerablemente.

- Es decir, IoT - ¿una dirección para verdaderos geeks?

"En cierto modo". Esto hace ciertos ajustes en la forma en que brindamos el servicio al cliente. Vemos menos entrevistas y currículums, y cada vez más a menudo ayudamos de inmediato con el trabajo, llevando a cabo proyectos piloto y convirtiéndolos en relaciones a largo plazo. Y debo decir que muchos de los que trabajan en nuestro grupo realmente viven y respiran todo esto.

— DeviceHive . IoT-? ?

"Sí, por supuesto". Hasta el final, pudimos sentir exactamente cuáles eran las prácticas ágiles en los proyectos de IoT, incluido DeviceHive. Habiendo construido un plan para el año, con el tiempo, solo puede reírse de él y, en general, de lo que pensó sobre su trabajo. Naturalmente, debe hacer restricciones básicas para no tratar de resolver todos los problemas al mismo tiempo. Pero tener una estructura completamente abierta al futuro es "una metodología de desarrollo flexible". Algunas cosas, el trabajo adicional que parecía importante al crear DeviceHive, hoy parecen poco relevantes: algunas tecnologías simplemente desaparecieron como práctica estándar en la industria e incluso dejaron de ser compatibles. El equipo está cambiando: después de todo, estamos escribiendo una plataforma dentro de una empresa de servicios, lo cual es difícil incluso desde el punto de vista de la organización.Pero debido a nuestra disposición para el cambio, movemos DeviceHive para mantenerse al día. Y este es un sentimiento fantástico.

— IoT? ?

"Después de todo, todos somos humanos". Y si miramos la pirámide de Maslow, definitivamente encontraremos seguridad en algún lugar de su base. A algunos ahora les encanta agregar wifi al fondo, pero nadie niega que la seguridad es una necesidad fundamental para cada uno de nosotros. Constantemente, cada vez más a menudo, nos enfrentamos a temas relacionados con Internet de las cosas. Estas ya no son “casas inteligentes” y dispositivos portátiles, sino casi todas las tecnologías que nos rodean: aplicaciones telefónicas que envían estadísticas sobre su uso, telemetría desde el transporte público, que rastrean los períodos de mantenimiento, datos tomados de aviones en el aire, eventos que ocurren en plataformas publicitarias, etc. Y no diría que en términos de seguridad, todo esto parece muy optimista. Viviremos, pero, probablemente, todo podría pensarse mejor.

Ahora estamos preparando la próxima versión de DeviceHive, que se lanzará en octubre; allí habrá un montón de cambios relacionados con la seguridad. En principio, en primer lugar, nos centramos en la seguridad y el rendimiento, que están estrechamente relacionados entre sí. Este es un sistema dinámico en el que, habiendo torcido uno, puede perder mucho en el otro; una plataforma que no genere preguntas desde el punto de vista de la seguridad será poco productiva.

Y si estamos hablando de cientos de miles de dispositivos, el costo de la infraestructura para dicho sistema simplemente será prohibitivo. Por lo tanto, el problema principal es la optimización: analizamos qué amenazas son reales, cómo prevenirlas, cómo afectará la infraestructura y el costo de los servicios y, en última instancia, si su implementación es real. Algunos proyectos relacionados con la medicina no se implementan en grandes cantidades precisamente por razones de seguridad. Probablemente, a todos nos gustaría usar dispositivos que le digan a los médicos cuándo debemos ser examinados. Pero hay una serie de limitaciones, y la cuestión de la posibilidad de crear dicho dispositivo es solo la mitad del problema. La segunda mitad es transferir toda esta información de forma segura. Al mismo tiempo, los ingenieros tratan la primera parte con más éxito, porque la segunda también es monitoreada por los reguladores.Pero la tecnología está evolucionando y creo que muy pronto veremos, entre otras cosas, una nueva generación de dispositivos para el mercado masivo que pueden recopilar y transmitir información de salud.

- ¿Cuánto entiende generalmente TI lo que hacen los ingenieros de IoT?

- Creo que de aquellos que personalmente tienen poca superposición con nosotros, muchos representan a los ingenieros de IoT como locos con soldadores. Hace tres años, esto era en parte cierto, ya que comenzamos con los dispositivos y los conectamos a la nube. Pero terminamos con una nube y datos; planeamos quedarnos aquí. En esta área, existe una mayor sinergia con lo que hacen otras prácticas, lo que necesitan los grandes clientes, y hay dinero en la forma en que es conveniente que las empresas ganen dinero.

Source: https://habr.com/ru/post/es396101/