Ingeniero de datos: la profesión más sexy del siglo XXI

Recientemente, en una conversación con los RR. HH. De una gran empresa, "cada ingeniero de datos que nos visita para una entrevista quiere convertirse en un científico de datos". Esto me sorprendió mucho y me decepcionó mucho la fecha del ingeniero, para ser sincero.

Aquí (y no solo) ya hemos publicado varios materiales sobre ingenieros de datos y su valor para los negocios, por ejemplo, una entrevista con Nikolai Markov o " 4 razones para convertirse en ingeniero de datos ", pero fue hace mucho tiempo. El tiempo pasa, el material se acumula, el mundo se desarrolla, por lo que hay algo que contar.

Quizás primero deberíamos recordar brevemente cuál es el rango de tareas de la fecha del ingeniero (más o menos, por supuesto, ya que cada compañía puede agregar algo propio, otros empleados pueden realizar algo de lo anterior):

- crear canales estables que hagan que los datos sean accesibles para todos los usuarios de la empresa;
- recopilación, limpieza y preprocesamiento de datos como parte de un proceso ETL o ELT;
- Trabajar con DBA para crear almacenes de datos;
- el uso de marcos y microservicios para el servicio de datos;
- seguimiento de la calidad de los datos;
- modelos de salida en el prod.

Considere los mercados laborales de Estados Unidos, Alemania y hable con ingenieros de datos locales, de Moscú.

Los eeuu

A fines del año pasado , Dice estudió los datos de la plataforma Nova de Burning Glass, que analiza las posiciones abiertas en el mercado laboral de los EE. UU., Y resultó que, en relación con 2017, la demanda de ingenieros de datos aumentó en un 96.7%, mientras que para un científico de datos - 51, 1%



La demanda de la fecha de los ingenieros, por supuesto, es enorme. Ahora, por ejemplo, Indeed ha abierto más de 131,000 vacantes solo en los Estados Unidos, sobre todo en Seattle, San Francisco y Nueva York. El aumento salarial generalmente sigue el siguiente diagrama . Al mismo tiempo, es importante tener en cuenta que los salarios de los ingenieros de citas en los EE. UU. No son inferiores a los salarios de los científicos (existe la opinión de que los ingenieros obtienen menos), pero dependen, por ejemplo, de la ciudad: en Nueva York, los ingenieros pueden obtener $ 132 mil, y San Francisco y 151 mil dólares.



Y para comparar, en el mismo lugar en Indeed solo se publicaron más de 12,000 vacantes de científicos de datos con el mismo sueldo. En general, los números hablan por sí mismos: ¡el ingeniero de datos se ha convertido en la profesión más buscada y "más sexy"!

Alemania

La demanda insatisfecha para la fecha de los ingenieros está en Alemania. En septiembre, realizamos un programa de ingeniería de datos corporativos para XING. Cuando no hay suficiente personal en el mercado, y la compañía necesita mucho ingenieros, entonces una de las soluciones es desarrollar y capacitar a sus empleados actuales. Martin Shtoev, Director de Ingeniería de XING, dijo que en los últimos años han vuelto a capacitar gradualmente a más de una docena de desarrolladores y han hecho que sean ingenieros de citas. Esto se hizo principalmente por la necesidad, pero también porque aportan un conocimiento de dominio importante a los proyectos.

La primera fecha los ingenieros trabajaron estrechamente con el equipo central de DS en la empresa en algunos proyectos y esta fue una adición muy orgánica. Con la llegada de un número cada vez mayor de ingenieros "crecidos" dentro de la fecha, se descubrieron dificultades: el equipo central invirtió mucho tiempo en capacitación, tuvieron que preparar a varios ingenieros de citas durante meses para trabajar en diferentes equipos. Y para cuando el grupo anterior se graduó, el siguiente ya se estaba acercando, pero no fue posible unirlos a todos, porque todos trabajaron en diferentes proyectos, tuve que entrenar en pequeños grupos. También fue imposible incluir simplemente a los nuevos ingenieros de citas en los equipos del proyecto, porque para muchos equipos fue el primer ingeniero de citas.

La mayoría de los desarrolladores que decidieron cambiar a la fecha de ingeniería eran junio o senior, y todos querían estudiar, por lo que XING solo tenía que proporcionar libros, tutoriales y organizar talleres. Los talleres fueron realizados tanto por empleados como por proveedores externos, y se dedicaron a tecnologías centrales como: Hadoop, Scala y Kafka. Con el tiempo, los ingenieros de fechas ya no eran nuevos en los equipos, y cada vez menos el equipo central trabajaba con ingenieros adultos en proyectos a largo plazo. Según Martin, en promedio, a un ingeniero capacitado le toma 6 meses comenzar a trabajar de manera independiente en tareas más complejas, y luego de otros 6 meses, la compañía cambia su posición de empleado. Por supuesto, cuanto menor sea la brecha inicial entre las habilidades y el conocimiento del empleado y los requisitos para un ingeniero de citas, más rápido será el proceso de capacitación.

Durante estos años de capacitación de empleados internos, XING hizo varias observaciones:
- los desarrolladores de back-end que ya han trabajado con las canalizaciones generalmente obtienen nuevos conocimientos más rápido que, por ejemplo, los desarrolladores front-end;
- Con menos éxito, los científicos de la fecha se vuelven a capacitar para ingenieros de la fecha;
- Los intentos de volver a capacitar a los desarrolladores en los científicos de datos tampoco tuvieron éxito, a menos que la persona tuviera una buena base matemática y conocimiento de métodos científicos o un gran deseo de aprender todo de forma independiente, porque la brecha en el conocimiento requerido es demasiado amplia.

Me parece que estas son observaciones muy importantes que pueden ahorrar mucho dinero y tiempo para cualquier empleador, porque no hay suficientes ingenieros en el mercado ruso, y todavía tiene que capacitar a sus empleados. Y aquellos ingenieros de datos que quieran convertirse en científicos de datos deberían considerar que no funciona así, porque la fecha del ingeniero y la fecha del científico son dos personas con mentalidades diferentes.

Recientemente, Alexey Grigoriev lanzó un informe del mercado Darwin Recruitment en Berlín al canal #career en ODS. Y en la cita que abre la sección sobre ingeniería de datos, se habla del desarrollo de datos de ingeniería en un mercado ya establecido, y se confirma el hecho de la falta de ingenieros de datos locales: "cada vez más empresas en Alemania están contratando empleados de otros países, y estos ingenieros de datos experimentados brindan excelentes herramientas y tecnologías ". La agencia dice que alrededor del 51%, es decir, cuántos candidatos de otros países son entrevistados con sus clientes. Por lo tanto, la ingeniería de fechas es una buena profesión en demanda, con la que puede obtener la reubicación. Así es exactamente como Nikolai Rekubratsky, graduado de Newprolab, se mudó a Hamburgo para ocupar el puesto de ingeniero, con quien hicimos una entrevista el año pasado. De acuerdo con el nivel de salarios en Berlín, la agencia aporta una bifurcación de 55-70 mil euros por año, pero tal vez en diferentes ciudades de Alemania haya una diferencia en los salarios y en los beneficios sociales y corporativos adicionales (al menos en Hamburgo nos dijeron muchas cosas buenas sobre esto )

Rusia

Bueno, en Rusia, el ingeniero comenzó a escribir la fecha sobre la profesión solo en el año 2017 (aunque en ese momento los ingenieros ya tenían fechas en vivo, y en las conferencias se podían escuchar buenos informes sobre ingeniería de fechas), pero hasta ahora todos han escuchado al científico de datos, y uno tiene la impresión de que todos solo sueñan con "la profesión más sexy del siglo XXI". El Habr tampoco ayuda, lo que me negó a hacer un centro de ingeniería de datos en septiembre de 2017: "Para iniciar la consideración de una solicitud para la creación de un nuevo centro, debe especificar enlaces a al menos 10 materiales que ya están publicados en las páginas de Habr y que pueden atribuirse al centro propuesto". Creo que ya puede volver a aplicar, la condición se cumple.

Pero después de todo, de cada hierro solo se dice ds, por lo tanto escuchamos: "Todo ingeniero de datos que viene a nuestra entrevista quiere convertirse en un científico de datos".



Justo en el momento en que se dijo, nuestro programa Data Engineer 5.0 estaba llegando a su fin, y decidí poner esta frase en un chat grupal y obtener la opinión de nuestros participantes. Y entonces, qué discusión se desarrolló y qué consideraciones se expresaron:

"Ahora estamos reclutando un equipo para nosotros [fecha de ingenieros], 30 personas ya han entrevistado, y casi todos sin excepción quieren ser científicos ... Realmente se vuelve insultante para nuestra dirección :("

“Todos quieren mucho dinero y al mismo tiempo minimizar la tensión. Y tales expertos creen que los DS-AM pagan más que DE, aunque esto no es así. El problema aquí es que DE necesita aprender a construir cosas geniales usando diferentes tecnologías, a veces para cortar las suyas si no hay nada adecuado, y para DS, se han hecho casi todas las herramientas y, en su mayor parte, son las mismas para resolver diferentes problemas. (Bibliotecas Python / R + con diversas implementaciones de ML y redes neuronales). En general, el umbral de entrada ahora es más bajo para DS que para DE, y este tipo de trabajo es mucho más fácil debido a la disponibilidad de herramientas listas para usar. Creo que esto es una cuestión de psicología de las personas: todos quieren obtener el reconocimiento para estar a la vista, y en la pila de Big Data, DS hace toda la magia. DE actuar como asistentes ... Aquí hay un par de analogías que noté:
1) Por ejemplo, juegos de computadora: nadie quiere ser un soporte, pero todos quieren ser Kerry / DD /.
2) O fútbol: todos quieren ser delanteros y pocos quieren ser defensores.
Al comunicarme con DE a menudo, escuché cosas como esta: nadie me aprecia en el proyecto, me trata como un cargador, toma los datos aquí, los trae aquí ... Una cosa es buena, ahora el proceso de replanteamiento está en curso y muchos equipos DE están comenzando a respetar y amar. Por ejemplo, aquí, en mi lugar, todo es genial a este respecto, ya que DE todos me tratan bien, yo ayudo a DS, me ayudan, y entonces vivimos en simbiosis ".

"Me hubiera parecido que DS vivía sin DE). En general, Big Data no puede vivir sin DE, pero sin DS, al menos, es normal. Simplemente no me arrojes tomates podridos ".

Pero había una opinión alternativa: “DE definitivamente no es una etapa inicial. Pero, desafortunadamente, todos saben solo sobre DS y se han publicado muchos materiales y cursos sobre esto. Esto es lo que la gente aprende. Y hay pocos cursos para DE. Necesitamos estudiar todo y todo, dependiendo de los proyectos. Desafortunadamente, el mundo se está moviendo hacia los contenedores. Y es probable que jarn se use a menudo en el cubo. Y todo por el DS. Es fácil para ellos recoger el contenedor e irse. Soy yo ante el hecho de que todo facilitará el proceso de integración y el despliegue a las ventas, lo que conduce a una disminución en la zona DE. # muriendo »

“Lo que veo: hay una carrera lógica para el posicionamiento estratégico. El afeitado dss avanzado en ingeniería no es peor que de y puede / quiere pretender lanzarse en PROM para reducir t2m [tiempo de comercialización], pero ellos mismos pueden atacar la zona de la máquina a través del automatismo e ingresar a la zona ds. Si elige entre 2, por supuesto, el segundo está más cerca de mí. Creo que, en general, aquellos que intenten ir más allá de su marco funcional ganarán, porque el deseo de gradación funcional caracteriza perfectamente el enfoque del proceso, pero a la larga lo que gana a la perfección ”.

Uno de los oradores del programa también se unió a la discusión: “Por el contrario, como DS, a menudo me atraen las tareas de ingeniería. Para mí, cambiar a DE es una disminución significativa en la calificación. Hubo un período en el que intenté ingresar a DE en Amazon, incluso volé a Luxemburgo para una entrevista de 6 horas, pero fue rechazado con la frase "no eres DE, eres DS".

Pero quisiera llamar su atención sobre esta redacción con rechazo, una vez más confirma que se trata de personas diferentes. Por lo tanto, si uno de sus puntos fuertes es un enfoque sistemático, una mentalidad de ingeniería, la capacidad de comprender las nuevas tecnologías, la capacidad de comprender la documentación, escribir un buen código, diseñar soluciones estables, luego desarrollarse más y convertirse en un ingeniero de citas competente, buscar un equipo y una compañía en Rusia o en el extranjero, donde puede maximizar su potencial como ingeniero de citas, y no tratará de convertirse en otra persona.

Y si entre ustedes hay ingenieros de citas que tienen algo sobre lo que escribir y hablar, seamos amigos y pasemos a la ingeniería de citas :)