In einem Gespräch mit der Personalabteilung eines großen Unternehmens heißt es kürzlich: „Jeder Dateningenieur, der zu einem Vorstellungsgespräch zu uns kommt, möchte Datenwissenschaftler werden.“ Das hat mich dann sehr überrascht und war, um ehrlich zu sein, sehr enttäuscht über den Termin des Ingenieurs.
Hier haben wir (und nicht nur) bereits einige Materialien über Dateningenieure und deren Wert für das Geschäft veröffentlicht - zum Beispiel
ein Interview mit Nikolai Markov oder „
4 Gründe, um Dateningenieur zu werden “, aber es ist lange her. Die Zeit vergeht, Material sammelt sich, die Welt entwickelt sich, es gibt also etwas zu erzählen.
Vielleicht sollten wir zunächst kurz auf den Aufgabenbereich des Ingenieurs eingehen (natürlich plus oder minus, da jedes Unternehmen etwas Eigenes hinzufügen kann, kann etwas davon von anderen Mitarbeitern ausgeführt werden):
- Aufbau stabiler Pipelines, die Daten für alle Benutzer im Unternehmen zugänglich machen;
- Erhebung, Bereinigung und Vorverarbeitung von Daten im Rahmen eines ETL- oder ELT-Prozesses;
- Arbeiten Sie mit DBA zusammen, um Data Warehouses zu erstellen.
- die Verwendung von Frameworks und Mikrodiensten für Datendienste;
- Überwachung der Datenqualität;
- Ausgabemodelle im Prod.
Betrachten Sie die Arbeitsmärkte in den USA und in Deutschland und sprechen Sie mit lokalen Dateningenieuren in Moskau.
Den USAEnde letzten Jahres untersuchte Dice die Daten der Nova-Plattform von Burning Glass, auf der offene Positionen auf dem US-Arbeitsmarkt analysiert werden. Dabei stellte sich heraus, dass die Nachfrage nach Dateningenieuren im Vergleich zu 2017 um 96,7% stieg. 1%
Die Nachfrage nach Ingenieuren ist natürlich enorm. So hat Indeed beispielsweise allein in den USA mehr als 131.000 offene Stellen eröffnet, vor allem in Seattle, San Francisco und New York. Der Gehaltsaufbau folgt in der Regel dem folgenden
Diagramm . Gleichzeitig ist zu beachten, dass die
Gehälter für Dattelingenieure in den USA nicht schlechter sind als die Gehälter für Wissenschaftler (es gibt eine Meinung, dass Ingenieure weniger erhalten), aber sie hängen zum Beispiel von der Stadt ab: In New York können Ingenieure 132.000 US-Dollar erhalten, und San Francisco und 151 Tausend Dollar.
Und zum Vergleich: In der Tat wurden am selben Ort mehr als 12.000 freie Stellen von Datenwissenschaftlern mit demselben Gehaltsscheck veröffentlicht. Generell sprechen die Zahlen für sich: Der Data Engineer ist zum begehrtesten und „sexysten“ Beruf geworden!
DeutschlandUnbefriedigte Nachfrage nach dem Termin der Ingenieure besteht in Deutschland. Im September haben wir ein Corporate Data Engineering-Programm für XING durchgeführt. Wenn auf dem Markt nicht genügend Personal vorhanden ist und das Unternehmen sehr viele Ingenieure benötigt, besteht eine der Lösungen darin, Ihre derzeitigen Mitarbeiter zu entwickeln und zu schulen. Martin Shtoev, Director of Engineering bei XING, sagte, dass sie in den letzten Jahren mehr als ein Dutzend Entwickler nach und nach umgeschult und ihre Dattelingenieure gemacht haben. Dies geschah hauptsächlich aus Gründen des Bedarfs, aber auch, weil sie wichtige Fachkenntnisse in die Projekte einbringen.
Die Ingenieure des ersten Termins arbeiteten bei einigen Projekten eng mit dem zentralen DS-Team des Unternehmens zusammen, und dies war eine sehr organische Ergänzung. Mit dem Aufkommen einer zunehmenden Anzahl von Ingenieuren, die innerhalb des Termins "gewachsen" waren, wurden Schwierigkeiten entdeckt: Das zentrale Team investierte viel Zeit in die Schulung und musste mehrere Terminingenieure monatelang auf die Arbeit in verschiedenen Teams vorbereiten. Und als die vorherige Gruppe ihren Abschluss machte, näherte sich bereits die nächste, aber es war nicht möglich, sie alle zu vereinen, weil Jeder arbeitete an verschiedenen Projekten, ich musste in kleinen Gruppen trainieren. Es war auch unmöglich, die neuen Terminingenieure einfach in die Projektteams aufzunehmen, da es für viele Teams der erste Terminingenieur war.
Die meisten Entwickler, die sich für einen Wechsel zum Engineering-Termin entschieden, waren entweder im Juni oder im höheren Alter und wollten alle studieren. Daher musste XING nur Bücher, Tutorials und Workshops organisieren. Workshops wurden sowohl von Mitarbeitern als auch von externen Anbietern durchgeführt und befassten sich mit Kerntechnologien wie Hadoop, Scala und Kafka. Im Laufe der Zeit waren Datumsingenieure für Teams nicht mehr neu, und immer weniger arbeitete das zentrale Team mit erwachsenen Ingenieuren an langfristigen Projekten. Laut Martin dauert es durchschnittlich 6 Monate, bis ein umgeschulter Ingenieur selbständig komplexere Aufgaben übernimmt. Nach weiteren 6 Monaten wechselt das Unternehmen die Position des Mitarbeiters. Je kleiner die anfängliche Lücke zwischen den Fähigkeiten und Kenntnissen des Mitarbeiters und den Anforderungen an einen Terminplaner ist, desto schneller ist der Schulungsprozess.
Während dieser mehrjährigen Schulung der internen Mitarbeiter machte XING verschiedene Beobachtungen:
- Backend-Entwickler, die bereits mit Pipelines gearbeitet haben, erhalten in der Regel schneller neues Wissen als beispielsweise Frontend-Entwickler.
- mit weniger Erfolg Datum Wissenschaftler schulen auf Datum Ingenieure;
- Versuche, die Entwickler in Datenwissenschaftlern umzuschulen, waren ebenfalls nicht erfolgreich, es sei denn, die Person verfügte über eine gute mathematische Grundlage und Kenntnisse der wissenschaftlichen Methoden oder einen sehr großen Wunsch, all dies selbstständig zu lernen, da die Lücke in den erforderlichen Kenntnissen zu groß ist.
Es scheint mir, dass dies sehr wichtige Beobachtungen sind, die jedem Arbeitgeber viel Geld und Zeit sparen können, weil es auf dem russischen Markt nicht genügend Ingenieure gibt und Sie Ihre Mitarbeiter noch schulen müssen. Und diejenigen Dateningenieure, die Datenwissenschaftler werden möchten, sollten berücksichtigen, dass dies nicht funktioniert, da das Datum des Ingenieurs und das Datum des Wissenschaftlers zwei Personen mit unterschiedlichen Einstellungen sind.
Erst kürzlich hat Alexey Grigoriev einen Darwin Recruitment-Marktbericht in Berlin an den #Career-Channel in ODS gesendet. Und hier in dem Zitat, das den Abschnitt über Data Engineering öffnet, spricht es von der Entwicklung von Engineering-Daten in einem bereits gebildeten Markt, und die Tatsache, dass es keine lokalen Data Engineers gibt, wird bestätigt: „Immer mehr Unternehmen in Deutschland stellen Mitarbeiter aus anderen Ländern ein, und diese erfahrenen Data Engineers bringen hervorragende Ergebnisse mit Werkzeuge und Technologien. " Die Agentur sagt über 51% - das ist, wie viele Kandidaten aus anderen Ländern mit ihren Kunden befragt werden. Daher ist Datteltechnik ein gefragter Beruf, mit dem Sie einen Umzug erhalten können. Genau so ist der Newprolab-Absolvent Nikolai Rekubratsky nach Hamburg gezogen, um Ingenieur zu werden, mit dem wir letztes Jahr
ein Interview geführt haben . Nach der Höhe der Gehälter in Berlin bringt die Agentur eine Gabelung von 55-70 Tausend Euro pro Jahr, aber vielleicht gibt es in verschiedenen Städten Deutschlands Unterschiede im Gehalt und in den zusätzlichen betrieblichen und sozialen Leistungen (zumindest in Hamburg wurden uns viele gute Dinge darüber erzählt )
RusslandNun, in Russland hat der Ingenieur erst im Jahr 2017 damit begonnen, das Datum über den Beruf zu schreiben (obwohl Ingenieure zu diesem Zeitpunkt bereits Live-Termine hatten und auf Konferenzen gute Berichte über das Datums-Engineering zu hören waren), aber bisher hat jeder den Datenwissenschaftler gehört. und man hat den eindruck, dass jeder nur vom "sexiest profession des 21. jahrhunderts" träumt. Das Habr hilft auch nicht, was mir im September 2017 die Einrichtung eines Data Engineering Hubs verweigerte: „Um die Prüfung eines Antrags auf Einrichtung eines neuen Hubs einzuleiten, müssen Sie Links zu mindestens 10 Materialien angeben, die bereits auf den Habr-Seiten veröffentlicht sind und dem vorgeschlagenen Hub zugeordnet werden können.“ Ich glaube, dass Sie sich schon wieder bewerben können, die Voraussetzung ist erfüllt.
Schließlich wird von jedem Eisen nur ds gesagt, daher hören wir: "Jeder Dateningenieur, der zu unserem Interview kommt, möchte Datenwissenschaftler werden."
Gerade in dem Moment, als es hieß, ging unser
Data Engineer 5.0- Programm zu Ende, und ich beschloss, diesen Satz in einen Gruppenchat zu stellen und die Meinung unserer Teilnehmer einzuholen. Welche Diskussion wurde geführt und welche Überlegungen wurden angestellt:
"Wir stellen jetzt ein Team für uns ein [Datum der Ingenieure], 30 Personen haben bereits ein Interview geführt, und fast jeder möchte ausnahmslos Wissenschaftler sein ... Es wird wirklich beleidigend für unsere Richtung :("
„Jeder will viel Geld und minimiert gleichzeitig die Belastung. Und solche Experten glauben, dass DS-AMs mehr zahlen als DE, obwohl dies nicht so ist. Das Problem dabei ist, dass DE lernen muss, coole Dinge mit verschiedenen Technologien zu erstellen, manchmal seine eigenen zu schneiden, wenn nichts Passendes vorhanden ist, und für DS wurden fast alle Werkzeuge fertiggestellt, und zum größten Teil sind sie für die Lösung verschiedener Probleme gleich (Python / R + -Bibliotheken mit verschiedenen Implementierungen von ML und neuronalen Netzen). Im Allgemeinen ist die Eintrittsschwelle für DS jetzt niedriger als für DE, und diese Art von Arbeit ist aufgrund der Verfügbarkeit von vorgefertigten Werkzeugen viel einfacher. Ich denke, das ist eine Frage der Psychologie der Menschen: Jeder möchte Anerkennung, um in Sichtweite zu sein, und im Big-Data-Stack macht DS die ganze Magie. DE als Assistenten fungieren ... Hier sind ein paar Analogien, die mir aufgefallen sind:
1) Zum Beispiel Computerspiele - niemand möchte eine Unterstützung sein, aber jeder möchte Kerry / DD / sein.
2) Oder Fußball - jeder will Stürmer sein und wenige wollen Verteidiger sein.
Wenn ich oft mit DE kommunizierte, hörte ich solche Dinge: Niemand schätzt mich am Projekt, behandelt mich wie einen Loader, nimmt die Daten hierher, bringt sie hierher ... Eine Sache ist gut, jetzt gibt es einen Prozess des Umdenkens und viele DE-Teams beginnen zu respektieren und zu lieben. Zum Beispiel ist hier bei mir alles in dieser Hinsicht cool, da DE jeder gut mit mir umgeht, ich helfe DS, sie helfen mir und so leben wir in Symbiose. “
"Ich hätte so ausgesehen, als ob DS ohne DE gelebt hätte.) Big Data kann im Allgemeinen nicht ohne DE leben, aber ohne DS ist es zumindest normal. Wirf mir nur keine faulen Tomaten zu. "
Es gab jedoch eine andere Meinung: „DE ist definitiv keine Anfangsphase. Aber leider kennt jeder nur DS und es wurden viele Materialien und Kurse darüber veröffentlicht. Das lernen die Leute. Und es gibt nur wenige Kurse für DE. Wir müssen alles und jedes studieren, abhängig von den Projekten. Leider bewegt sich die Welt in Richtung Container. Und Garn wird wahrscheinlich häufig auf der Knolle verwendet. Und das alles wegen der DS. Es ist einfach für sie, den Container aufzuheben und zu gehen. Dies liegt an der Tatsache, dass alles den Integrations- und Vertriebsprozess erleichtern wird, was zu einem Rückgang der DE-Zone führt. # aussterben »
„Was ich sehe: Es gibt einen logischen Wettlauf um strategische Positionierung. Fortgeschrittene dss rasieren sich im Engineering nicht schlechter als de und können / wollen so tun, als ob sie sich im PROM ausbreiten, um t2m [time to market] zu reduzieren, aber sie selbst können die Maschinenzone durch den Automaten angreifen und die ds-Zone betreten. Wenn Sie aus 2 auswählen, ist die zweite natürlich näher an mir. Ich denke, im Großen und Ganzen werden diejenigen gewinnen, die versuchen, über ihren funktionalen Rahmen hinauszugehen, weil der Wunsch nach funktionaler Abstufung den Prozessansatz perfekt charakterisiert, aber auf lange Sicht ist das, was gewinnt, nahtlos. “
Einer der Sprecher des Programms beteiligte sich ebenfalls an der Diskussion: „Im Gegenteil, als DS bin ich oft von technischen Aufgaben angezogen. Der Wechsel zu DE bedeutet für mich eine deutliche Abnahme der Besoldungsgruppe. Es gab eine Zeit, in der ich versuchte, bei Amazon nach DE zu kommen, und ich flog sogar für ein 6-stündiges Interview nach Luxemburg, aber es wurde abgelehnt mit der Formulierung „du bist nicht DE, du bist DS“.
Aber ich möchte Ihre Aufmerksamkeit mit Zurückweisung auf diesen Wortlaut lenken, der erneut bestätigt, dass es sich um verschiedene Personen handelt. Zu Ihren Stärken gehören daher ein systematischer Ansatz, eine technische Denkweise, die Fähigkeit, neue Technologien zu verstehen, die Fähigkeit, Dokumentation zu verstehen, guten Code zu schreiben, stabile Lösungen zu entwerfen, sich dann weiterzuentwickeln und ein kompetenter Terminingenieur zu werden, ein Team und ein Unternehmen in Russland zu suchen oder im Ausland, wo Sie Ihr Potenzial als Date Engineer maximieren können und nicht versuchen, jemand anderes zu werden.
Und wenn es unter euch Datumsingenieure gibt, über die es etwas zu schreiben und zu reden gibt, lasst uns Freunde sein und das Datumsingenieurwesen bewegen :)