مهندس بيانات - المهنة الأكثر جاذبية في القرن الحادي والعشرين

في الآونة الأخيرة ، في محادثة مع HRS لشركة واحدة كبيرة ، "كل مهندس البيانات الذي يأتي إلينا لإجراء مقابلة يريد أن يصبح عالم بيانات." ثم فاجأني هذا الأمر وشعرت بخيبة أمل كبيرة لتاريخ المهندس ، لأكون أمينًا.

هنا (وليس فقط) نشرنا بالفعل العديد من المواد حول مهندسي البيانات وقيمتها بالنسبة للأعمال - على سبيل المثال ، مقابلة مع Nikolai Markov أو " 4 أسباب لتصبح مهندس بيانات " ، لكنها كانت منذ فترة طويلة. مع مرور الوقت ، تتراكم المواد ، العالم يتطور ، لذلك هناك شيء يمكن إخباره.

ربما يجب علينا أولاً أن نتذكر باختصار ما هي مهمة تاريخ المهندس (زائد أو ناقص ، بالطبع ، بما أن كل شركة يمكنها إضافة شيء خاص بها ، يمكن تنفيذ شيء من أعلاه من قبل موظفين آخرين):

- بناء خطوط أنابيب مستقرة تجعل البيانات في متناول جميع المستخدمين داخل الشركة ؛
- جمع البيانات وتنظيفها ومعالجتها مسبقًا كجزء من عملية ETL أو ELT ؛
- العمل مع ديسيبل لإنشاء مستودعات البيانات.
- استخدام الأطر والخدمات المجهرية لخدمة البيانات ؛
- مراقبة جودة البيانات ؛
- نماذج الإخراج في همز.

النظر في أسواق العمل في الولايات المتحدة الأمريكية وألمانيا والتحدث مع مهندسي البيانات ، موسكو ، المحلية.

الولايات المتحدة الأمريكية

في نهاية العام الماضي ، درس Dice بيانات منصة Burning Glass's Nova ، التي تحلل المراكز المفتوحة في سوق العمل في الولايات المتحدة ، واتضح أنه بالنسبة لعام 2017 ، زاد الطلب على مهندس البيانات بنسبة 96.7 ٪ ، في حين أن عالم البيانات - 51. 1٪.



الطلب على تاريخ المهندسين ، بالطبع ، ضخم. الآن ، على سبيل المثال ، فتحت بالفعل أكثر من 131000 وظيفة شاغرة في الولايات المتحدة وحدها ، وأهمها في سياتل وسان فرانسيسكو ونيويورك. تتبع الراتب بشكل عام المخطط أدناه . في الوقت نفسه ، من المهم ملاحظة أن رواتب مهندسي التمر في الولايات المتحدة الأمريكية ليست أدنى من رواتب العلماء (هناك رأي بأن المهندسين يحصلون على أقل) ، لكنهم يعتمدون ، على سبيل المثال ، على المدينة: في نيويورك ، يمكن للمهندسين الحصول على 132 ألف دولار ، و سان فرانسيسكو و 151 الف دولار.



وللمقارنة - في نفس المكان على الواقع ، تم نشر أكثر من 12000 وظيفة شاغرة من علماء البيانات بنفس الراتب. بشكل عام ، فإن الأرقام تتحدث عن نفسها: أصبح مهندس البيانات أكثر المهن المطلوبة وأكثرها جاذبية!

ألمانيا

الطلب غير الملبى على تاريخ المهندسين في ألمانيا. في سبتمبر ، أجرينا برنامج هندسة بيانات الشركات لشركة XING. عندما لا يوجد عدد كاف من الموظفين في السوق ، وتحتاج الشركة إلى المهندسين كثيرًا ، فإن أحد الحلول هو تطوير وتدريب موظفيك الحاليين. قال مارتن شتوف ، مدير الهندسة في شركة XING ، إنهم قاموا في السنوات الأخيرة بإعادة تدريب أكثر من عشرة مطورين وصنعوا مهندسي التمر. وقد تم ذلك بشكل أساسي بسبب الحاجة ، ولكن أيضًا لأنهم يجلبون معرفة مجال مهمة للمشروعات.

كان المهندسون في الموعد الأول يعملون عن كثب مع فريق DS المركزي في الشركة في بعض المشاريع وكانت هذه إضافة عضوية للغاية. مع ظهور عدد متزايد من المهندسين "نمت" داخل التاريخ ، تم اكتشاف صعوبات: لقد استثمر الفريق المركزي الكثير من الوقت في التدريب ، وكان عليهم إعداد عدة مهندسين للتواريخ لعدة أشهر للعمل في فرق مختلفة. وبحلول الوقت الذي تخرجت فيه المجموعة السابقة ، كانت المجموعة التالية تقترب بالفعل ، لكن لم يكن من الممكن توحيدهم جميعًا ، لأن كان الجميع يعملون في مشاريع مختلفة ، وكان علي تدريب مجموعات صغيرة. كان من المستحيل أيضًا تضمين مهندسي التاريخ الجدد في فرق المشروع ، لأنه بالنسبة للعديد من الفرق كان أول مهندس تاريخ.

كان معظم المطورين الذين قرروا التبديل إلى التاريخ الهندسي إما في شهر يونيو أو كبار ، وكانوا جميعًا يريدون الدراسة ، لذلك كان على XING فقط توفير الكتب والدروس التعليمية وتنظيم ورش العمل. تم عقد ورش العمل من قبل الموظفين والمزودون الخارجيون ، وتم تكريسهم لتقنيات أساسية مثل: Hadoop ، Scala و Kafka. مع مرور الوقت ، لم يعد مهندسو التمر جديدين في الفرق ، وأقل وأقل عمل الفريق المركزي مع المهندسين الكبار في مشاريع طويلة الأجل. وفقًا لمارتن ، في المتوسط ​​، يستغرق مهندس مدربين 6 أشهر لبدء العمل بشكل مستقل في مهام أكثر تعقيدًا ، وبعد 6 أشهر أخرى تغير الشركة من موقفها الوظيفي. بالطبع ، أصغر الفجوة الأولية بين مهارات ومعرفة الموظف ومتطلبات مهندس التاريخ ، وأسرع عملية التدريب.

خلال هذه السنوات العديدة من تدريب الموظفين الداخليين ، قدمت XING العديد من الملاحظات:
- يحصل مطورو الواجهة الخلفية الذين عملوا بالفعل مع خطوط الأنابيب على معرفة جديدة بشكل أسرع من مطوري الواجهة الأمامية ، على سبيل المثال ؛
- مع نجاح أقل ، التاريخ العلماء إعادة تدريب المهندسين التاريخ ؛
- لم تنجح محاولات إعادة تدريب المطورين في علماء البيانات ، إلا إذا كان لدى الشخص قاعدة رياضية جيدة ومعرفة بالطرق العلمية أو رغبة كبيرة جدًا في تعلم كل هذا بشكل مستقل ، لأن الفجوة في المعرفة المطلوبة واسعة جدًا.

يبدو لي أن هذه ملاحظات مهمة للغاية يمكن أن توفر الكثير من المال والوقت لأي صاحب عمل ، لأنه لا يوجد عدد كاف من المهندسين في السوق الروسية ، ولا يزال يتعين عليك تدريب موظفيك. وينبغي لمهندسي البيانات الذين يريدون أن يصبحوا علماء بيانات أن يفكروا في أنه لا يعمل بهذه الطريقة ، لأن تاريخ المهندس وتاريخ العالم هما شخصان لهما عقليات مختلفة.

في الآونة الأخيرة ، ألقى أليكسي غريغوريف تقرير سوق داروين للتوظيف في برلين إلى قناة #career في نظام الوثائق الرسمية. وفي الاقتباس الذي يفتح القسم الخاص بهندسة البيانات ، يتحدث عن تطوير البيانات الهندسية في سوق قائم بالفعل ، وتأكيد حقيقة النقص في مهندسي البيانات المحليين: "المزيد والمزيد من الشركات في ألمانيا تستخدم موظفين من دول أخرى ، وهؤلاء المهندسين ذوي الخبرة يجلبون مهارات ممتازة الأدوات والتقنيات. " تقول الوكالة حوالي 51 ٪ - وهذا هو عدد المرشحين من البلدان الأخرى الذين تمت مقابلتهم مع عملائهم. لذلك ، هندسة التاريخ هي مهنة جيدة في الطلب ، والتي يمكنك الحصول على نقل. هكذا بالضبط انتقل نيكولاي ريكوبراتسكي ، خريج نيوبرولاب ، إلى هامبورغ إلى منصب مهندس ، حيث أجرى مقابلة معه في العام الماضي. وفقًا لمستوى الرواتب في برلين ، تجلب الوكالة شوكة تتراوح بين 55 و 70 ألف يورو سنويًا ، لكن ربما يكون هناك اختلاف في الرواتب في مدن مختلفة في ألمانيا وفي مزايا اجتماعية واجتماعية إضافية (على الأقل في هامبورغ قيل لنا الكثير من الأشياء الجيدة حول هذا الموضوع) ).

روسيا

حسنًا ، في روسيا ، بدأ المهندس في كتابة تاريخ المهنة فقط في عام 2017 (رغم أنه في ذلك الوقت كان لدى المهندسين تواريخ حية بالفعل ، وفي المؤتمرات يمكنك سماع تقارير جيدة عن هندسة التاريخ) ، ولكن حتى الآن سمع الجميع عالم البيانات ، واحد يحصل على الانطباع بأن الجميع يحلم فقط "مهنة جاذبية القرن 21". لا يساعد Habr أيضًا ، الذي رفض مني إنشاء مركز هندسة بيانات في سبتمبر 2017: "لبدء النظر في تطبيق لإنشاء مركز جديد ، يجب عليك تحديد روابط لما لا يقل عن 10 مواد منشورة بالفعل على صفحات Habr ويمكن أن تنسب إلى المحور المقترح". أعتقد أنه يمكنك التقديم بالفعل مرة أخرى ، تم استيفاء الشرط.

ولكن بعد كل شيء ، من كل حديد يُقال أنه لا يوجد سوى س ، نسمع: "كل مهندس بيانات يأتي إلى مقابلتنا يريد أن يصبح عالم بيانات."



في اللحظة التي قيل فيها ، كان برنامج Data Engineer 5.0 الخاص بنا على وشك الانتهاء ، وقررت أن أضع هذه العبارة في دردشة جماعية ونرى آراء المشاركين. وهكذا ، ما تكشفت المناقشة وما الاعتبارات التي تم التعبير عنها:

"نقوم الآن بتوظيف فريق من أجلنا [تاريخ المهندسين] ، 30 شخصًا قابلتهم بالفعل ، والجميع دون استثناء تقريباً يريدون أن يكونوا علماء ... يصبح حقًا إهانة لاتجاهنا :("

"الكل يريد الكثير من المال وفي الوقت نفسه يقلل الضغط. ويعتقد هؤلاء الخبراء أن DS-AMs تدفع أكثر من DE ، على الرغم من أن هذا ليس كذلك. تكمن المشكلة هنا في أن DE بحاجة إلى تعلم كيفية بناء أشياء رائعة باستخدام تقنيات مختلفة ، وأحيانًا لتقطيع أدواته الخاصة إذا لم يكن هناك شيء مناسب ، وبالنسبة لـ DS ، تم تنفيذ جميع الأدوات تقريبًا ، وهي في معظمها متماثلة لحل المشكلات المختلفة. (مكتبات Python / R + مع تطبيقات مختلفة لشبكات ML والشبكات العصبية). بشكل عام ، أصبحت عتبة الإدخال أقل بالنسبة إلى DS مقارنة بـ DE ، وهذا النوع من العمل أسهل كثيرًا بسبب توفر الأدوات الجاهزة. أعتقد أن هذه مسألة تتعلق بعلم نفس الأشخاص: الجميع يريدون الحصول على اعتراف بأن يكونوا على مرمى البصر ، وفي حزمة البيانات الكبيرة ، يقوم DS بكل السحر. تعمل DE كمساعدين ... فيما يلي بعض المقارنات التي لاحظتها:
1) على سبيل المثال ، ألعاب الكمبيوتر - لا أحد يريد أن يكون الدعم ، ولكن الجميع يريد أن يكون كيري / DD /.
2) أو كرة القدم - الكل يريد أن يكون مهاجمًا والقليلون يريدون أن يكونوا مدافعين.
من خلال التواصل مع DE كثيرًا ، سمعت أشياء مثل هذا: لا أحد يقدرني في المشروع ، يعاملني كمحمل ، يأخذ البيانات هنا ، يجلبها هنا ... هناك شيء جيد ، والآن هناك عملية إعادة التفكير وبدأت العديد من فرق DE في الاحترام والحب. على سبيل المثال ، هنا في مكاني ، كل شيء رائع في هذا الصدد ، حيث يعاملني DE جيدًا ، أساعد DS ، يساعدونني ، وبالتالي نحن نعيش في تعايش. "

"كنت أبدو مثل DS عاش بدون DE) بشكل عام ، لا يمكن للبيانات الضخمة العيش بدون DE ، ولكن بدون DS ، على الأقل ، يكون ذلك طبيعيًا. فقط لا ترميني الطماطم الفاسدة ".

ولكن كان هناك رأي بديل: "DE بالتأكيد ليست مرحلة أولية. ولكن ، لسوء الحظ ، يعلم الجميع فقط DS ، وقد تم نشر الكثير من المواد والدورات التدريبية حول هذا الموضوع. هذا ما يتعلمه الناس. وهناك عدد قليل من الدورات التدريبية ل DE. نحن بحاجة إلى دراسة كل شيء وكل شيء ، وهذا يتوقف على المشاريع. لسوء الحظ ، فإن العالم يتحرك نحو الحاويات. وغالبًا ما يتم استخدام الغزول على cuber. وكل ذلك بسبب DS. من السهل عليهم التقاط الحاوية والمغادرة. هذا هو حقيقة أن كل شيء يسهل عملية التكامل والبدء في المبيعات ، مما يؤدي إلى انخفاض في منطقة DE. # الموت »

"ما أراه: هناك سباق منطقي لتحديد المواقع الاستراتيجية. حلاقة dss المتقدمة في الهندسة ليست أسوأ من de ويمكن / ترغب في التظاهر بالبدء في PROM لتقليل T2m [وقت للتسويق] ، لكنهم هم أنفسهم يستطيعون مهاجمة منطقة الماكينة من خلال الأتمتة والدخول إلى منطقة ds. إذا اخترت من 2 ، بطبيعة الحال ، والثاني هو أقرب لي. أعتقد ، بشكل عام ، أن أولئك الذين يحاولون تجاوز إطار عملهم سيفوزون ، لأن الرغبة في التدرج الوظيفي تميز نهج العملية تمامًا ، ولكن على المدى الطويل ما يفوز بسلاسة. "

انضم أحد المتحدثين في البرنامج أيضًا إلى المناقشة: "على العكس ، بصفتي DS ، غالبًا ما ينجذب إلى المهام الهندسية. بالنسبة لي ، التحول إلى DE هو انخفاض كبير في الصف. كانت هناك فترة حاولت فيها الوصول إلى DE في Amazon ، حتى أنني سافرت إلى لوكسمبورغ لإجراء مقابلة مدتها 6 ساعات ، ولكن تم رفضها باستخدام العبارة "أنت لست DE ، أنت DS".

لكنني أود أن ألفت انتباهكم إلى هذه الصياغة برفض ، فهي تؤكد مرة أخرى أن هؤلاء أشخاص مختلفون. لذلك ، إذا كان من بين نقاط القوة لديك منهجية منهجية ، أو عقلية هندسية ، أو القدرة على فهم التقنيات الجديدة ، أو القدرة على فهم الوثائق ، أو كتابة رمز جيد ، أو تصميم حلول مستقرة ، ثم التطوير بشكل أكبر وتصبح مهندس بيانات مختصًا ، وابحث عن فريق وشركة في روسيا أو في الخارج ، حيث يمكنك زيادة إمكاناتك كمهندس للتاريخ ، ولن تحاول أن تصبح شخصًا آخر.

وإذا كان من بينكم مهندسو تاريخ لديهم شيء يكتبون عنه ويتحدثون عنه ، فلنكن أصدقاء وننتقل إلى هندسة التاريخ :)