انتقل فريقنا في وقت قصير المسافة من عشرات الموظفين إلى وحدة كاملة تضم حوالي 200 شخص ونريد مشاركة بعض المعالم الرئيسية من هذا المسار. بالإضافة إلى ذلك ، سنناقش من هو المطلوب بالضبط في البيانات الضخمة الآن وما هي عتبة الدخول الحقيقية.
وصفة للنجاح في مجال جديد
يعد العمل باستخدام البيانات الضخمة مجالًا تكنولوجيًا جديدًا نسبيًا ، مثل كل شيء ، يمر بدورة النمو مع تقدمه.
من وجهة نظر أخصائي معين ، فإن العمل في المجال التكنولوجي في كل مرحلة من هذه الدورة له مزايا وعيوب.
المرحلة 1. التنفيذفي المرحلة الأولى ، هذه هي من بنات أفكار وحدات البحث والتطوير ، والتي لا تزال لا توفر ربحًا حقيقيًا.
من الايجابيات: يتم استثمار الكثير من المال في ذلك. إلى جانب الاستثمارات ، تتزايد الآمال في حل المهام التي لم يكن من الممكن الوصول إليها في السابق وإعادة الاستثمارات.
العيوب: أي تقنية ، بغض النظر عن مدى وعودها بالظهور في البداية ، لها حدودها الخاصة: لا يمكن استخدامها للقضاء على جميع المشاكل الحالية. يتم الكشف عن هذه الحدود مع إجراء تجارب لفكرة جديدة ، مما يؤدي إلى تهدئة الاهتمام بالتكنولوجيا بعد ما يسمى "ذروة التوقعات العالية".
المرحلة 2. النموالإقلاع الحقيقي سيكون فقط للتكنولوجيا التي ستتغلب على الجوف التالي من خيبة الأمل بسبب قدراتها الحقيقية ، وليس ضجيج التسويق.
الإيجابيات: في هذه المرحلة ، تجذب التكنولوجيا استثمارات طويلة الأجل: ليس فقط المال ، ولكن وقت المتخصصين في سوق العمل. عندما يتضح أن هذا ليس مجرد ضجيج ، بل هو نهج جديد أو حتى قطاع من قطاعات السوق ، فقد حان الوقت للمتخصصين للاندماج في "الاتجاه". هذه لحظة مثالية لإتقان التقنيات الواعدة من حيث الإقلاع الوظيفي.
السلبيات: في هذه المرحلة ، لا تزال التكنولوجيا موثقة بشكل سيء.
المرحلة 3. النضجالتكنولوجيا الناضجة هي العمود الفقري الحقيقي للسوق.
الإيجابيات: كلما تقدمت في العمر ، يزداد حجم الوثائق المتراكمة ، وتظهر الدورات التدريبية والدورات التدريبية ، يصبح إدخال التكنولوجيا أسهل.
السلبيات: في الوقت نفسه ، تتزايد المنافسة في سوق العمل.
المرحلة 4. الركودتحدث مرحلة التراجع (غروب الشمس) في جميع التقنيات ، على الرغم من استمرارها في العمل.
الايجابيات: في هذه المرحلة ، تم بالفعل وصف التكنولوجيا بالكامل ، والحدود واضحة ، وكمية هائلة من الوثائق ، والدورات التدريبية متاحة.
السلبيات: من وجهة نظر اكتساب معارف وآفاق جديدة ، لم تعد جذابة للغاية. في الواقع ، هذا هو مرافقة.
تعد مرحلة النمو هي الأكثر جاذبية لكل من يرغب في بدء العمل في مجال تكنولوجي جديد: للمهنيين الشباب وللمهنيين الموجودين بالفعل من القطاعات ذات الصلة.
تطوير البيانات الكبيرة الآن فقط في هذه المرحلة. بقيت توقعات عالية وراء. لقد أثبتت الأعمال بالفعل أن البيانات الضخمة يمكن أن تحقق أرباحًا ، وبالتالي هناك مستوى هائل من الإنتاجية في المستقبل. هذه اللحظة تعطي فرصة ممتازة للمتخصصين في سوق العمل.
قصتنا البيانات الكبيرةإن إدخال التكنولوجيا في أي شركة واحدة يكرر بشكل أساسي الدورة العامة للنمو. وتجربتنا هنا هي نموذجية تماما.
بدأنا في بناء فريق البيانات الكبير لدينا في X5 قبل عام ونصف. بعد ذلك لم يكن سوى مجموعة صغيرة من المتخصصين الرئيسيين ، والآن هناك ما يقرب من 200 منا.
مرت فرق المشروع لدينا بعدة مراحل تطورية ، حيث حصلنا على فهم أعمق للأدوار والمهام. نتيجة لذلك ، لدينا تنسيق فريقنا الخاص. استقرنا على النهج الرشيق. الفكرة الرئيسية هي أن الفريق كان لديه كل الكفاءات لحل المشكلة ، وكيف أن توزيعها بدقة بين المتخصصين ليس بالأمر المهم. بناءً على ذلك ، تم تشكيل تكوين أدوار الفرق بشكل تدريجي ، بما في ذلك مراعاة نمو التكنولوجيا. والآن لدينا:
- مالك المنتج (مالك المنتج) - لديه فهم للموضوع ، وصياغة فكرة عمل عامة ويتوقع كيف يمكن تحقيق الدخل منها.
- محلل أعمال (محلل أعمال) - يعمل على هذه المهمة.
- جودة البيانات (أخصائي جودة البيانات) - يتحقق مما إذا كان يمكن استخدام البيانات الحالية لحل المشكلة.
- مباشرة علوم البيانات / محلل البيانات (عالم البيانات / محلل البيانات) - يبني نماذج رياضية (هناك أنواع فرعية مختلفة ، بما في ذلك تلك التي تعمل فقط مع جداول البيانات).
- اختبار مديري.
- المطورين (للمطورين).
في حالتنا ، يتم استخدام البنية التحتية والبيانات من قبل جميع الفرق ، ويتم تنفيذ الأدوار التالية للفرق كخدمات: - البنية التحتية (البنية التحتية).
- ETL (أمر تحميل البيانات).
كيف وصلنا إلى فريق الأحلام
لا تحلم ، ولكن ، كما قلت ، تغير تكوين الفرق بسبب نضج تحليلات البيانات الضخمة وانتشارها في الحياة اليومية لـ X5 وشبكات التوزيع لدينا.
"البداية السريعة" - الحد الأدنى للأدوار ، السرعة القصوى
تضمن الفريق الأول دورين فقط:
- اقترح المنتج المنتج نموذج ، قدم توصيات.
- محلل البيانات - إحصائيات تم جمعها بناءً على البيانات الموجودة.
تم تخطيط كل شيء بسرعة وتنفيذها يدويًا في العمل.
"هل نعتقد ذلك؟" - تعلمنا فهم الأعمال وإنتاج النتيجة الأكثر فائدة
ظهرت أدوار جديدة للتفاعل مع الأعمال:
- محلل أعمال - متطلبات العملية الموصوفة.
- جودة البيانات - أجرت عملية فحص للتأكد من تناسق البيانات.
- بناءً على المهمة ، قام محلل البيانات / عالم البيانات بتحليل إحصاءات البيانات / إجراء حساب النموذج على محطة العمل المحلية.
"بحاجة إلى مزيد من الموارد" - انتقلت مهام الحساب المحلية إلى المجموعة وبدأت في لمس الأنظمة الخارجية
لدعم القياس المطلوب:
- البنية التحتية التي رفعت خادم HADOOP.
- المطورين - لقد طبقوا التكامل مع أنظمة تكنولوجيا المعلومات الخارجية ، وقاموا بفحص واجهات المستخدم في هذه المرحلة بأنفسهم.
يمكن الآن لمحلل البيانات / عالم البيانات التحقق من العديد من الخيارات لحساب النموذج على المجموعة ، على الرغم من أن التنفيذ اليدوي في العمل لا يزال محفوظًا.
"تستمر الأحمال في النمو" - تظهر بيانات جديدة ، وسعات جديدة مطلوبة لمعالجتها
لا يمكن أن تنعكس هذه التغييرات في الفريق:
- طورت البنية التحتية مجموعة HADOOP في ظل تزايد الأحمال.
- بدأ فريق ETL عمليات تنزيل البيانات وتحديثها بانتظام.
- وقد ظهر اختبار وظيفي.
"الأتمتة في كل شيء" - لقد أخذت التكنولوجيا جذورها ، فقد حان الوقت لأتمتة تنفيذ الأعمال
في هذه المرحلة ، ظهر DevOps في الفريق ، الذي قام بإعداد التجميع التلقائي والاختبار وتثبيت الوظيفة.
الأفكار الرئيسية في بناء الفريق1. ليست حقيقة أن كل شيء كان سينجح لو لم يكن لدينا المتخصصين المناسبين منذ البداية ، والذين تمكنا من بناء فريق من حولهم. هذا هو الهيكل العظمي الذي بدأت فيه العضلات بالنمو.
2. سوق البيانات الكبيرة أخضر تمامًا ، لذلك لا يوجد عدد كافٍ من المتخصصين "الجاهزين" لكل من الأدوار. بالطبع ، سيكون من المناسب للغاية تعيين قسم كامل من كبار الموظفين ، ولكن من الواضح أن فرق "النجوم" هذه لا يمكن بناءها كثيرًا. قررنا عدم مطاردة فقط الأفراد "الجاهزة". كما ذكرنا ، بالالتزام بالمرونة ، يجب أن نهتم فقط بأن الفريق ككل لديه الكفاءات اللازمة لحل مشكلة معينة. بمعنى آخر ، يمكننا أن نأخذ (ونأخذ) في فريق واحد من المحترفين والمبتدئين مع قاعدة فنية ورياضية معينة ، بحيث يشكلون معًا مجموعة من الكفاءات اللازمة لتحقيق النتائج المرجوة.
3. يتضمن كل دور من الأدوار فهمًا لمبادئ العمل بالبيانات الضخمة ، مما يتطلب عمق هذا الفهم. أكبر تباين الأدوار التي لها تشابهات مباشرة في التطور الكلاسيكي - اختبار ، محللون ، إلخ. بالنسبة إليهم ، هناك مهام يكون فيها الانتماء إلى بيانات كبيرة غير مرئي تقريبًا ، والمهام التي تحتاج إلى الغوص فيها أعمق قليلاً. يكفي ، بطريقة أو بأخرى ، أن تبدأ مسيرة مهنية وتجربة معينة وفهمًا لتكنولوجيا المعلومات ورغبة في التعلم وبعض المعرفة النظرية حول الأدوات المستخدمة (والتي يمكن الحصول عليها عن طريق قراءة المقالات).
4. لقد أظهرت الممارسة أنه على الرغم من حقيقة أن التكنولوجيا معروفة جيدًا وأن الكثيرين يرغبون في القيام بذلك ، فليس كل أخصائي مناسب لبدء مهنة في البيانات الضخمة (ويرغب في العمل هناك في القلب) يحاول حقًا المجيء إلى هنا .
يعتقد العديد من المرشحين المتميزين أن العمل في فرق BigData هو علم البيانات بدقة. ما هو التغيير الأساسي للنشاط مع عتبة دخول عالية. ومع ذلك ، فإنهم يقللون من شأن كفاءاتهم أو ببساطة لا يعرفون أن الأشخاص من مختلف الملفات الشخصية مطلوبون في البيانات الضخمة ، وسيكون من الأسهل بدء مهنة في دور بديل - أي مما سبق.
أ. في الواقع ، لبدء العمل في فريق مختلط على العديد من الأدوار ، لا تحتاج إلى تعليم متخصص ضيق في مجال البيانات الضخمة.
ب. قمنا بتوسيع الفريق بنشاط ، والتمسك بفكرة بناء وحدات هيكلية مختلطة. والشيء الأكثر إثارة للاهتمام هو أن الأشخاص الذين وصلوا إلى مهامنا ، والذين لم يسبق لهم التعامل مع البيانات الضخمة من قبل ، أخذوا جذورهم في الشركة ، وقد تعاملوا مع المهام. كانوا قادرين على تعلم ممارسة البيانات الكبيرة بسرعة.
5. من دون أن يكون لديك الكثير من الخبرة ، يمكنك الغوص بشكل أعمق ، وتعلم اللغات والأدوات اللازمة ، ويتم تحفيزك للنمو في هذا الجزء من أجل التعامل مع المزيد من المهام الاستراتيجية داخل المشروع. وتساعد الخبرة المتراكمة في التحول إلى تلك الأدوار التي تتطلب المعرفة في البيانات الضخمة وفهم منطق هذا الاتجاه. بالمناسبة ، بهذا المعنى ، يساعد الفريق المختلط كثيرًا في تسريع عملية التطوير.
كيفية الوصول إلى BigData؟
في حالتنا ، بدأت فكرة إنشاء فرق متوازنة من المتخصصين من مختلف المستويات - لقد نفذت المجموعة بالفعل أكثر من مشروع داخلي واحد. يبدو لي أنه مع وجود نقص في الموظفين الجاهزة وزيادة الحاجة التجارية لهذه الفرق ، فإن الشركات الأخرى ستأتي إلى نفس السيناريو.
إذا كنت ترغب بشدة في اختيار هذا الاتجاه ، فإن غمر نفسك في Data Sciense - Kaggle و ODS وغيرها من الموارد المتخصصة سوف يساعدك. علاوة على ذلك ، إذا كنت لا ترى نفسك في المستقبل القريب في دور عالم البيانات ، ولكنك مهتم بالاتجاه في حد ذاته ، فلا تزال هناك حاجة لك في البيانات الكبيرة!
لزيادة القيمة الخاصة بك:
- تحديث معرفتك الرياضيات. لحل المشاكل العادية للبيانات الضخمة ، لا يلزم الحصول على درجة الدكتوراه ، لكن لا تزال هناك حاجة إلى المعرفة الأساسية في الرياضيات العليا. فهم الآليات التي تقوم عليها الإحصاءات ، سيكون من الأسهل بالنسبة لك أن تكون على دراية بالعمليات ؛
- اختر الأدوار الأقرب إلى تخصصك الحالي. تعرف على التحديات التي ستواجهها في هذا الدور (وفي شركة معينة ، حيث تريد أن تذهب). وإذا كنت قد حللت مشاكل مماثلة من قبل ، فيجب التأكيد عليها في الاستئناف ؛
- تعتبر الأدوات الخاصة بالدور المحدد مهمة للغاية ، حتى لو بدا أن هذا لا يتعلق بالبيانات الضخمة. على سبيل المثال ، عند تطوير الحل الداخلي لدينا ، اتضح أننا بحاجة إلى الكثير من المطورين الأماميين الذين يعملون مع واجهات معقدة ؛
- تذكر أن السوق يتطور بنشاط. يقوم شخص ما ببناء الفرق وضخها في الداخل ، بينما يتوقع شخص ما العثور على متخصصين جاهزين في سوق العمل. إذا كنت مبتدئًا ، فحاول الانضمام إلى فريق قوي ، حيث ستكون هناك فرصة لاكتساب معرفة إضافية.
ملاحظة: بالمناسبة ، ما زلنا نواصل النمو بنشاط ونبحث عن
مهندس بيانات وأخصائي اختبارات ومطور React ومتخصص UI / UX . في الفترة من 10 إلى 11 مايو ، سنناقش تضمين العمل في # bigdatax5 مع الجميع في جناحنا في
DataFest .