كم عدد علماء البيانات الذين تحتاج إليهم لتحويل المصباح الكهربائي (أو أي فريق سيعمل البيانات للعمل التجاري)

"كم عدد علماء دات تحتاج إلى تحويل المصباح؟"
- واحد ، إذا كان الاختيار التاريخي للمصابيح الملتوية بنجاح كافياً.

هذه بالطبع مزحة ، ولكن عندما يتعلق الأمر بترويض البيانات الضخمة في الشركة لتحسين أداء الأعمال ، لا يفهم الجميع من سيروضها. الرأي الكلاسيكي: أنت بحاجة إلى عالم بيانات - محلل بيانات يمكنه بناء النماذج وفهم الذكاء الاصطناعي وتعلم الآلة. وهذا الرجل يقرر كل شيء في رأس واحد.

أيضا ، هناك اتجاه أنه عندما يتم تشكيل قسم البيانات الضخمة في الشركة ، فإن علماء البيانات هم أولئك الذين يتم تعيينهم في المقام الأول.

في الواقع ، كل شيء أكثر تعقيدًا. بدون تاريخ العالم ، بالطبع ، لا يوجد عمل مع البيانات الضخمة ، لكنه ليس محاربا بمفرده في هذا المجال. من الذي يجب عليه أيضًا محاربة كتفًا إلى كتف معه يُفهم بشكل أفضل من خلال الأمثلة.

وسيط

لنفترض أن هناك شبكة من نوادي اللياقة البدنية التي أرادت استخدام البيانات الضخمة. عالم البيانات يحل مشكلة التنبؤ بأن العميل ، بالإضافة إلى التدريب الأساسي ، يميل إلى استخدام بعض العملاء الشخصيين الآخرين. يأخذ الأخصائي بيانات عن من فعل ماذا من قبل ، ويبني نموذجًا للإدمان.

السؤال الذي يطرح نفسه - ما التدريب؟ وكيف نقترح أن يذهب إليهم؟ سيكون من الضروري تقسيم التدريب بوضوح إلى ذكر وأنثى. مقسومًا على منطق العمل - إذا كان الشخص متعاقدًا بالفعل مع مدرب متميز ، فيجب ألا نقدم غير المتميز.

أو مثال من القطاع المصرفي. لدى البنوك منتجات يتم بيعها بمفردها ، وهناك منتجات تباع غالبًا مع منتجات أخرى. نشتري بطاقة أو نقترض ، وفي نفس الوقت نبيع التأمين. قصة مماثلة في شركات التأمين. يمكننا شراء تأمين السيارة ، ولكن في نفس الوقت يمكننا بيع التأمين على الحياة بالتوازي.

لذلك ، إذا كنت لا تعرف النشاط التجاري ، ولكن هناك مهمة للتنبؤ بنوع من الشراء ، يمكنك القيام بما يلي: "انظر ، الكثير من عملائنا يشترون هذا التدريب / التأمين". وابدأ ببناء نماذج عليها لتحفيز المبيعات. لكن الأعمال التجارية تعرف أن هذا التدريب / التأمين يذهب فقط مع شيء ما. وحتى النموذج قد يكون جيدًا ، لكن المنتج لن يعمل بشكل منفصل.

عند بناء نموذج ، هناك دائمًا مجموعة من الملاحظات التمهيدية المتعلقة بكيفية عمل الأعمال. وإذا قمنا بصياغتها بشكل غير صحيح ، فلن يكون هناك أي معنى. لذلك ، بالإضافة إلى بيانات العلماء الفعلية ، فأنت بحاجة إلى مالك منتج - مدير منتج يجعل صداقات الرياضيات مع الأعمال التجارية.

هذان الدوران ضروريان لفريق البيانات الضخمة. هام: إذا كان لدينا العديد من خطوط الأعمال ، فإننا نحتاج إلى منتجنا الخاص لكل اتجاه. يمكن أن يكون عالم البيانات عالميًا.

يمكنك أن تقول أن مالك المنتج هو الشخص الذي يبدأ كل شيء. من يأتي بدراسات حالة للتعلم الآلي في شركة معينة ثم يقود تنفيذ هذه الحالات.

ولكن كما يقولون ، وهذا ليس كل شيء.

مبرمج الحفار

تخيل أن أحد البنوك قرر الترويج لبطاقة خاصة للعملاء الذين يسافرون غالبًا إلى الخارج. ما هي البيانات التاريخية التي يمكن أن يوجهها لتشكيل ما يسمى بالعلامة؟ الأكثر وضوحا هو أنه في وقت ما ، كانت هناك معاملة في الخارج على بطاقة العميل. العَرَض بسيط ، لكن يجب إعطاؤه متطلبات واضحة. كم مرة في السنة كانت هذه المعاملات؟ عند أي نقطة؟ لأي فترة؟ كل هذا يحتاج إلى صياغته ، ومن ثم ترميزه من بيانات بسيطة بحيث يتم تحديد السمة بشكل صحيح. للقيام بذلك ، تحتاج إلى شخص منفصل - مهندس بيانات.

مهام الأدوار مختلفة حقًا. يجب على عالم البيانات بناء نموذج جيد. ينشغل الرأس باختيار الميزات والحالات والخوارزميات التي يجب استخدامها وكيفية التحسين حتى يعمل النموذج بسرعة. ومهندس البيانات أشبه بمبرمج أو مطور قاعدة بيانات. إنه يحتاج إلى جمع البيانات من 10/100/500 جداول ومصادر مختلفة ، وحساب هذا ، ومقارنة ذلك ، مع مراعاة هذا ، هذا وذاك.

نقطة مهمة: لا يعمل مهندس البيانات في المرحلة الأولى. كما رأينا بالفعل ، تتكون دورة التطوير من مرحلة تجريبية (MVP - منتج قابل للتطبيق إلى الحد الأدنى) ومراحل إنتاجية. أثناء إجراء التجارب ، من الصعب جدًا وصف البيانات بوضوح للمهندس في كل مرة يتم فيها تحميل البيانات. هناك إبداع ، يجري وضع الفرضيات ، وتدور البيانات بطرق مختلفة. هنا ، حتى أقل انزعاج بين العالم والمهندس يؤخر جاهزية MVP لأسابيع.

بتعبير أدق ، يقوم مهندس البيانات بالتكرار الأول لإعداد البيانات ، لأنه إذا لم تكن هناك بيانات ، فإن عالم البيانات ليس لديه ما يعمل معه. علاوة على ذلك ، يبني عالم البيانات بشكل متكرر ميزات لهذا النموذج. بعد نجاح النموذج ويحتاج إلى تحويله إلى مهندس بيانات منتج وفقًا للمواصفات من عالم البيانات ، يكتب رمزًا منتجًا لحساب السمة بشكل منتظم.

لذلك ، الاتجاه الحالي: في مرحلة MVP ، يقوم العلماء بإعداد البيانات بشكل مستقل. ولكن بعد ذلك ، عندما يتم بناء النموذج وقبله الجميع ، يصف عالم البيانات بوضوح كيفية تكوين السمات التي يحتاجها ، وينقلها إلى شخص مدرب بشكل منفصل. يقوم ببرمجتها بحيث يتم استخدامها باستمرار في المنتج.

يمكن أيضًا تحريف هذه القصة من ناحية أخرى - إذا لم يتم تحديد هدف العمل بعد ، ولكن لدى الشركة مجموعة كبيرة من البيانات التي تريد استخدامها.

في هذه الحالة ، نحاول بشكل مشروط 100 حالة ، 100 MVP ، يمكن للمرء أن يطلق منها. إذا قمت بتوسيع عملية إنشاء MVP في كل حالة فردية ، فإن 80٪ يذهب إلى إعداد البيانات ، 20٪ - إلى النموذج نفسه. في كل مرة ، يجب الحصول على البيانات من مصادر متباينة ومتعددة الأشكال. اجمعها في علامات منطقية ومفهومة: على سبيل المثال ، يجب أن تتحول "المعاملة عند النقطة N" إلى "رحلة إلى الخارج عدة مرات في السنة".

هذا العمل يستغرق الكثير من الوقت. إذا استخدمنا نوعًا من ناقلات البيانات وقمنا ببناء نموذج ، وتبين أنه سيئ ، فإننا نعود ونحمل البيانات مرة أخرى. مع كل حالة من أصل 100. يمكنك تحسين هذه التكرارات بطريقة واحدة فقط - إذا كان لدينا "عرض" كبير مسبقًا مع جميع السمات الممكنة - الآلاف وعشرات الآلاف. إنشاء مثل هذا "العرض" هو مهمة مهندس التاريخ تحت إشراف عالم التاريخ. يتم تسريع التجارب بشكل كبير - يمكن تحديد معلمات الإدخال للنماذج وتغييرها بسرعة.

أوركسترا موصلات البيانات الكبيرة

قمنا بجمع البيانات ، وبناء نموذج ، وتكوين صداقات مع رجال الأعمال. هل هذا كل شيء؟

ليس كل شيء. يجب أن يكون لهذه القصة البيانات الكبيرة قائد. يبدو أن هذا المنشور هو الأبسط والأكثر فهمًا ، ولكن هذا ليس صحيحًا تمامًا. يجب أن يجمع القائد بين خاصيتين لا يتم الجمع بينهما عادةً.

إذا بدأنا بيانات كبيرة من الصفر في شركة ، فإننا بحاجة إلى استراتيجي وبائع كرئيس وسائق للاتجاه. سيشرح للشركة بأكملها سبب أهمية العمل باستخدام البيانات الضخمة. من الواضح أنه في بداية شيء مبتكر ، من الصعب جدًا طلب حالة عمل واضحة ، لأنها تستند إلى عدد كبير من الافتراضات. لذلك ، سوف يشرح الإستراتيجي: يا شباب ، سنخطط بيانات كبيرة على مبدأ "من أعلى إلى أسفل" (من أعلى إلى أسفل). وحدد أهدافًا بدرجات متفاوتة من الكروية ، مثل:

- بحيث أنه بعد 5 سنوات ، تكون الإيرادات من المشاريع والمنتجات ذات الصلة بالبيانات الضخمة 10٪ من إيراداتنا
- تقليل مخاطر التخلف عن السداد بنسبة 20٪
- تقليل 30٪ من المكاتب غير الفعالة

وهكذا دواليك.

من ناحية أخرى ، يجب أن يكون هذا الإستراتيجي قادرًا على بيع الفكرة داخل المنظمة.

المشكلة هي أنه إذا تم العثور على مثل هذا الشخص بالفعل ، فمن الصعب عليه في المسائل التكتيكية. لتجسيد أفكار استراتيجي على المستوى المادي ، تحتاج إلى شخص عملي. سوف يبني العمليات التجارية ، والمحللين ، ومديري المنتجات ، ويفعل كل شيء رشيق. من المهم أن يعمل كل هذا بسرعة. لذلك ، تنقسم القيادة إلى جزأين: الإستراتيجي مسؤول عن مستقبل مشرق ، المشغل تابع للاستراتيجي وينفذ الخطط. لا يمكن لأي منهم أن يتعامل مع نفسه.

لا يزال بإمكانك النظر إلى هذه المشكلة من زاوية مختلفة تمامًا. تخيل أن تنفيذ تقنيات البيانات الضخمة مخطط له في شركة إنتاج كلاسيكية كبيرة تعد هذه التقنيات جديدة بالنسبة لها. من المسؤول؟ شخص من الخارج ، لديه خبرة واسعة في تطبيق البيانات الضخمة في مختلف الصناعات والمعرفة في هذا المجال ، أو شخص من الداخل ، الذي كان منذ فترة طويلة في الشركة ، يتمتع بمكانة عالية إلى حد ما ، نفذ العديد من المشاريع التي يعرفها الجميع ويحترمها؟

أعتقد أنه من الواضح أن الشخص من الداخل ، الذي يعرف كيف تعمل الشركة من الداخل ، يعرف الناس والعمليات هناك ستحقق المزيد. وفقًا لذلك ، لمساعدته ، تحتاج إلى وضع شخص من الخارج ، لديه خبرة في تنفيذ البيانات الضخمة ، بحيث يشير إلى التوجيهات الضرورية ويدير فريق البيانات الضخمة.

ضع في الشمس

قررنا على التكوين. ويبقى إخضاع أوركسترا البيانات الضخمة للقسم المناسب.

من المنطقي تعريفه في اتجاه العمل الذي نقوم بتحسينه. من الجيد إذا كانت الشركة ناضجة. ثم يمكنك محاولة وضع بيانات كبيرة في المبيعات المستهدفة. نحن بحاجة إلى فرع تجاري لجعله يعمل. على سبيل المثال ، بالنسبة للبنك ، إذا أردنا الاحتفاظ بالعملاء ، فنحن بحاجة إلى فرع يمكنه التواصل مع العملاء الذين يختارهم النموذج والاحتفاظ بهم بالفعل. إذا كنت ترغب في استخدام البيانات الضخمة لتخطيط موقع مكاتب البنك ، فأنت بحاجة إلى فرع يتعامل مع افتتاح هذه المكاتب. نريد تحسين البيانات للتسجيل المصرفي - نحتاج إلى فرع مسؤول عن المخاطر. بدون توجيه العمل المسؤول عن العمل مع نتائج النموذج ، لن يأتي شيء منه.

على الصعيد العالمي ، بدون دعم مباشر من الأعلى ، لن ينطلق الموضوع ببساطة - أنت بحاجة إلى نفس الاستراتيجية من أعلى إلى أسفل. خاصة عندما تحتاج إلى دعم اتجاه مشغول بالفعل بعملياته ، والتحديق في جميع أنواع الابتكارات.

هل تريد معرفة المزيد عن جوانب تنفيذ البيانات الضخمة في الشركات ، أو قراءة منشوراتنا الأخرى على موقعنا على الإنترنت أو الحضور للدراسة في كلية البيانات

تم تحضير المنشور من قبل مدرسة البيانات على أساس نشر مؤسس المدرسة في مركز الأعمال التجارية Kyivstar PJSC