كيفية إنشاء قسم علوم البيانات وليس المسمار

بدأت علوم البيانات لا تأتي فقط للشركات الكبيرة ، ولكن أيضًا للشركات الصغيرة وحتى الناشئة. ومع ذلك ، في كثير من الأحيان لا يكون لدى كبار المديرين فهم لما هو مطلوب لتطبيقه الناجح. يعتقد الكثير من الناس أن عالماً واحداً من البيانات خلال شهر واحد سوف يحل جميع مشاكل الشركة ، وأن الذكاء الاصطناعي عند النقرة سيبدأ العمل بشكل مثالي في جميع الأقسام. لسوء الحظ ، هذا ليس كذلك. اسمي إيفان سيروف ، وسأخبرك في هذا المنشور عن سبب حاجتك لبدء إنشاء قسم DS والصعوبات التي تنطوي عليها.

إدارة التوقعات

واحدة من أهم في إنشاء قسم هو وضع التوقعات و KPI على الفور. مع DS ، كما هو الحال مع أي ابتكار آخر ، تحتاج إلى متابعة الدورة بأكملها ، والتي ستبدأ بخسائر التشغيل. في أفضل الأحوال ، يمكن استرداد تكاليف العمارة والمتخصصين في غضون ستة أشهر ، وغالبًا ما يتم ذلك في غضون عام أو شهرين أو ثلاثة ، اعتمادًا على حجم الشركة. من الضروري أن تكون مستعدًا لهذا وعدم التخلي عن كل شيء بعد عدة إخفاقات. غالبًا ما يغلق كبار المديرين القسم بعد عام ، لأنه لم ينجح في تحقيق الربح. وبسبب هذا ، فقدت الثقة في DS. فقط من خلال تحديد التوقعات والأهداف اللازمة (ويفضل أن يكون ذلك من SMART ) يمكن إنشاء قسم ناجح.

تبدأ صغيرة

من الأفضل أن نبدأ بإثبات ما يسمى بمشروع المفهوم - إنه ليس معقدًا جدًا وقصير الأجل ، لكنه يمكن أن يحقق فوائد تجارية. على سبيل المثال ، قم بزيادة الإيرادات بنسبة 2٪ بسبب نظام التوصية. لا تحاول تكوين مجموعة من 5 شبكات عصبية مخصصة والعمل عليها طوال العام. على سبيل المثال ، حتى بالنسبة لمشاريع تصنيف النص ، يمكنك البدء باستخدام خوارزميات بسيطة (مثل حقيبة الكلمات) وتحقيق نمو بالفعل. نتيجة لذلك ، سيكون هذا المشروع الرائد نقطة الانطلاق لمزيد من التطوير وسيمنح الإدارة فهمًا أن الأموال تذهب إلى أشياء مفيدة وأن DS بحاجة إلى التطوير. هذا سيعطي الوقت للعمل على أشياء أكثر تعقيدًا. في حالة عدم وجود كفاءات ، من المنطقي أن يقوم مشروع رائد بتوظيف فريق خارجي من استشاريي DS. يمكن أن يساعدوا في تحقيق رغباتك بنوعية جيدة إلى حد ما ، أو فهم المشاريع التي يمكنك القيام بها في مجال عملك ، ومن أين تبدأ وكيف يجب بناء استراتيجية أخرى لمنظمة العفو الدولية.

جمع البيانات

كل شيء هنا بسيط ومعقد في نفس الوقت: من الناحية المثالية ، يتعين على الشركة استخدام جميع البيانات الموجودة لديها. على سبيل المثال ، إذا كنت تاجر تجزئة عبر الإنترنت ، فلديك على الأقل بيانات عن مبيعات منتجات محددة وسلوك العميل على الموقع وتسويق الرسائل البريدية. بالفعل على هذا يمكنك بناء العديد من النماذج ، على سبيل المثال ، نظام البريد الشخصي.

في الواقع ، يمثل جمع جميع بيانات الشركة في قاعدة بيانات واحدة مشكلة كبيرة في الغالب بسبب الاختلاف في المصادر ، أو عدم وجود تفاعل واضح بين الإدارات أو حتى نقص متخصصي BI في الشركة. يجب على المؤسسات التي تحتوي على جميع البيانات المخزنة في excel أن تبدأ أولاً في جمعها في قاعدة بيانات (SQL) ، وعندها فقط تفكر في DS.

يجب جمع جميع البيانات المتاحة في النموذج الذي سيكون مناسبًا للمحللين وعلماء البيانات لأخذها (غالبًا ما تكون SQL). من الضروري الاتفاق مسبقًا مع قسم استقصاء المعلومات حول النموذج الذي ترغب في استلام البيانات به ومعالجته واستخدامه في الإنتاج.
باستخدام كمية صغيرة من البيانات ، يمكنك شرائه من شركات خارجية. على سبيل المثال ، الاتصالات: قم بتوصيل هذه البيانات عن طريق رقم الهاتف برقمك ، وبالتالي قم بإثرائها. لكن في كل حالة من هذه الحالات ، من الضروري حساب ما إذا كان هناك أي فائدة من ذلك.

العثور على المحللين

من المهم أن يكون لدى الشركة بالفعل قسم تحليلات في وقت إنشاء قسم DS. هؤلاء هم الأشخاص الذين سيساعدون العلماء في العثور على البيانات ، وإخبارهم بما تعنيه ، وكيفية جمع المتغيرات الضرورية بشكل صحيح ، وأكثر من ذلك بكثير. تعتبر Analytics هي الخطوة الأولى في تحريك الشركة نحو نهج اتخاذ القرارات الذي يستند إلى البيانات (أي عندما تكون جميع القرارات في الشركة تعتمد على البيانات المستلمة وليس على رغبة الإدارة). سوف تساعد على الاستفادة من البيانات دون استخدام النماذج ، وسوف تساعد التقارير الإدارة في اتخاذ القرارات الصحيحة. بالإضافة إلى ذلك ، في المستقبل ، سيقوم المحللون بمراقبة حالة جميع طرز DS وإعداد التقارير بناءً على النتائج.

التقاط فريق

تم بالفعل كتابة الكثير من المقالات حول هذا العنصر ، سأحاول فقط تلخيص ما قيل بالفعل. لذلك ، يتكون فريق DS الجيد في معظم الأحيان من:

• مدير المشروع - يدير المشروع ، وهو المسؤول عن الجزء التجاري بأكمله ؛
• عالم البيانات - يبني النماذج ؛
• مهندس بيانات - يجمع البيانات ويعد خطوط أنابيب الإنتاج ؛
• المطور - يقدم حل DS.

جميع الأدوار متغيرة للغاية ويمكن أن تختلف تبعا لرغباتك. على سبيل المثال ، في بعض الأحيان قد لا يزال لدى الفريق محلل أعمال ، وأحيانًا يكون هناك العديد من علماء البيانات في وقت واحد ، وأحيانًا يكون مهندس البيانات والمطور شخصًا واحدًا. هناك الكثير من الخيارات للفريق وتحتاج إلى البناء على احتياجاتك. أو جرب عدة خيارات واختر الأفضل.

بالإضافة إلى الفريق القياسي ، لإنشاء قسم من الصفر ، لن تحتاج فقط إلى أخصائيين جيدين من القائمة أعلاه ، ولكن أيضًا إلى مبشر سيشرح للجميع ماهية DS وما هي فوائدها للإدارات الأخرى - نفس كبير مسؤولي الذكاء / رئيس قسم البيانات / المسؤول الرقمي الرئيسي (اختر اسمك الخاص). من المهم الإشارة إلى أنه إذا قمت بتوظيف أحد علماء البيانات وألقيت المهام عليه وعلى المحلل والمهندس المعماري والمطور ، يجب ألا تتوقع نتيجة سريعة ، علاوة على ذلك ، قد يحرم هذا الشخص من الحافز ، وسيكون للشركة قسم ناجح في المستقبل.

إذا كانت الشركة كبيرة وهناك العديد من الفرص لتطوير البيانات الكبيرة ، فأنت بحاجة أيضًا إلى Data Architect ، التي ستقوم بتكوين البنية ، وجمع البيانات متعددة الخيوط ، ونشر Hadoop أو Spark (أنظمة لمعالجة مصفوفات البيانات الكبيرة) ، والتي سيعمل علماء البيانات بالشركة بالفعل .

لا تنس الاتصالات الداخلية والتدريب

بعد المشروع التجريبي ، من الضروري تطوير الفريق بنشاط. يجب أن تنظم الشركة نوعين على الأقل من التدريب:
بالنسبة للعلماء ، يمكن أن تكون هذه ورش عمل حول مواضيع مختلفة ، اجتماعات أسبوعية ، اختراقات ، فصول رئيسية. أيضًا ، يجب الانتباه إلى شراء دورات عبر الإنترنت للفريق (على سبيل المثال ، مع الدورات الدراسية) وربما حتى وضعها في KPI. سيساعد هذا على تحديث الفريق في مجال سريع التطور وتحسين التفاعل الداخلي.
بالنسبة لمديري المشاريع وكبار المديرين ، يمكن أن تكون أيضًا ورش عمل في شكل تحليل لحالات العمل أو استراتيجيات الذكاء الاصطناعى للشركات ، أو على سبيل المثال ، المقررات الأساسية تفهم تقنيات التعلم الآلي والتعلم العميق (ما يمكن وما لا يمكن عمله ، الأساسيات التكنولوجيا). هذا سيساعد الإدارة على توليد التوقعات من DS.

أيضًا ، على الأرجح ، حتى قبل إنشاء قسم DS ، كان لدى الشركة بالفعل أشخاص مهتمون - ربما يكون هؤلاء مطورين أخذوا بعض دورات DS ، أو رجال أعمال يرغبون في أن يكونوا مديري مشاريع DS - ينبغي جذبهم إلى القسم والمساعدة في التطوير . على سبيل المثال ، بعد تدريب أحد المطورين على أساليب التعلم الآلي ، يمكنك الحصول على أخصائي جيد ومتحمس يعرف البنية الداخلية للشركة وأرخص من عالم بيانات السوق المتوسط ​​، الذي يحتاج أيضًا إلى وقت لمعرفة ذلك.

الاتصالات الخارجية مهمة

غالبًا ما يتم نسيان هذا العنصر ، لكنه لا يقل أهمية عن البقية. يعاني سوق متخصصي التعلم الآلي من نقص كبير في الموظفين (كل شيء بدأ يتحسن في السنوات الأخيرة ، ولكن لا يزال) ، كل عالم بيانات جيد يفهم قيمته ويختار الشركة التي يريد العمل فيها - وبالتالي ، فإن تقديم راتب كبير لا يكفي الآن ، بحاجة إلى المشاركة في المشاريع. للقيام بذلك ، يجب عليك بناء اتصالاتك الخارجية بشكل صحيح - العمل مع وسائل الإعلام وقادة الرأي والمجتمع ، والتحدث عن المشاريع المنفذة ، وكتابة المقالات في المنشورات المواضيعية المختلفة ، والتحدث في المؤتمرات ، ورعاية الأحداث الصناعية مثل hackathons ، وهلم جرا - هذا جزء صغير فقط من ذلك ما يجب القيام به لجذب المواهب للشركة.

هذا كل شيء ، في الختام ، سأقول فقط أنني لم أذكر على وجه التحديد الصعوبات في العملية ذاتها لقسم علوم البيانات ، لكني أخبرت فقط بما يلزم لإنشائها. إذا كان لديك شيء لإضافته - مرحبًا بك في التعليقات.