الأرقام تعني الكثير بالنسبة لنا. نحن نستثمر في البيانات ونستمع إليها ونفهمها. نحن نسترشد بهم عند اتخاذ القرارات. على الرغم من حقيقة أنه لا يزال أمامنا الكثير من حيث البنية التحتية للعمل مع البيانات ، فإن النهج الذي يعتمد على البيانات كان دائمًا معنا. في هذا النص - قصة عن الطريقة التي ذهبنا بها ، وما هي الدروس التي تعلمناها وما أشعلها.
اسمي Andrey Sytsko ، أنا رئيس خط الإنتاج في شركة fintech ID Finance. كما قلت ، لا يزال أمامنا طريق طويل من حيث طرق وأدوات العمل مع البيانات. النمو المتعدد الذي شهدته الشركة منذ إنشائها يحدد سرعة غير قابلة للتحقيق للبنية التحتية التحليلية. ومع ذلك ، فمن المحتمل أن التوقعات من نهج تعتمد على البيانات تنمو ببساطة بوتيرة أسرع. في النهاية ، كما نفهم جميعًا ، ليس فقط الأدوات والتقنيات المحددة مهمة ، ولكن النهج والثقافة والنظرة العالمية.
ما هي ثقافة البيانات مدفوعة؟
ماذا نعني بالثقافة القائمة على البيانات في الشركة؟ في رأيي ، هذا عندما اتفقنا داخليًا على أن البيانات يمكن أن تقدم إجابة أو نصيحة جيدة في إطار معضلة تجارية معينة. هناك عدة عواقب لمثل هذا الترتيب:
- نحن على استعداد للاستثمار في العمل مع البيانات: الاستخراج والتخزين والتحليل والتفسير والتصور والمزيد. على استعداد لانفاق المال والوقت
- نحن على استعداد للاستماع إلى البيانات. أي عندما تحتاج إلى اتخاذ قرار بشأن العمل ، فإننا نتوقف ونخبر أنفسنا - دعنا ننظر إلى الأرقام.
- يمكننا فهم البيانات. في الواقع ، إنه لأمر مخيف أن نستخلص ببساطة الاستنتاج الخاطئ ، بوجود جميع الأرقام اللازمة. قل ما تريد ، هناك بعض المتطلبات الدنيا للتفكير التحليلي لصناع القرار من أجل استخراج المعنى من الجداول والرسوم البيانية والرسوم البيانية.
- نحن نثق في البيانات ونسترشد بها عند اتخاذ القرارات. عندما يقول أحد المديرين ، عند النظر في تقرير تحليلي مُعد ، إنه سيفعل ما هو أفضل كما تخبره التجربة ، بدلاً من التقرير ، فهو ليس مخطئًا بالضرورة. ماذا لو لم يأخذ المحللون في الحسبان الموسمية أو نتائج الانتخابات المقبلة أو أي شيء آخر؟ الحوار بين المديرين والمحللين ، والثقة في بعضهم البعض أمر مهم هنا.
بطبيعة الحال ، من السهل بناء ثقافة الشركة القائمة على البيانات عندما يكون مؤسسو الشركة بالفعل هم الناقلون لها. استخدام البيانات في صنع القرار يجعل هذه العملية تستغرق وقتًا طويلاً وأكثر تكلفة. وبدون قناعة جادة بأنه من المنطقي القيام بذلك ، وليس غير ذلك ، فلن تذهب بعيدًا. كنا محظوظين في هذه الحالة - لقد تم بالفعل وضع الأساس الصحيح للمبنى المستقبلي.
خطوات البنية التحتية الأولى
أول شيء ستصادفه في طريقك لاتخاذ القرار المثالي الذي تعتمد على البيانات هو أنه ليس لديك بيانات كافية. بشكل عام ، سيتم تفويتها دائمًا لأسباب موضوعية ، ولكن عليك أن تبدأ من مكان ما.
للبدء ، تقوم ببناء البنية التحتية لجمع وتخزين المقاييس. في الغالبية العظمى من مشاريع البيانات الخلفية (بالنسبة لنا ، على سبيل المثال ، معلومات عن العملاء وقروضهم والمدفوعات لهم) ، يتم استخدام النسخة المتماثلة من قاعدة الإنتاج ببساطة في البداية. في هذه الحالة ، يجب أن تستمتع تمامًا بهيكل البيانات الداخلي للبرنامج ، والذي أنشأه المطورون دون التفكير في جعل البيانات ملائمة للتحليل. لكن لدينا معلومات مباشرة ، إذا جاز التعبير. في البداية ، عادة ما تكون هناك قاعدة بيانات واحدة ، وهيكل البيانات بسيط نسبيًا ، وكذلك الأسئلة التي تريد طرحها على هذه البيانات ، لذلك هذا خيار عملي والاستثمار في شيء أكثر تعقيدًا لا معنى له.
بالنسبة لبيانات الواجهة الأمامية (طرق عرض الصفحة ، والتفاعل مع عناصر التحكم ، والتمرير ، والنقرات ، والمدخلات) ، يمكنك استخدام الأدوات الكلاسيكية مثل Google Analytics أو Yandex.Metrica ، على سبيل المثال ، HotJar لتسجيل الجلسات. هناك وظائف أساسية كافية لمهام التسويق ، وبالنسبة لتقارير المنتجات على مسارات التحويل واختبارات a / b ، فقد تحولنا بسرعة كافية للعمل من خلال واجهة برمجة تطبيقات Google Reporting. قلنا بالفعل عن ذلك على حبري.
هنا و
هنا .
بعد أن قمت ببناء البنية التحتية الأساسية وبدأت في جمع الإحصاءات الأساسية ، تحتاج إلى التأكد من أن المنتج سوف يتطور بشكل متزامن مع مقاييسه.
أي عندما تنوي تطبيق ميزة جديدة في منتج ما ، فأنت بحاجة إلى الإجابة عن هذه الأسئلة تقريبًا:
- ما مقاييس العمل الرئيسية التي سيؤثر هذا عليها؟
- ما هي التغييرات التي سيتم إجراؤها على رحلة العميل أو خوارزميات الخلفية؟ وكيف سيؤثر هذا على المقاييس الحالية؟
- ما المراحل / المكونات التي يمكنني تفصيلها للوظيفة الجديدة بحيث أنه من خلال جمع مقاييس لكل منها ، يمكنني البحث داخل عمل الميزة وتحليله
الآن فكر فيما إذا كانت القدرة على جمع كل المقاييس المذكورة أعلاه جزءًا من بيان المشكلة. وكيف ستجمعها بالضبط عند تنفيذ الوظيفة؟
بعد ذلك ، تحتاج إلى التأكد من أن النظام الفرعي لجمع وتخزين الإحصاءات له أهمية كافية لفريق التطوير وفريق تكنولوجيا المعلومات لديك. يجب أن تكون أهميتها مساوية تقريبًا لأهمية نظام الإنتاج. على سبيل المثال ، في البداية ، واجهنا مشكلة مستمرة في اختفاء تتبع Google Analytics من صفحات مختلفة ، حتى ناقشنا أهمية هذه الأشياء مع المطورين. بعد ذلك ، ظهرت المكتبات العامة الضرورية وإرشادات ضمان الجودة وما إلى ذلك.
تحليلات للمحللين
توافر البيانات لا يعني استخدامه الفعال. المشاكل / المهام التالية تحدث عادة:
- أين يمكن الحصول على هذا أو ذاك المقياس؟ كيف أخرجها من هناك؟
- هل تسير على ما يرام؟ (كل شيء مفاجئ لا يعمل على النحو المنشود)
- ما التقرير الذي يجب عليّ استخلاصه حتى أتمكن من استخلاص أي استنتاجات؟
- هل هناك أي دلالة إحصائية؟
- هل من الممكن البحث عن المزيد من البيانات من أجل فهم أفضل لما يحدث أو التحقق من المقاييس التي تم جمعها بطريقة واحدة / في مكان واحد بواسطة مقاييس أخرى.
اتضح أن هذا العمل ضخم يتطلب مهارات خاصة ، والأهم من ذلك ، هو الوقت. لذلك هناك حاجة لإنشاء قسم التحليلات.
قسم التحليلات لدينا كبير جدًا ، من حيث عدد الأشخاص ، فإنه يكاد يكون مساويًا للإدارة الوسطى. أنه يحتوي على كل من طلاب الأمس الذين لديهم معرفة جيدة بـ SQL والمهنيين الذين يفهمون جيدًا كيف وما هي البيانات التي يجب الحصول عليها من أجل اتخاذ القرارات التجارية. تدفق الطلبات لهم تقليديا يتجاوز قدراتهم.
البحيرات ومستودعات البيانات
واحدة من المشاكل التي من المحتمل أن تواجهها عندما تكون هناك المزيد والمزيد من البيانات هي أنها تقع في أماكن مختلفة وبعض المحللين قادرين على العمل مع بعض المستودعات ، والبعض الآخر مع الآخرين. ومع بعض قواعد البيانات ، على الأرجح ، لا أحد يعرف كيفية العمل على الفور. يصبح أيضًا من الصعب مقارنة هذه البيانات مع بعضها البعض.
يمكن أن يكون حل هذه المشكلة هو نظام مثل مستودع البيانات (DWH). في حالتنا ، فكرنا في الأمر للمرة الأولى ، عندما أردنا الجمع بين البيانات المتعلقة بسلوك المستخدم على الموقع والبيانات المتعلقة بسلوكه كمقترض. مبادئ إنشاء DWH خارج نطاق هذه المقالة ، وسأقول فقط ما هي الصعوبات / السمات التي كانت في حالتنا:
- كل مشروع من مشاريعنا (يوجد الآن 9 في 6 دول) يختلف هيكل البيانات قليلاً ، وبالتالي ، كان من الضروري تطوير مبادئ لتوحيدها
- كان من الضروري التفكير في كيفية توحيد البيانات غير المتجانسة في وحدة تخزين واحدة.
على سبيل المثال:
- سلوك المستخدم على الموقع - الانتقال بين الصفحات والتفاعل مع عناصر التحكم
- سجل العمل سياسة الائتمان - تنفيذ القواعد ونتائجها ، والانتقال على طول فروع المنطق
- سلوك المقترض - مدفوعات القروض ، البيع المتقاطع
الآن وقد تعلمنا إلى حد ما كيفية دمج البيانات مع بعضنا البعض ودمجناها في بحيرة بيانات واحدة ، فقد شرعنا في إنشاء واجهات متاجر - مجموعات البيانات والتقارير والتصورات المرئية المعدة مسبقًا - التي كانت تدور حولها. عند الخروج ، نتوقع أن نحصل على تخفيض كبير في متطلبات المهارات وتكاليف العمالة للمحللين لدينا.
عادة في هذه المرحلة ، يظهر دور مخصص لمهندسي البيانات في الشركة - أي الأشخاص المسؤولين عن البنية التحتية للبيانات. يتم تكليفهم بمهمة صيانة وتطوير DWH.
من الأفضل توظيف الأشخاص المناسبين على الفور.
مع نمو الشركة ، اتضح أنه ليس كل الموظفين يفهمون على الفور أهمية البيانات وأنهم قادرون على العمل معهم. يطرح سؤالان: الترويج الداخلي وتوظيف الأشخاص المناسبين.
بالنسبة للترقية الداخلية ، كما ذكرنا أعلاه ، إذا كان مؤسسو الشركة حاملين لثقافة البيانات ، فسوف يتم نقلها إلى الإدارة العليا والإدارة الوسطى وما إلى ذلك. على سبيل المثال ، أطلب من مديري المنتجات حساب التأثير المحتمل في المال أو تغيير المقاييس الأساسية قبل التنفيذ ، ورؤية حقيقة الخطة بعد تنفيذ الوظيفة الجديدة. أو ، على سبيل المثال ، لتحديد أولويات العمل ، يجب الاسترشاد بالتقييمات نفسها لـ "قيمة الأعمال".
نحن نقترب من زرع ثقافة تعتمد على البيانات من الجانبين. قد يتطلب قسم تكنولوجيا المعلومات لدينا من مديري الأعمال تعيين تقدير للتأثير في المال في بيان المهام. وهذا ينطبق على جميع الإدارات: التسويق ، الدعم ، المحاسبة. إلى هذا ، أضفنا مؤخرًا مطلبًا مفاده أن الأعمال تصف بشكل صريح المقاييس التي سيتم من خلالها تتبع نتائج التغييرات المنفذة ، ويجب أن يضمن تكنولوجيا المعلومات إمكانية الوصول إلى هذه المقاييس بطريقة مفهومة.
من المهم ، بطبيعة الحال ، التحقق فورًا من توظيف الأشخاص ما إذا كانوا معتادًا على التركيز على الأرقام في عملهم أم لا ، سواء كانوا يعرفون كيفية القيام بذلك. أسئلتي المفضلة أثناء المقابلة ، عندما نناقش تجربة المرشح: كيف تحسب التأثير الذي ستقدمه الميزة ، وكيف تقيس التأثير الذي قدمته بالفعل ، ولماذا تعتقد أن هذا التأثير يجب أن يعزى إلى هذه الميزة ، وليس إلى شيء اخر سيكون المرشح الجيد قادرًا دائمًا على تبرير منطقي لماذا فعل ذلك وليس غير ذلك.
مع نمو حجم الأعمال والبيانات ، أصبح من المجدي استخدام تقنيات إحصائية أكثر تقدماً ومكتبات تطبيقات أكثر تقدماً - بعض ما يسمى الآن علم البيانات.
إذا تحدثنا عن علم البيانات بمعنى أوسع من الشبكات العصبية والتعلم الآلي ، فعندئذ ، على سبيل المثال ، كانت لدينا تجربة ناجحة في الانتقال من الحزم الكلاسيكية مثل SAS لبناء الانحدار اللوجستي إلى أدوات الثعبان المكتوبة ذاتياً. هذا
قلل من الوقت لتطوير سجل الائتمان بنسبة 5 مرات.
في مرحلة ما ، أدركنا أن الانحدار اللوجستي وتحليل الكتلة على بعض وحدات التخزين يبرر استخدامها في التسويق وإدارة المنتجات للمهام المتعلقة بتجزئة العملاء وتحديد أفضل استراتيجية للمنتج أو الخصم لكل عميل على حدة.
تعلم التنبؤ بالمستقبل
خصوصية الأعمال التجارية للقرض هو أنه لا يكفي بيع المنتج - المال على الائتمان ، تحتاج إلى إدارة التدفق النقدي في المستقبل. وفقًا لذلك ، فإن دور النماذج التنبؤية المختلفة ودمجها في توقعات المستقبل P&L يأتي في المقدمة. أمثلة على هذه النماذج: الرسوم المستقبلية استنادًا إلى بيانات المتأخرات المبكرة ، ومتوسط الفاتورة بناءً على بيانات تجزئة العملاء ، وعدد القروض التي تستند إلى بيانات الإرجاع ، وما شابه.
يعد هذا أمرًا ملهمًا جدًا عند وجود مجموعة أدوات تتيح لك تقييم تأثير الميزة الخاصة بك على العديد من مقاييس العمل الرئيسية والتنبؤ بالزيادة في إيرادات الشركة.
لتطوير هذه الأدوات وصيانتها وتنفيذها ، نقوم الآن بتطوير قسم للتخطيط والتحليل المالي (FP&A) ، تتمثل مهمته في جعل اتخاذ القرارات التجارية أكثر دعمًا من خلال البيانات والتحليل والنمذجة.
لا يزال أمامنا الكثير من الأشياء المثيرة للاهتمام: التطوير الإضافي للبنية التحتية BI ، وإنشاء الإدارات التي تدعمها والعمليات التي تستخدمها.
لتلخيص ، يمكننا التمييز بين المبادئ التالية لتطوير نهج قائم على البيانات ، والتي أود الالتزام بها:
- العائد المتوقع على الاستثمار (على سبيل المثال ، في توفير وقت الموظفين ، وزيادة الدقة / سرعة صنع القرار ، وما إلى ذلك) هو ما يكفي للموارد التي تم إنفاقها.
- الإدارة الداخلية للمنتج: عند إنشاء البنية التحتية وتطويرها ، يتم فحص "قائمة الأمنيات" وردود الفعل من العملاء الداخليين. وأخذها بعين الاعتبار.
- يجب أن يواكب تطوير البنية التحتية تطور العمليات والمنهجيات. وكل ذلك معًا - ألا يتخلف عن الركب ولا يتفوق على تطور الشركة من حيث احتياجاتها التحليلية.