في Netology ، ظهر اتجاه علم البيانات في عام 2016. عندما بدأنا لأول مرة ، كانت هناك مخاوف: الحقل جديد ، والطلب على تواريخ العلماء للشركات ، رغم أنه مناسب ، لكن لم يكن هناك تدفق كبير من الأشخاص الذين يرغبون في دخول المجال ، وهناك أيضًا الكثير من الموارد باللغة الإنجليزية المجانية للتدريب الذاتي على الشبكة ، وهذا هو السبب في أننا خاطرنا.
لكن اليوم ، يوجد بالفعل 10 دورات في تخصصات مختلفة في العمل مع البيانات ، وعدد الخريجين يزيد عن 800. قررنا أن نسأل أحد هؤلاء الخريجين عن عمله بالبيانات ، وكيف جاء إلى الميدان ، وكيف يتطور التعلم الآلي في Loco Bank وما نوع الأشخاص الذين يبحثون عنه في فريقه.
فياتشيسلاف بوتابوف ، رئيس تحليل البيانات والتعلم الآلي في بنك Loko وخريج دورة علماء البيانات :
تخرجت من جامعة موسكو التقنية الحكومية. بومان في تخصص "المركبة الفضائية" والمراحل العليا في عام 2011. بعد ذلك ، عمل لمدة 7 سنوات في أماكن مختلفة كمحلل ومطور قاعدة بيانات ومهندس مستودعات. خلال هذا الوقت ، تعلمت الكثير عن معالجة البيانات وتخزينها ، لكن في مرحلة ما أردت أن أغوص أكثر في التحليل - لفهم ما تعنيه كل هذه الأرقام ، وما الذي أقوم بتخزينه ومعالجته.
بدأت أبحث عن اتجاهات للنمو: لقد درست الوظائف ذات الصلة في مجال تكنولوجيا المعلومات ، ونظرت في مستوى الرواتب في الصناعة وما هو أكثر طلبًا. كانت هناك العديد من المقالات حول Habr ومقاطع الفيديو على Youtube ، وساعدتني إلى حد ما على فهم جوهر العمل مع البيانات وكيف يمكن لمهاراتي الحالية في ذلك الوقت أن تكون مفيدة.
ثم قابلت علم البيانات (DS) والتعلم الآلي (ML) ، لكن الأساس الأساسي لم يكن كافيًا. الحقل واسع جدًا ، وعندما تشاهد بعض مقاطع الفيديو أو المقالات ، تحصل على معرفة مجزأة فقط ، ولكن بشكل عام لا يوجد أي تفهم ما هو جوهر التخصص وما هي الاتجاهات والأساليب والأدوات. هذه هي كيفية قراءة كتاب مدرسي سميك عن الرياضيات للجامعات ، ولكن بدون تفسير وممارسة ، سيكون من الصعب تطبيق المعرفة المكتسبة.
أخبرني أحد الزملاء عن Netologiya ، حيث كان هناك برنامج كبير بدوام كامل في علوم البيانات ، ولم أقابل هذه العروض المناسبة في السوق الناطقة باللغة الروسية. ونتيجة لذلك ، نجح في التخلّص عن أطروحته ودافع عنها حول موضوع "التعرف على الصور باستخدام الشبكات العصبية". كما أتذكر الآن ، كان الأمر صعبًا جدًا ، لم تكن لديّ ممارسة لحل المهام الكاملة ، وأردت حقًا القيام ليس فقط بالعمل الأكاديمي ، ولكن بمشروع يعمل بالكامل.
بالتوازي مع دراسته ، حاول حل المشاكل مع Kaggle والقيام بمشاريع العمل.
وبعد انتهاء الدورة التدريبية ، بدأت أبحث عن مكان يمكنني فيه المشاركة بشكل كامل في تحليل البيانات ، لأنه من الصعب الجمع بين عمل مهندس نظام BI وممارسته في DS.
بعد سلسلة من المقابلات ، اختار Loko-Bank واتجاه DS.
يبدو لي أن علوم البيانات ، باعتبارها بعض التماثلية في معهد البحوث ، تحتاج إلى الثقة والصبر وفهم وجهات نظر الإدارة.
في Loko-Bank ، رأوا هذه التوقعات - لذلك بدأت العمل في كتلة الأعمال الرقمية ، التي تعمل على تطوير اتجاه التحليلات.
ما يفعله المحللون وعالم البيانات في Loko Bank
الآن لدى البنك قسم تكنولوجيا معلومات كلاسيكي مسؤول عن البنية التحتية وتخزين البيانات ، وتستخدم الإدارات الأخرى مصادر البيانات هذه وتضع متطلبات لدمج مصادر جديدة. في المجموع ، يعمل حوالي 40 موظفًا في الشركة من خلال التحليلات.
في Loko Bank ، أصبحت أتمتة العمليات وتحليل البيانات وبناء اقتصاد يعتمد على البيانات من أولويات الشركة. آمل أنه بناءً على المعلومات ، سنكون قادرين على بناء مبيعات بشكل صحيح ، وإجراء تقييمات للمخاطر والعمل بأكمله.
في وحدة الأعمال ، ينقسم العمل مع التحليلات إلى مجالين: التحليلات الكلاسيكية - BI ، حيث يقوم المتخصصون بتحليل المؤشرات المخططة والفعلية للشركة ، وإعداد تقارير عن المبيعات والأرصدة والدخل والمصروفات واتجاه ML.
يركز Machine Machine على إنشاء خوارزميات تقوم بالتنبؤات استنادًا إلى أدلة من المحللين التقليديين ، وتوليد بيانات جديدة والبحث عن التبعيات والاختلالات الخفية. هذا هو القسم الذي أنا المسؤول عنه.
ML في البنك هو مجرد بداية لتطوير. لكن لدي هدف - بناء نظام بحيث يساعد الأعمال ويسمح لك باستخدام جميع الأساليب الحديثة لزيادة الإيرادات وخفض التكاليف. يتعين علينا تغيير العمليات التجارية بالكامل والبحث عن طرق لتنفيذ أدوات التعلم الآلي في بنية تكنولوجيا المعلومات الحالية. قد يكون الأمر صعبًا ، نظرًا لأن التصميم لم يتم تصميمه بالأمس ، ولم يتم وضع بعض المتطلبات فيه.
على سبيل المثال ، متطلبات جمع السجلات للعملاء لدخول بنك الهاتف المحمول. بالنسبة للتحليلات الكلاسيكية ، ليست هناك حاجة إليها ، لذلك لم يتم جمعها أو تخزينها مطلقًا. لقد أوضحت أنه على أساس هذه السجلات ، يمكننا تدريب النموذج على عمل تنبؤات حول تحميل المنصة ونرى العلاقة بين استخدام بنك الهاتف المحمول وربحية العميل. وإذا لم يكن الأمر يتعلق بتطوير ML ، فإن مثل هذه التحليلات لن تكون موجودة ، لأن لا أحد سيتعامل مع هذه المشكلة. المطلوب هو الموصل الذي يشرح لماذا ولماذا ، إعطاء التوجيهات ، كيفية بناء العمارة ، كيفية جمع البيانات ، كيفية بناء النماذج ، مكان تطبيقها.
مع إدخال التعلم الآلي ، أرغب في بناء ثقافة العمل مع البيانات في البنك ككل: جمعها ومعالجتها وتكامل المصادر الجديدة. في الوقت نفسه ، نحن نحل بالفعل مهام التحليلات التنبؤية للعملاء ، ونحن منخرطون في تجزئةهم من أجل تحسين التعريفات وزيادة مبيعات الشركة.
نحن أيضا منخرطون في المراقبة المالية ، نقوم بتحليل العملاء والمعاملات المشبوهة. الآن تنفق الشركة قدرا هائلا من الموارد البشرية والمالية على هذه المهمة. ونريد تبسيط هذه العمليات وجعلها أكثر كفاءة.
إذا تحدثنا عن ما تم فعله بالفعل ، فقد بدأنا في جمع البيانات وتخزينها ، لا سيما سجلات المستخدمين ، والتي كتبت عنها أعلاه. الآن نقوم بتخزين المعلومات حول تاريخ التغييرات في بطاقة العميل في دائرة الضرائب الفيدرالية.
في الوقت الحالي ، نقوم بتطوير نموذج لتحديد السلوك السلبي للعملاء (الكيانات القانونية وأصحاب المشاريع الفردية) وتلقينا بالفعل أول نتائج جيدة. النتيجة لأحد المقاييس الشائعة هي 0.86. من الخوارزميات التي نستخدمها تعزيز التدرج. في المستقبل القريب ، نخطط لتحقيق الاستقرار في عملها ، بما في ذلك عن طريق ربط مصادر إضافية. يجب أن يساعد هذا النموذج في تقليل مخاطر الشركة وتحسين تكاليف العثور على عملاء غير شريفة.
ما هو نوع من المتخصصين اللازمة ل ML الاتجاه
يتم تشكيل فريقنا فقط ، لذا أحاول الآن أن أتعامل مع العموميين. بالطبع ، قد يكون الشخص أكثر ميلًا إلى تطوير أو ، على العكس من ذلك ، إلى تحليل الأعمال ، ولكن مع ذلك ، يجب عليه فهم عملية إنشاء حل في مجمله ، وفهم دوره فيه. هذا خيار جيد لأولئك الذين يريدون تجربة أنفسهم في أدوار مختلفة.
من المهم أن يعرف الشخص كيفية حل المشكلات العملية الحقيقية ، على الأقل يمكنه شرح النهج ومجموعة من الخطوات. في المقابلات ، أحاول إعطاء مشاكل منطقية ، وأطلب فهمًا عامًا للخوارزميات والتقنيات ، بدون الرياضيات.
منذ أن كنت أنا مهندسًا ، أحاول البحث عن أشخاص لديهم خلفية هندسية في فريقي ، رغم أن هذا ليس من المحرمات. أعرف أمثلة عندما دخل الناس إلى المهنة دون تعليم تقني.
لا يعد إنشاء حل ML بعيدًا عن مهمة تافهة ، لذلك لا يكفي فقط أخذ جميع البيانات وإلقائها في الخوارزمية وانتظار المعجزة. يجب أن تكون قادرًا على الانغماس في مجال الموضوع ، وأن تكون قادرًا على التواصل ، والسؤال ، والاستماع ، في مكان قد تتحول فيه هذه المهارات إلى قيمة أكبر من المهارات التقنية.
وبشكل أكثر تحديدًا ، يهتم القسم الآن بشكل أساسي بمهندسي البيانات الكبيرة. تعتبر الشبكات العصبية و xgboosts جيدة ، ولكن عليك أولاً العثور على متخصصين يمكنهم جمع البيانات الصحيحة المعدة بكميات كبيرة. بدونهم ، لن يعمل التعلم الآلي. أحتاج شخصين على الأقل في هذا الاتجاه. لكن الشركة لديها العديد من المتطلبات بالنسبة لهم: يجب أن يعرفوا أدوات ETL ، و SQL وأن يكون لديهم خبرة في بناء واجهات المتاجر ومستودعات البيانات ، وأن يكونوا قادرين أيضًا على حل مشاكل التحسين.
سيكون من الجميل أيضًا أن تضيف الموظفين إلى اثنين من المحللين ، ويفضل أن يكون لديهم خبرة في القطاع المصرفي. وعلى الرغم من أن علم البيانات يمثل أولوية ، إلا أن الحقل يمكن أن يكون.
تتمثل المشكلة الرئيسية للسوق في عدم وجود الأشخاص الذين يمكنهم ترجمة احتياجات العمل إلى مهمة ML هادفة ، وفي بعض الأحيان اقتراح حل استباقي.
لحل هذه المشكلة ، تحتاج إلى فهم العمل نفسه والأدوات الحالية ، وكذلك لديك مهارات لينة لتقديم حل المشكلة بشكل صحيح. ومن الصعب للغاية العثور على هذا.
حيث لتطوير
نظرًا لأننا نقدم فقط ML في شركات الأعمال ، نحتاج إلى تنفيذ عدد من القرارات التي تعتمد عليها المزيد من الثقة في المنطقة بأكملها. ترتبط هذه القرارات بالأساس المنطقي لوجود قسم للأعمال. أصبح تعلم الآلة الآن معروفًا للجميع ، لذلك فهو ذو أهمية خاصة.
بعد التنفيذ الناجح لأدوات ML داخل إدارتي ، نخطط لتوسيع مجموعة المهام وموظفي المتخصصين في جميع أنحاء البنك.
البنك هو ، أولاً وقبل كل شيء ، تدفقات كبيرة من البيانات ، وقاعدة عملاء كبيرة ، وبالتالي ، مسؤولية كبيرة.
فمن ناحية ، هناك عملاء يريدون الحصول على خدمة جيدة وحفظ بياناتهم ، ومن ناحية أخرى ، هناك دائمًا أشخاص يريدون الوصول إلى مرافق التخزين للحصول على معلومات سرية.
في رأيي ، نظرًا لتزايد عبء العمل وتعقيد العمليات ، فإن تفويض بعض المسؤوليات والوظائف إلى الآلات هو الشرط الوحيد الممكن للنمو المستقر للشركة.
والشخص الذي يريد أن يأتي في اتجاه التعلم الآلي في القطاع المصرفي يجب أن يكون قادرا على ربط مهام العمل ML مع الأهداف الرئيسية للبنك في المقام الأول.
نصائح لأولئك الذين يرغبون في دخول مجال التعلم الآلي
بادئ ذي بدء ، من المفيد الإجابة على نفسك سؤالًا عما تريد أن تفعله بالضبط ، وبعد ذلك انظر إلى ما عليك القيام به. تعد DS مجالًا كبيرًا للتطوير ، وهي جيدة من ناحية ، لكن من ناحية أخرى ، يمكنك التجول لمدة طويلة جدًا وعدم الوصول إلى شيء محدد.
في البداية ، لا أوصي بالغوص في الرياضيات. ركز على حل المشكلات والأدوات العملية (المكتبات والأساليب). لقد ساعدتني بشكل كبير تجربة تطوير قواعد البيانات وتنظيف ومعالجة البيانات والتحليل الأولي. في العمل الحقيقي ، فإن جمع البيانات وإعدادها يشغلان معظم الوقت ، وسيؤدي العمل عالي الجودة في هذا الاتجاه إلى تحسين جودة حلول ML في المستقبل بشكل كبير.
من الرائع أننا نعيش في وقت يمكن فيه العثور على أي معلومات بسهولة. تحتوي الشبكة على العديد من الدورات التدريبية في مختلف المجالات والمجتمعات (ODS) والمؤتمرات وورش العمل التي تعقد بشكل دوري. لكن عليك أن تفهم أن ML هو نظام شاب ، يتم تشكيله فقط وليس هناك منهج أساسي للتعلم. لذلك ، يجب اختيار مسارات التطوير بعناية: لدراسة برامج التدريب المختلفة ، وتحديد اللهجات المناسبة لنفسك. كنت محظوظًا - لقد اخترت دورة تلبي متطلباتي وتوقعاتي ، وأدت إلى تطوير اتجاه هائل واعد في بنك Loko.
من المحررين