नाश्ते और हैकाथनों के लिए मजबूत "कैफ": यह डेटा साइंस समुदाय के विकास के लिए क्यों महत्वपूर्ण है

मैं Raiffeisenbank में डेटा लेक प्लेटफ़ॉर्म टीम में डेटा साइंटिस्ट हूं। तीन साल पहले, बैंक के पास बिग डेटा लाइन नहीं थी, और अब हमारे पास बड़े डेटा और सक्रिय रूप से विकासशील समुदाय के साथ काम करने के लिए एक अलग मंच है। जैसा कि डेटा संचालित संस्कृति विकसित होती है, हम कई सवालों का सामना करते हैं: तकनीकी, संचार और अधिक।

लेख में मैं बताना चाहता हूं कि हमारा समुदाय रायफिसेन डाटा विश्वविद्यालय उनमें से कुछ को हल करने में कैसे मदद करता है।

स्केलेबिलिटी के मुद्दे

कुछ साल पहले, सभी डेटा वैज्ञानिक अलग-अलग रहते थे, प्रत्येक अपने कार्यों में - कोई भी किसी भी समुदाय के बारे में नहीं सोचता था। डेटा विश्लेषण के क्षेत्र में ज्ञान की आवश्यकता होती है, साथ ही साथ राज्य में डेटा वैज्ञानिकों के साथ इकाइयों की आवश्यकता होती है।
विभिन्न कठिनाइयाँ सामने आने लगीं:

• डीएस के बीच संचार:
  
  • यह ज्ञात नहीं है कि अब कौन से व्यावसायिक मामले सहकर्मियों के साथ काम करते हैं;
  • प्रत्येक टीम अपनी बाइक को उसी कार्यक्षमता को लागू करने के लिए देख रही है।

• तकनीकी पक्ष:
  
  • मॉडलिंग के लिए इनपुट डेटा की खोज अपारदर्शी है;
  • कोड नए डेटा पर नहीं चलता है;
  • क्लस्टर संसाधनों का बेहतर उपयोग नहीं किया जाता है;
  • किसी उत्पाद के लिए एक मॉडल के उत्पादन की प्रक्रिया एकीकृत नहीं है।

• व्यापार ग्राहकों के साथ बातचीत:
  
  • सभी ग्राहकों को इस बात का अंदाजा नहीं है कि इससे क्या हल किया जा सकता है
    मशीन लर्निंग, क्या सीमाएँ हैं और कार्य कैसे निर्धारित करें।

इन मुद्दों पर संपर्क करने और परिपक्व डेटा-संचालित कंपनी के लिए विकास का रास्ता शुरू करने के लिए किस तरफ? आप विभिन्न रणनीतियों के साथ आ सकते हैं: सभी डेटा वैज्ञानिकों को एक बड़े विभाग में इकट्ठा करें या सभी प्रमुखों को सभी टीमों में जोड़ें और एक अन्य प्रमुख मुख्यमंत्री को किराए पर लें जो एक विकास वेक्टर का निर्माण करेंगे। हमने दूसरे रास्ते से जाने का फैसला किया।

इसलिए रायफिज़न डेटा यूनिवर्सिटी - आरडीयू का विचार पैदा हुआ। यह अपनी मानक समझ में एक विश्वविद्यालय नहीं है, यह एक लचीला तंत्र है जो डेटा वैज्ञानिकों को विभिन्न गतिविधियों के संगठन के माध्यम से उनकी समस्याओं को हल करने में मदद करता है। वह कैसे सफल होता है?

सभी सरल सरल है

सबसे पहले, विभिन्न व्यावसायिक प्रभागों से लोगों को परिचय और सिंक्रनाइज़ करना आवश्यक था। सबसे सरल बात जो मन में आती है वह है बैठक की व्यवस्था करना।

पहले वाला लगभग दो साल पहले हुआ था, यह विभिन्न विभागों के डेटा वैज्ञानिकों से मिला, जो तब एक दूसरे के अस्तित्व के बारे में नहीं जानते थे। अब माइटैप्स आम हो गए हैं। हम उन पर नए सहयोगियों से मिलते हैं, हल किए गए मामलों को साझा करते हैं या प्रक्रिया में क्या है। आप अपने विचारों को स्पीकर पर फेंक सकते हैं, मैट्रिक्स या डेटा गुणवत्ता के बारे में मुश्किल सवाल पूछ सकते हैं। या आप हैंड्स-ऑन टूल्स पर एक कार्यशाला आयोजित कर सकते हैं जो उनकी परियोजना में शामिल थे। विभिन्न प्रकार के विशिष्ट विषय उठाए जाते हैं: उत्पाद में CI / CD मॉडल की व्यवस्था कैसे की जाती है, हल किए गए मामले के मॉडल की वास्तुकला, व्यवसाय से समस्या का समाधान और समाधान की जटिलता, और कई अन्य। इससे पहले, सब कुछ एक गुप्त दर्शकों में आयोजित किया गया था, जहां उन्होंने केवल उन लोगों को अनुमति दी थी जिन्होंने पारित होने के संस्कार को पारित किया था।

अब हमारे पास पहले से ही उपयोगी अनुभव जमा है जिसे साझा किया जा सकता है। आंतरिक माइटैप्स हमें संचार और तकनीकी कठिनाइयों को हल करने में मदद करते हैं। और एमएल REPA परियोजना के साथ, पहली खुली बैठक सभी के लिए आयोजित की गई थी ।

नाश्ते के लिए मजबूत "कैफ"

मितापों को कुछ तैयारी की आवश्यकता होती है और महीने में एक या दो बार होता है। और हर समय कुछ नया और दिलचस्प होता है, यही कारण है कि हम संचार बनाए रखने के लिए डेटा साइंस नाश्ते पर मिलते हैं। प्रतिभागियों की संख्या भिन्न होती है जो समय पर जागते हैं ।

नाश्ते में, समान विचारधारा वाले लोगों के साथ बात करने से अच्छाई और सकारात्मक भावनाओं के अलावा, आपको नए पुस्तकालयों और एल्गोरिदम के बारे में उपयोगी जानकारी मिलती है, आप अपनी समस्या को एप्लिकेशन आर्किटेक्चर के साथ हल करते हैं, या यह पता लगाते हैं कि क्लस्टर में क्या संसाधन जल्द ही फेंक दिए जाएंगे। इस तरह की छोटी बैठकों से लाभ कभी-कभी बड़े माइटैप्स से कम नहीं होता है।

सीखने की दर में सुधार

"और भी अधिक लाभ, और भी अधिक ज्ञान!" हमने खुलकर कामना की। इसलिए एक प्रतिस्पर्धी तत्व था - अंतराल, जैसा कि हम उन्हें कहते हैं। वे यांडेक्स में मशीन लर्निंग प्रशिक्षण के विचार से प्रेरित थे, उनकी आवश्यकताओं और क्षमताओं के अनुरूप। ओपन डेटा प्रतियोगिता लगभग तीन सप्ताह के लिए शुरू होती है:

• पहले हफ्ते में हम सभी एक समाधान के लिए संभावित विचारों को पूरा करते हैं और (डीएमआईए खेल कार्यशालाओं के समान);
• दूसरे सप्ताह में - एक अंतरिम बैठक: हम विश्लेषण करते हैं कि किसके पास किस तरह के प्लग हैं, हम आगे निर्णय लेने के लिए प्रेरित हैं;
• विजेताओं की घोषणा के बाद, विजेताओं की घोषणा, क्या हुआ और क्या नहीं।

एक प्रतियोगिता के ढांचे में, हम एक विषय पर ध्यान केंद्रित करने की कोशिश करते हैं: गंदे डेटा, समय श्रृंखला, पाठ विश्लेषण। हर कोई ऐसे उपकरण चुनता है जिन्हें वह कोशिश करने में दिलचस्पी रखता है, लेकिन फिर भी हिचकिचाता है, या लीडरबोर्ड पर अधिकतम परिणाम लाने चाहिए। सबसे अच्छा हिस्सा सुदृढीकरण सीखने के बारे में था - आपको अटारी पर्यावरण के साथ बातचीत करने के लिए अपने एजेंट को प्रशिक्षित करना था। संक्षेप में, प्रतियोगिता के आयोजकों ने हमें बोट्स और लोगों के बीच तीन खेलों - पैक्डमैन, ब्रेक आउट, अंतरिक्ष आक्रमणकारियों के बीच एक लड़ाई दी।
परिणामस्वरूप, लोगों ने पैक्मैन को व्यापक अंतर से जीता, बाकी में - मानवता स्काईनेट से हार गई।

डेटा साइंटिस्ट की खोज करें

प्रबंधकों को अकेला भी नहीं छोड़ा गया था। उन सभी के लिए एक दिन का एक आंतरिक हैकाथन, जो एनालिटिक्स से जुड़े हैं, लेकिन डेटा कैसे व्यवस्थित है, इसकी बुरी समझ है कि डेटा साइंस कार्यों की रसोई में जल्दी से गोता लगाने का एक अच्छा अवसर है। दिन की शुरुआत में, अवधारणाओं, एल्गोरिदम, और वर्गीकरण और प्रतिगमन समस्याओं में सबसे आम मैट्रिक्स पर एक समीक्षा व्याख्यान आयोजित किया जाता है। इसके बाद, एक वास्तविक मामले पर विचार किया जाता है, जो प्रतिभागियों को हमारे डेटा पर हल करने के लिए आमंत्रित किया जाता है। एक समाधान का समय लगभग 4 घंटे है, इसलिए, चीजों को प्राप्त करने के लिए, प्रत्येक टीम की सहायता के लिए एक डेटा साइंटिस्ट को भेजा जाता है।

मैं इन हैकाथॉन में से एक था क्योंकि यह हाथ प्रबंधकों द्वारा प्रस्तावित विचारों के साथ-साथ रचनात्मक दिशा में प्रत्यक्ष तर्क को लागू करेगा। छह महीने के लिए वास्तविक डेटा (बहिर्वाह की स्थिति निर्दिष्ट की गई) के आधार पर ग्राहक बहिर्वाह का एक मॉडल बनाने के लिए आवश्यक कार्य, साथ ही यह अनुमान लगाने के लिए कि यह मॉडल क्या आर्थिक प्रभाव लाएगा। निर्णय के दौरान हमारे साथ सब कुछ गलत हो गया, कोड के टुकड़े शुरू से शुरू हो गए - इससे टीम को सुविधा की पूरी जटिलता को महसूस करने की अनुमति मिली, लेकिन बहुत सारे विचार थे कि डेटा वैज्ञानिक व्यवसाय के अनुभव की कमी के कारण एक बार में अनुमान नहीं लगा सकते थे ।

ऐसी घटनाओं के लिए धन्यवाद, प्रबंधक डीएस कार्यों को पूरा करने के लिए समय-सीमा का मूल्यांकन करने के लिए अधिक उद्देश्यपूर्ण तरीके से सीखते हैं, नुकसान के बारे में सीखते हैं और मूल रूप से सेट गुणवत्ता मीट्रिक के महत्व के बारे में जानते हैं। और डेटा साइंटिस्ट आपको प्रबंधक की आंखों के माध्यम से कार्य की दृष्टि को समझने की अनुमति देता है, यह निर्धारित करने के लिए कि सहयोग की शुरुआत में तुरंत किन बिंदुओं पर प्रकाश डाला जाना चाहिए।

सबसे मजबूत जीवित रहेगा

लेकिन सबसे दिलचस्प बात आमतौर पर सितंबर में होती है, जब डीएस-टीम प्रकृति में दो दिन के हैकाथॉन के लिए रवाना होती है, सुविधाजनक बुनियादी ढांचे के साथ एक बहुत ही सुरम्य स्थान में। आयोजक बाहरी अनुभवी आकाओं को हैकाथॉन में आमंत्रित करते हैं। पिछले साल, एमेली ड्राल और अलेक्जेंडर गुशिन ने एक संवाद से फिल्म की शैली निर्धारित करने के लिए एक कार्य तैयार किया। प्रशिक्षण के नमूने के लगभग 40 हजार संवाद, 438 फिल्मों से 20 अलग-अलग शैलियों - यह अंग्रेजी उपशीर्षक के साथ फिल्मों के बारे में था।

हमने एनएलपी के विषय पर एक संक्षिप्त भ्रमण की बात सुनी: पाठ प्रीप्रोसेसिंग विधियां, डीएल का उपयोग करके सरल और अधिक कठिन सीखने के दृष्टिकोण; हमने एमएल प्रोजेक्ट्स में टीमवर्क के बारे में अलग से बात की - कोड को कैसे व्यवस्थित करें और यह कैसे समय बचाता है। प्रस्तुतियों को सुनते हुए, सबसे अधिक सक्रिय पहले से ही अपने लैपटॉप पर फास्टटेक्स और ग्लोव एंबेडिंग डाउनलोड कर चुके हैं।

व्याख्यान के बाद, सार्वजनिक / निजी लीडरबोर्ड के साथ केगल इनकैप्स प्रारूप में एक प्रतियोगिता शुरू हुई। हम टीमों में टूट गए - अधिकतम फेरबदल ताकि टीम में एक ही विभाग के दो लोग भी न हों। हर चीज के बारे में 24 घंटे कुछ भी नहीं था।

किसी ने एक रिमोट होम सर्वर शुरू किया, किसी ने बादलों में पर्यावरण को तैनात करने के लिए भाग लिया, यहां तक ​​कि वे भी थे जिन्होंने सिस्टम यूनिट को अपने साथ खींच लिया था - उन्होंने सबसे अच्छा प्रयास किया जो वे कर सकते थे! दिन के दौरान, टीमों ने हल करने के लिए कई प्रकार के विचारों को उत्पन्न किया: एलास्टिक खोज का उपयोग करके मॉडल के टुकड़ियों के चमकता हुआ परिणामों के समान ग्रंथों को खोजने के लिए जो अगले दिन सोचे नहीं जा सकते।

मॉडलों के काम को संक्षेप और तुलना करने के लिए, एक निजी लीडरबोर्ड पर स्कोर करने के अलावा, हमने एक इंटरैक्टिव डेमो की व्यवस्था करने का फैसला किया - देखें कि मॉडल सेवाओं में कैसे काम करते हैं। आयोजकों ने हास्य के साथ यह कहा और फिल्म "द फिफ्थ एलीमेंट" से एक खंड शामिल किया, जहां पाठ कुछ भयानक लगता है, लेकिन वास्तव में क्रिस टकर के साथ एक अजीब दृश्य है। अधिकांश मॉडलों ने इस पर एक गलती की और एक थ्रिलर, नाटक की भविष्यवाणी की, लेकिन कॉमेडी नहीं।



नतीजतन, रैखिक मॉडल का पहनावा, क्लस्टरिंग और अन्य shamanistic परिवर्तनों के आधार पर हाथ से तैयार की गई विशेषताओं के साथ वृद्धि हुई है, न्यूरॉन्स जगह के समाधान 2 और 3 में मौजूद थे। शांत पुरस्कारों के अलावा (मुख्य पुरस्कार एनआईपीएस या एक और शांत सम्मेलन के लिए एक यात्रा है), आप हैकथॉन से उन नए दोस्तों के साथ लौटते हैं जिन्हें आपने लड़ाई में परीक्षण किया है, जो आपके साथ ज्ञान और कौशल साझा करेंगे। अंत में, मैं इस जगह को सुरम्य प्रकृति और एक आरामदायक कंपनी के साथ छोड़ना नहीं चाहता था।

एक निष्कर्ष के बजाय

इस लेख में, मैंने एक कंपनी में डेटा साइंस कल्चर बनने की चुनौतियों को साझा किया और रायफ़ेन्स डेटा यूनिवर्सिटी कैसे डेटा वैज्ञानिकों को रास्ते में मदद करती है।

बेशक, सभी समस्याओं को हल नहीं किया गया है, लेकिन अब हमारे पास कुछ साल पहले की तुलना में अधिक सामंजस्यपूर्ण और परिपक्व डेटा-समुदाय है, और हम नई चुनौतियों का सामना करने के लिए तैयार हैं जो हमें सामना करती हैं।

यह बहुत दिलचस्प है कि क्या आपके काम में समान समस्याएं थीं, जिन्होंने उन्हें हल किया और कैसे?
हो सकता है कि कोई व्यक्ति अपने अनुभव से जीवन हैक साझा करेगा? ;)