मेगाफोन में बिग डेटा क्या करता है और वहां कैसे जाना है?

MegaFon सिर्फ एक दूरसंचार कंपनी नहीं है जो मोबाइल संचार प्रदान करती है, यह एक डिजिटल कंपनी है जो ग्राहकों के जीवन के लिए एक पारिस्थितिकी तंत्र बनाने वाले उत्पाद बनाती है: "खुद का कार्ड", "खुद का कैशबैक", "MegaFon.TV", "MegaFon.Music" और कई अन्य शामिल हैं। MegaFon बिग डेटा एनालिटिक्स विभाग प्रत्येक ग्राहक की जरूरतों के लिए निजीकरण करता है।


वसंत 2019 में डेटा फेस्ट सम्मेलन में मेगाफोन बिग डेटा विश्लेषक भाषण

टेलीकॉम सेवाओं के बाजार में धीमी वृद्धि के बीच मेगाफैन डेटासिएंटिस्ट सब्सक्राइबर बेस को संरक्षित करने की समस्या को हल कर रहे हैं, जो कंपनी की प्राथमिकताओं में से एक है। उदाहरण के लिए, कुछ साल पहले, बड़े डेटा के आधार पर, एक नया "टर्न ऑन" टैरिफ लाइन विकसित किया गया था। यह डिजिटल उपयोगकर्ताओं के वास्तविक हितों पर बनाया गया है: बातचीत करना, दूतों में चैट करना, संगीत सुनना, सामाजिक नेटवर्क पर चैट करना, वीडियो देखना। टैरिफ के नाम हितों के अनुसार भरने के अनुरूप हैं, और परिचित अनुप्रयोगों के असीमित उपयोग के लिए उपभोग किए गए ट्रैफ़िक की गणना की आवश्यकता नहीं है। पारिस्थितिक तंत्र बनाते समय, हमारा काम प्रत्येक ग्राहक को एक व्यक्तिगत प्रस्ताव देना है।

बिग डेटा रिटेल से जुड़ी समस्याओं को भी हल करता है। उदाहरण के लिए, मशीन लर्निंग मॉडल की मदद से, हम समझते हैं कि कहां अक्षम सैलून को स्थानांतरित करना है और कहां नए खोलना है। जियोडेटा के साथ काम इस दिशा में हमारी मदद करता है।

बड़े डेटा एनालिटिक्स का उपयोग नेटवर्क के बुनियादी ढांचे के विकास से संबंधित कार्यों में भी किया जाता है, जहां, उनसे टावरों और यातायात के विश्लेषण का उपयोग करके, हम इष्टतम कवरेज का निर्धारण करते हैं और निर्माण के लिए आशाजनक स्थानों की भविष्यवाणी करते हैं।

किन तकनीकों का उपयोग किया जाता है?

हमारे द्वारा काम किए जाने वाले डेटा की मात्रा लाखों ग्राहक हैं और उनके लिए दैनिक रिकॉर्ड के अरबों हैं। बिग डेटा सिर्फ ओरेकल, MySQL या MongoDB जैसे डेटाबेस नहीं है। बिग डेटा उनके साथ काम करने के लिए सॉफ्टवेयर की एक पूरी श्रृंखला है। बड़े डेटा के साथ काम करने के लिए, आपको यह समझने की ज़रूरत है कि स्पार्क, हाइव, एचडीएफएस के साथ काम करने की विशेषताओं को जानने के लिए हडोप कैसे काम करता है। अक्सर, जो डेटा विश्लेषक हमारे पास आते हैं, वे पहले अपने काम में इन उपकरणों का उपयोग नहीं करते थे। इस मामले में, हम उन कौशलों को सिखाते हैं जो पर्याप्त नहीं हैं।

बड़े डेटा के साथ काम करने में कौशल को अनुभव के साथ हासिल किया जाता है, इसलिए मेगाफॉन उन प्रतिभाशाली विश्लेषकों में रुचि रखता है जो सभी आवश्यक उपकरण सीखने और उन्हें कंपनी के वास्तविक कार्यों में लागू करने के लिए तैयार हैं।


मेगाफॉन, 2019 के कार्यालय में बिगडाटकैंप

मेगाफोन के बिग डेटा के विशेषज्ञ मॉडल कैसे विकसित करते हैं?

MegaFon के बिग डेटा विशेषज्ञों को विश्लेषकों (डेटावेस्टर्स) और इंजीनियरों में विभाजित किया गया है। विश्लेषकों ने परिकल्पना का परीक्षण किया और मशीन लर्निंग मॉडल का निर्माण किया। इंजीनियर विश्लेषकों को स्टोरफ्रंट इकट्ठा करने, ईटीएल प्रक्रियाओं का अनुकूलन करने और उत्पादन में मॉडल स्थापित करने के लिए जिम्मेदार हैं।

मॉडल का विकास निम्नानुसार है। पहले हम Hadoop या Oracle में आवश्यक डेटा एकत्र करते हैं। फिर मॉडल को बड़ी मात्रा में मेमोरी और सीपीयू कोर के साथ समर्पित सर्वरों पर प्रशिक्षित किया जाता है। तंत्रिका नेटवर्क के प्रशिक्षण के लिए, हम जीपीयू के साथ सर्वर का उपयोग करते हैं।


मेगाफॉन, 2019 के कार्यालय में बिगडाटकैंप

विकासशील मॉडल के लिए मुख्य भाषा पायथन है। पायथन में डेटा को संसाधित करने के लिए, मानक पुस्तकालयों पंडों, नामपी, स्किट-लर्न को आमतौर पर आवश्यक होता है। Hadoop PySpark और Hive में गणना के लिए, मॉडलिंग के लिए उपयोग किया जाता है - लाइब्रेरी Scikit-learn, Xgboost, LightGBM, PyTorch और अन्य। सूची कार्य पर निर्भर करती है। क्यों अजगर? इसका मुख्य लाभ उत्पादकता की सादगी है। हम एक ऐसा निर्णय ले सकते हैं जिसे तुरंत ही बुनियादी ढांचे में एकीकृत किया जाएगा। यद्यपि ऐसा होता है कि आवश्यक पुस्तकालय पायथन में नहीं हैं, वे अन्य भाषाओं में हैं। उदाहरण के लिए, आर में सांख्यिकी पुस्तकालय हैं जो पायथन में नहीं हैं।

क्या होगा अगर कोई नहीं जानता Hadoop?

Hadoop कौशल वांछनीय हैं, लेकिन वे हमारी टीम में आने के लिए कोई शर्त नहीं हैं। सभी कंपनियों के पास मेगाफ़ॉन के पास डेटा की मात्रा नहीं है, और परिणामस्वरूप, उम्मीदवारों को अपने पिछले कार्य स्थान पर Hadoop के साथ काम करने का अवसर नहीं मिला।

Hadoop क्लस्टर के साथ काम करने के लिए मूल आदेशों में महारत हासिल करना बहुत मुश्किल नहीं है, लेकिन जब अधिक जटिल कार्यों की बात आती है, तो बड़े डेटा एल्गोरिदम, MapReduce और क्वेरी ऑप्टिमाइज़ेशन विधियों की गहरी समझ की आवश्यकता होती है। उदाहरण के लिए, Hadoop इकोसिस्टम में Hive जैसा कोई उत्पाद है। यह आपको SQL जैसे प्रश्नों को लिखने और Hadoop के शीर्ष पर चलने की अनुमति देता है। यह मूल रूप से फेसबुक द्वारा विकसित किया गया था। लेकिन आपको यह याद रखने की आवश्यकता है कि यह एक संबंधपरक डेटाबेस में हेरफेर नहीं कर रहा है, इस तथ्य के बावजूद कि आप SQL में लिख रहे हैं। यहां आप सरल प्रश्न लिख सकते हैं, लेकिन दक्षता हासिल करने के लिए, अर्थात्, क्लस्टर संसाधनों का उपयोग, गति और न्यूनतम उपयोग, आपको MapReduce का उपयोग करके क्वेरी ऑप्टिमाइज़ेशन की बारीकियों को समझना चाहिए।

इंटर्नशिप व्यवसाय के अनुभव को विकसित करने और हासिल करने का एक अवसर है। में इंटर्नशिप कर रहे हैं
बिग डेटा मेगाफोन?

हमारे डिजिटल दुनिया में, ऐसा लगता है कि पहले से ही कोई भी व्यक्ति उस व्यक्ति के बारे में डेटा एकत्र करता है जो उस पर बैठा है, न कि चीजों की इंटरनेट और बड़ी संख्या में सेवाओं का उल्लेख करने के लिए जो हम सभी का उपयोग करते हैं।

विशेषज्ञों की आवश्यकता बढ़ रही है, निकट भविष्य में कितने की आवश्यकता होगी, इसके बारे में बड़ी संख्या में विश्लेषण और पूर्वानुमान हैं। कम से कम कुछ डेटा एकत्र करने वाली हर कंपनी समझती है कि इस डेटा में मूल्य और बड़ी संख्या में अंतर्दृष्टि हो सकती हैं। इसलिए, डेटा विश्लेषक अब ऐसी मांग में हैं।


मेगाफॉन, 2019 के कार्यालय में बिगडाटकैंप

हम महान विशेषज्ञों के लिए खुश हैं, लेकिन बाजार छोटा है, और हमारे लिए बहुत उपयुक्त नहीं हैं। इसलिए, MegaFon इंटर्नशिप कार्यक्रम विकसित कर रहा है। मूल रूप से, हम वरिष्ठ छात्रों और हाल के स्नातकों को आमंत्रित करते हैं जो इंटर्नशिप करने के लिए प्रोग्रामिंग और गणित में शामिल हैं। उदाहरण के लिए, अपवाद हैं, भूगोल विभागों के लोगों के साथ बातचीत करने में एक सफल अनुभव था। हमारे लिए यह महत्वपूर्ण है कि छात्र सामंजस्यपूर्ण ढंग से अध्ययन के साथ काम कर सकें, कंपनी में और विकास कर सकें और भविष्य में विश्लेषक या इंजीनियर के पद पर आसीन हो सकें।

आप एक टीम में कैसे टाइप करते हैं?

इंटर्न के साथ हमारे साक्षात्कार अनुभवी पेशेवरों के साक्षात्कार से अलग हैं। इंटर्न की खोज करते समय, भर्तीकर्ता एक छोटा टेलीफोन साक्षात्कार आयोजित करता है, जिसके परिणाम यह स्पष्ट करते हैं कि उम्मीदवार हमारे कार्यों में रुचि रखते हैं और वर्तमान में उनके पास किस स्तर का ज्ञान और अनुभव है। यह हमारे लिए महत्वपूर्ण है कि क्या उम्मीदवार पाइथन में प्रोग्राम करने में सक्षम है, चाहे वह मशीन लर्निंग के बुनियादी पुस्तकालयों को जानता हो, चाहे उसे बड़े डेटा के विश्लेषण से संबंधित प्रशिक्षण समस्याओं को हल करने में अनुभव हो, चाहे उसने पहले गणितीय मॉडल बनाया हो और वह किस एल्गोरिदम का उपयोग करता हो।

एक टेलीफोन साक्षात्कार के परिणामों के आधार पर, हम 5-10 उम्मीदवारों का चयन करते हैं जो टीम से लोगों को जानने और तकनीकी कार्य को हल करने के लिए 2-3 घंटों के लिए एक साथ हमारे कार्यालय में आते हैं। यह दूरसंचार उद्योग के लिए जितना संभव हो - हमारे ग्राहकों को वर्गीकृत करने के लिए एक मॉडल बनाना आवश्यक है। अगला, हम परिणामों की तुलना करते हैं और अंतिम साक्षात्कार के लिए व्यक्तिगत कार्य अनुसूची, कार्यों और अन्य स्थितियों पर चर्चा करने के लिए सबसे अच्छा आमंत्रित करते हैं।

इंटर्नशिप 3 महीने तक चलती है। इंटर्न वास्तविक व्यवसाय कार्यों में लगे हुए हैं। सबसे अधिक बार, कार्यों को पहले से ही औपचारिक रूप दिया जाता है, और एक व्यक्ति को स्पष्ट समझ है कि क्या किया जाना चाहिए, यदि नहीं, तो आप हमेशा अपने संरक्षक की ओर मुड़ सकते हैं ।

व्यावसायिक कार्यों के अलावा, हमारे प्रशिक्षु नियमित रूप से ऑफ़लाइन और ऑनलाइन प्रशिक्षण से गुजरते हैं। हम न्यू प्रो लैब, बिग डेटा टीम, गीक ब्रेन, डेटा जिम और अन्य के साथ काम करते हैं, हमारे विशेषज्ञों की कोर्टेरा तक पहुंच है।

जैसा कि अभ्यास से पता चलता है, यह समझने के लिए तीन महीने पर्याप्त हैं कि क्या हम एक साथ काम करना जारी रखना चाहते हैं। यदि इंटर्न अच्छे परिणाम दिखाता है, तो हम उसे जूनियर डेटा वैज्ञानिक की स्थिति में ले जाते हैं और आगे विकसित करते हैं।


Egor, MegaFon बिग डेटा विश्लेषक, वसंत 2019 में डेटा फेस्ट सम्मेलन में।

अनुभवी पेशेवरों की खोज इस प्रकार है:

1. टीम के नेताओं और भर्ती के साथ डबल-चेक फिर से शुरू या उम्मीदवार प्रोफाइल।

2. टीम लीडर के साथ व्यक्तिगत साक्षात्कार, जहां तकनीकी और न केवल प्रश्न हैं: संभाव्यता सिद्धांत, सांख्यिकी, मशीन सीखने, विभिन्न उपयोगिताओं का उपयोग करने में अनुभव, उम्मीदवार की खुद की अपेक्षाएं।

3. यदि साक्षात्कार दोनों पक्षों के लिए अच्छी तरह से चला गया है, तो हम उम्मीदवार के पोर्टफोलियो (व्यक्तिगत परियोजनाओं और कोड) के लिए पूछते हैं या हमें कोड देखने और समस्याओं को सुलझाने की प्रगति का पता लगाने के लिए हमारे तकनीकी कार्य को हल करने के लिए कहते हैं। दूरसंचार के साथ तकनीकी कार्य भी जुड़ा हुआ है: यह अनुमान लगाना आवश्यक है कि ग्राहक के पास कई सिम कार्ड हैं या नहीं। असाइनमेंट की अवधि उम्मीदवार द्वारा स्वयं निर्धारित की जाती है, लेकिन आमतौर पर यह एक सप्ताह से अधिक नहीं होती है। हमारे कर्मचारियों में से एक ने उस शाम को कार्य को हल किया और एक सप्ताह बाद हमारे लिए काम आया। हाय आर्टीम;)

4. बड़े डेटा एनालिटिक्स के निदेशक के साथ बैठक, कार्यों और शर्तों की चर्चा।

क्या एक बड़े निगम में नौकरशाही मजबूत है?

हमारी टीम का अधिकांश हिस्सा मास्को में प्रधान कार्यालय में काम करता है, लेकिन हमारे पास निज़नी नोवगोरोड और येकातेरिनबर्ग में टीमें हैं। विभिन्न शहरों के सहकर्मी परियोजनाओं में शामिल हो सकते हैं, यह सब कर्मचारियों के कार्यों और कौशल पर निर्भर करता है।

हमारा विभाग युवा, गतिशील है, और शुरू से ही हम अन्य विभागों के साथ बातचीत की प्रक्रियाओं का सही ढंग से निर्माण करने में सक्षम थे: हमें सहकर्मियों के माध्यम से डेटा का अनुरोध करने की आवश्यकता नहीं है, हम मुख्य रूप से अपने डेटाबेस, ओरेकल या हडोप का उपयोग करते हैं, और एक मॉडल का निर्माण करते हैं।


MegaFon के कार्यालय में काम करते हैं

हमारे वर्कफ़्लो का आयोजन निम्नानुसार है। सबसे पहले, प्रबंधक ग्राहक प्रतिनिधि के साथ आवश्यकताओं पर चर्चा करता है। एक नियम के रूप में, हम मशीन लर्निंग और डेटा विश्लेषण का उपयोग करके एक व्यावसायिक प्रक्रिया में सुधार के बारे में बात कर रहे हैं, उदाहरण के लिए, हम अपने खुदरा के लिए स्मार्टफोन की बिक्री को अनुकूलित कर सकते हैं। फिर प्रबंधक, टीम लीडर और विश्लेषक संयुक्त रूप से विकास के नियमों और चरणों पर चर्चा करते हैं। जीरा में व्यवस्थाएँ दर्ज हैं, हम कंफ्लूएंस भी चलाते हैं, यह हमारा आंतरिक विकी है। बेशक, हम Gitlab का उपयोग करते हैं।

इस साल हमने डेटा विज्ञान परियोजना के सभी प्रमुख चरणों के लिए कोड समीक्षा प्रक्रिया शुरू की और पहले से ही परिणाम देखें: कई लोगों की कोड गुणवत्ता में काफी सुधार हुआ है। विकास की प्रक्रिया में सुधार करने के लिए आगे की योजना डीवीसी (डेटा संस्करण नियंत्रण) उपकरण का कार्यान्वयन है, जो डेटासेट सहित संपूर्ण परियोजना को संस्करणबद्ध करने की अनुमति देगा।

परियोजनाओं की अवधि कई महीनों से छह महीने तक हो सकती है। विश्लेषक परियोजना के सभी चरणों में शामिल है, आवश्यकताओं को औपचारिक बनाने और मॉडल के लक्ष्य घटना का निर्धारण करने से, उत्पादन में परिणाम की स्थिरता की निगरानी के साथ समाप्त होता है।

हम बहुत परिणाम-उन्मुख हैं, हम कभी भी इस बात की स्पष्ट समझ के बिना विकास नहीं करते हैं कि हम मेगाफोन में क्या लाभ ला सकते हैं।
मॉडल के निर्माण के बाद, हम इसके कार्यों के परिणामों के आधार पर परीक्षण अभियान चलाते हैं। सफल होने पर, हम लाखों मेगाफ़ॉन ग्राहकों के लिए अपना समाधान निकालते हैं। भविष्य में, हम न केवल मॉडल मेट्रिक्स के दृष्टिकोण से परिणामों का विश्लेषण करते हैं, जैसे कि लक्ष्य खंड पर सटीकता या पूर्णता, लेकिन यह भी गंभीरता से व्यावसायिक संकेतकों के विश्लेषण का दृष्टिकोण है। हमारे कारोबारी विश्लेषक इसमें हमारी मदद करते हैं।

टीम और विकास

इस विभाग में काम का सबसे बड़ा प्लस वास्तव में स्मार्ट लोगों और दिलचस्प कार्यों की एक टीम है। कार्यालय, इसमें शॉपिंग सेंटर, बोनस, क्षतिपूर्ति, बेशक, यह भी अच्छा है, लेकिन यह तीसरे स्थान पर है। विश्लेषकों के लिए मेगाफ़ोन डेटा का एक वास्तविक भंडार है। हर किसी को इस प्रकार के डेटा के साथ काम करने का अवसर नहीं है कि जब उनका विश्लेषण किया जाए, तो आप अंतर्दृष्टि पकड़ सकते हैं और निर्णय ले सकते हैं जो अंततः बहुत सारा पैसा लाएगा। यह विश्लेषक के लिए सबसे दिलचस्प है। आपने विश्वविद्यालय में अध्ययन किया, एक नया एल्गोरिथ्म लिखा, इसे कोडित किया, वैज्ञानिक तरीके लागू किए, एल्गोरिथम ने काम करना शुरू किया और वास्तव में कुछ लाभ लाया। यह वही है जो सबसे अधिक भावनाओं का कारण बनता है।

हम संख्या के लोग हैं, जो वाणिज्य के लोगों से घिरे हैं, और जब हमारी अंतर्दृष्टि पैसा बनाने के लिए ले जाती है - यह बहुत अच्छा है!

साक्षात्कार माई सर्कल कैरियर सेवा के साथ संयुक्त रूप से तैयार किया गया था।