बिग डेटा बिग बिलिंग: टेलीकॉम में बिगडाटा के बारे में

2008 में, बिगडाटा एक नया शब्द और फैशन प्रवृत्ति थी। 2019 में, बिगडाटा बिक्री का एक उद्देश्य, लाभ का स्रोत और नए बिलों के लिए एक अवसर है।

अंतिम गिरावट, रूसी सरकार ने बड़े डेटा को विनियमित करने के लिए एक बिल शुरू किया। सूचना के अनुसार लोगों की पहचान करना मना है, लेकिन संघीय अधिकारियों के अनुरोध पर ऐसा करने की अनुमति है। थर्ड पार्टी के लिए बिगडाटा को प्रोसेस करना - रोजकोमनाजोर की सूचना के बाद ही। जिन कंपनियों के पास 100 हजार से अधिक नेटवर्क पते हैं, वे कानून के अधीन हैं। और, ज़ाहिर है, जहां रजिस्ट्रियों के बिना - यह डेटाबेस ऑपरेटरों की सूची के साथ एक बनाने के लिए माना जाता है। और अगर इससे पहले बिगडाटा को सभी ने गंभीरता से नहीं लिया था, तो अब इस पर विचार करना होगा।

मैं डेटाबेस और मैं को अनदेखा नहीं कर सकता, एक बिलिंग डेवलपर कंपनी के निदेशक के रूप में जो इसी बिगडाटा को संसाधित करता है। मैं टेलीकॉम ऑपरेटरों के प्रिज्म के माध्यम से बड़े डेटा के बारे में सोचूंगा, जिनके बिलिंग सिस्टम के माध्यम से हजारों ग्राहकों के बारे में दैनिक जानकारी मिलती है।

प्रमेय

चलो शुरू करते हैं, जैसा कि गणित की समस्या में है: पहले, हम यह साबित करते हैं कि संचार ऑपरेटरों के डेटा को बिगडाट कहा जा सकता है। मानक रूप से बड़े डेटा को वीवीवी के तीन संकेतों की विशेषता है, हालांकि मुक्त व्याख्याओं में "वी" की संख्या सात तक पहुंच गई।

वॉल्यूम। अकेले रोस्टेलकॉम का एमवीएनओ एक मिलियन से अधिक ग्राहकों को सेवा प्रदान करता है। प्रमुख होस्ट ऑपरेटर 44 से 78 मिलियन लोगों के डेटा को संसाधित करते हैं। हर सेकंड ट्रैफिक बढ़ रहा है: 2019 की पहली तिमाही के लिए, ग्राहकों को मोबाइल फोन से पहले ही 3.3 बिलियन जीबी मिल चुके हैं।

वेग। कोई भी आंकड़ों से बेहतर डायनेमिक्स नहीं बता सकता है, इसलिए मैं सिस्को के पूर्वानुमानों से गुजरूंगा। 2021 तक, 20% आईपी ट्रैफ़िक मोबाइल ट्रैफ़िक में जाएगा - यह पाँच वर्षों में लगभग तीन गुना बढ़ जाएगा। M2M पर एक तिहाई मोबाइल कनेक्शन होंगे - IoT के विकास से कनेक्शन में छह गुना वृद्धि होगी। चीजों का इंटरनेट न केवल लाभदायक होगा, बल्कि संसाधन-खपत भी होगा, इसलिए कुछ ऑपरेटर केवल इस पर ध्यान केंद्रित करेंगे। और जो लोग IoT को एक अलग सेवा के रूप में विकसित करते हैं, उन्हें डबल ट्रैफ़िक प्राप्त होगा।

वैराइटी। विविधता एक व्यक्तिपरक अवधारणा है, लेकिन दूरसंचार ऑपरेटर वास्तव में अपने ग्राहकों के बारे में लगभग सब कुछ जानते हैं। नाम और पासपोर्ट डेटा से लेकर फोन मॉडल, खरीदारी, स्थानों का दौरा और रुचियां। वसंत के कानून के तहत मीडिया फाइलें छह महीने तक संग्रहीत की जाती हैं। तो चलो इसे एक स्वयंसिद्ध के रूप में लेते हैं जो एकत्र किया गया डेटा विविध है।

सॉफ्टवेयर और कार्यप्रणाली

प्रदाता बिगडाटा के मुख्य उपभोक्ताओं में से एक हैं, इसलिए अधिकांश बड़ी डेटा विश्लेषण तकनीकें दूरसंचार उद्योग पर लागू होती हैं। एक और सवाल यह है कि कौन एमएल, एआई, डीप लर्निंग के विकास में निवेश करने के लिए तैयार है, डेटा सेंटर और डेटा माइनिंग में निवेश करता है। डेटाबेस के साथ पूर्ण काम बुनियादी ढांचे और टीम के होते हैं, जिनकी लागत हर कोई नहीं उठा सकता है। बिगडाटा पर सट्टेबाजी उन उद्यमों की लागत है जिनके पास पहले से ही एक कॉर्पोरेट भंडार है या डेटा गवर्नेंस पद्धति का विकास कर रहे हैं। उन लोगों के लिए जो दीर्घकालिक निवेश के लिए तैयार नहीं हैं, मैं आपको सलाह देता हूं कि आप धीरे-धीरे सॉफ्टवेयर आर्किटेक्चर का निर्माण करें और घटकों को बदले में रखें। भारी मॉड्यूल और हडोप को अंत में छोड़ा जा सकता है। कुछ लोग डेटा क्वालिटी और डेटा माइनिंग जैसे कार्यों के लिए तैयार समाधान खरीदते हैं, मुख्य रूप से कंपनियां सिस्टम को अपनी बारीकियों और जरूरतों के लिए तैयार करती हैं - या तो स्वयं या डेवलपर्स की मदद से।

लेकिन बिगडाटा के साथ काम करने के लिए हर बिलिंग को संशोधित नहीं किया जा सकता है। बल्कि, न केवल हर कोई संशोधित कर सकता है। कुछ ऐसा कर सकते हैं।

तीन संकेत जो बिलिंग सिस्टम में डेटाबेस प्रोसेसिंग टूल बनने का मौका है:

• क्षैतिज मापनीयता। सॉफ्टवेयर लचीला होना चाहिए - हम बड़े डेटा के बारे में बात कर रहे हैं। क्लस्टर में "लोहे" में आनुपातिक वृद्धि के साथ सूचना की मात्रा में वृद्धि का इलाज किया जाना चाहिए।
• दोष सहिष्णुता। गंभीर प्रीपेड सिस्टम आमतौर पर डिफ़ॉल्ट रूप से गलत सहिष्णु होते हैं: बिलिंग को कई जियोलोकेशन में एक क्लस्टर में तैनात किया जाता है, ताकि वे स्वचालित रूप से एक दूसरे का बीमा करें। Hadoop क्लस्टर में कंप्यूटर भी पर्याप्त होना चाहिए अगर उनमें से एक या अधिक टूट जाता है।
• इलाका। डेटा को उसी सर्वर पर संग्रहीत और संसाधित किया जाना चाहिए, अन्यथा आप डेटा ट्रांसफर पर टूट सकते हैं। लोकप्रिय मैप-एप्रोच योजनाओं में से एक: एचडीएफएस स्टोर, स्पार्क प्रक्रियाएं। आदर्श रूप से, सॉफ़्टवेयर को मूल रूप से डेटा सेंटर इन्फ्रास्ट्रक्चर में एकीकृत करना चाहिए और सूचनाओं को इकट्ठा करने, व्यवस्थित करने और विश्लेषण करने में तीन में से एक में सक्षम होना चाहिए।

टीम

क्या, कैसे और किस उद्देश्य से कार्यक्रम बड़े डेटा को संसाधित करेगा - टीम तय करती है। अक्सर इसमें एक व्यक्ति होता है - एक डेटा वैज्ञानिक। हालांकि, मेरी राय में, बिगडाटा के लिए कर्मचारियों के न्यूनतम पैकेज में एक उत्पाद प्रबंधक, डेटा इंजीनियर और एक प्रबंधक शामिल हैं। पहले सेवाओं को समझता है, तकनीकी भाषा का मानव में अनुवाद करता है और इसके विपरीत। डेटा इंजीनियर जावा / स्काला का उपयोग करके और मशीन लर्निंग के साथ प्रयोग करके मॉडल को जीवन में लाता है। नेता समन्वय करता है, लक्ष्य निर्धारित करता है, चरणों को नियंत्रित करता है।

समस्याओं

यह बिगडाटा टीम की ओर से ठीक है कि डेटा एकत्र करने और संसाधित करने के दौरान आमतौर पर समस्याएं उत्पन्न होती हैं। कार्यक्रम को यह समझाने की आवश्यकता है कि क्या इकट्ठा करना है और इसे कैसे संसाधित करना है - यह समझाने के लिए, आपको पहले इसे स्वयं समझने की आवश्यकता है। और प्रदाता इतने सरल नहीं हैं। मैं ग्राहकों के मंथन को कम करने के लिए कार्य के उदाहरण का उपयोग कर समस्याओं के बारे में बात कर रहा हूं - यह ठीक इसके टेलीकॉम ऑपरेटर हैं जो सबसे पहले बिगडाटा का उपयोग करके हल करने की कोशिश कर रहे हैं।

कार्यों का विवरण। ठीक से लिखा गया टीके और शब्दों की एक अलग समझ न केवल फ्रीलांसरों के लिए सदियों पुरानी पीड़ा है। यहां तक ​​कि "गिरी हुई" ग्राहकों की व्याख्या अलग-अलग तरीकों से की जा सकती है - जैसे कि एक महीने, छह महीने या एक साल के लिए ऑपरेटर की सेवाओं का उपयोग नहीं करना। और ऐतिहासिक डेटा पर एमवीपी बनाने के लिए, आपको बहिर्वाह से लौटने वाले ग्राहकों की आवृत्ति को समझने की आवश्यकता है - जिन्होंने अन्य ऑपरेटरों के संचार की कोशिश की या शहर छोड़ दिया और एक अलग संख्या का उपयोग किया। एक और महत्वपूर्ण प्रश्न: ग्राहक के अपेक्षित प्रस्थान से पहले प्रदाता को यह कैसे निर्धारित करना चाहिए और कार्रवाई करनी चाहिए? आधे साल के लिए - जल्दी, एक हफ्ते के लिए - बहुत देर हो चुकी है।

अवधारणाओं का प्रतिस्थापन। आमतौर पर, ऑपरेटर फोन नंबर द्वारा ग्राहक की पहचान करते हैं, इसलिए यह तर्कसंगत है कि संकेतों को उस पर उतारने की आवश्यकता है। व्यक्तिगत खाते या सेवा आवेदन संख्या के बारे में क्या? यह तय करना आवश्यक है कि क्लाइंट के लिए कौन सी यूनिट ली जानी चाहिए ताकि ऑपरेटर के सिस्टम में डेटा अलग न हो। ग्राहक मूल्य का मूल्यांकन भी सवालों के घेरे में है - कौन सा ग्राहक कंपनी के लिए अधिक मूल्यवान है, यह बनाए रखने के लिए कि किस उपयोगकर्ता को अधिक प्रयासों की आवश्यकता है, और जो किसी भी मामले में "गिर जाते हैं", और उन पर संसाधनों को बर्बाद करने का कोई मतलब नहीं है।

जानकारी का अभाव। सभी प्रदाता कर्मचारी बिगडाटा टीम को यह समझाने में सक्षम नहीं हैं कि ग्राहक बहिर्वाह को वास्तव में क्या प्रभावित करता है और बिलिंग में संभावित कारकों को कैसे माना जाता है। यहां तक ​​कि अगर आपने उनमें से एक का नाम दिया है - एआरपीयू, - यह पता चला है कि आप इसे विभिन्न तरीकों से गणना कर सकते हैं: या तो ग्राहक के आवधिक भुगतानों से, या बिलिंग के स्वत: चार्ज द्वारा। और काम की प्रक्रिया में, एक लाख अन्य प्रश्न उठते हैं। क्या सभी ग्राहकों को मॉडल द्वारा कवर किया जाता है, ग्राहक प्रतिधारण के लिए कीमत क्या है, क्या यह वैकल्पिक मॉडल के बारे में सोचने का मतलब है, और उन ग्राहकों के साथ क्या करना है जो गलती से कृत्रिम रूप से रखे गए थे।

लक्ष्य निर्धारण। मैं तीन प्रकार के परिणाम-संबंधित त्रुटियों को जानता हूं जो ऑपरेटरों को डेटाबेस में निराश करते हैं।

1. प्रदाता बिगडाटा में निवेश करता है, सूचना के गीगाबाइट को संसाधित करता है, लेकिन एक परिणाम प्राप्त करता है जिसे और भी सस्ता प्राप्त किया जा सकता है। सरल योजनाओं और मॉडल, आदिम विश्लेषिकी का उपयोग किया जाता है। लागत कई गुना अधिक है, लेकिन परिणाम समान है।
2. ऑपरेटर आउटपुट पर बहुमुखी डेटा प्राप्त करता है, लेकिन यह समझ नहीं आता है कि उनका उपयोग कैसे किया जाए। वहाँ विश्लेषिकी है - यहाँ यह समझ में आता है, और स्वैच्छिक है, और इससे अर्थ शून्य है। अंतिम परिणाम, जो "डेटा संसाधित करने के लिए" लक्ष्य को शामिल नहीं कर सकता है, सोचा नहीं गया है। थोड़ा प्रोसेस करने के लिए - एनालिटिक्स को बिजनेस प्रोसेस को अपडेट करने का आधार बनना चाहिए।
3. BigData एनालिटिक्स का उपयोग करने में बाधाएं पुरानी व्यावसायिक प्रक्रियाओं और नए उद्देश्यों के लिए अनुपयुक्त सॉफ़्टवेयर हो सकती हैं। इसलिए, वे तैयारी के चरण में भड़क गए - उन्होंने कार्यों के एल्गोरिथ्म और बिगडाटा को काम में लाने के चरणों के बारे में नहीं सोचा।

क्यों

परिणामों की बात कर रहे हैं। मैं बिगडाटा के उपयोग और विमुद्रीकरण के तरीकों पर जाऊंगा, जो पहले से ही दूरसंचार ऑपरेटरों द्वारा उपयोग किए जाते हैं।
प्रदाता न केवल ग्राहकों के बहिर्वाह की भविष्यवाणी करते हैं, बल्कि बेस स्टेशनों पर लोड भी करते हैं।

1. ग्राहकों, गतिविधि और आवृत्ति सेवाओं के आंदोलन की जानकारी का विश्लेषण किया जाता है। परिणाम: बुनियादी ढाँचे के समस्याग्रस्त वर्गों के अनुकूलन और आधुनिकीकरण के कारण कम अधिभार।
2. टेलिकॉम ऑपरेटर्स द्वारा सेल्स आउटलेट खोलने पर सब्सक्राइबर्स के जियोलोकेशन और फ्लक्स डेंसिटी की जानकारी का इस्तेमाल किया जाता है। इसलिए बिगडाटा एनालिटिक्स का उपयोग पहले से ही एमटीएस और विम्पेलकॉम द्वारा नए कार्यालयों के स्थान की योजना बनाने के लिए किया जाता है।
3. तीसरे पक्ष को प्रदान करके प्रदाता अपना बड़ा डेटा मुद्रीकृत करते हैं। बिगडाटा ऑपरेटरों के मुख्य ग्राहक वाणिज्यिक बैंक हैं। डेटाबेस का उपयोग करते हुए, वे ग्राहक के सिम कार्ड की संदिग्ध गतिविधि को ट्रैक करते हैं, जिसमें कार्ड संलग्न हैं, जोखिम स्कोरिंग, सत्यापन और निगरानी की सेवाओं का उपयोग करते हैं। और 2017 में, बिगडाटा के अनुसार, मॉस्को सरकार ने टेली 2 को तकनीकी और परिवहन बुनियादी ढांचे की योजना के लिए आंदोलन की गतिशीलता के लिए कहा।
4. बिगडाटा एनालिटिक्स विपणक के लिए एक सोने की खान है जो ग्राहकों के हजारों समूहों के लिए व्यक्तिगत विज्ञापन अभियान बना सकते हैं यदि वे चाहते हैं। टेलीकॉम कंपनियां सामाजिक प्रोफाइल, उपभोक्ता हितों और ग्राहकों के व्यवहार पैटर्न को एकत्र करती हैं, और फिर नए ग्राहकों को आकर्षित करने के लिए एकत्रित बिगडेटा का उपयोग करती हैं। लेकिन पदोन्नति और पीआर की बड़े पैमाने पर योजना के लिए, बिलिंग में हमेशा पर्याप्त कार्यक्षमता नहीं होती है: कार्यक्रम को ग्राहकों के बारे में विस्तृत जानकारी के साथ समानांतर में कई कारकों को ध्यान में रखना चाहिए।

जबकि कोई अभी भी बिगडाटा को एक खाली वाक्यांश मानता है, बिग फोर पहले से ही इस पर पैसा कमा रहे हैं। छह महीने के लिए, एमटीएस बड़े डेटा को संसाधित करने से 14 बिलियन रूबल कमाता है, जबकि टेल 2 ने अपने प्रोजेक्ट राजस्व को साढ़े तीन गुना बढ़ा दिया। बिगडाटा एक प्रवृत्ति से एक में बदल रहा है, जिसके तहत दूरसंचार ऑपरेटरों की पूरी संरचना को फिर से बनाया जाएगा।