TELE2 में DWH रिपॉजिटरी की व्यवस्था कैसे की गई

नमस्कार प्यारे दोस्तों!

आज मैं एक जीवन कहानी साझा करना चाहता हूं कि QCD (EDW) की शुरुआत से पहले Tele2 में DWH भंडारण की व्यवस्था कैसे की गई थी।

मैंने 2012 में रिपोर्टिंग सिस्टम विभाग में Tele2 IT विभाग में प्रवेश किया। उस समय, कंपनी में DWH रिपॉजिटरी पहले से ही बनाई गई थी, जिस पर कई रिपोर्टिंग प्रक्रियाएं और बहुत कुछ पहले से ही घूम रहा था।

उस समय उपयोग किए जाने वाले तकनीकी स्टैक के बारे में थोड़ा सा। भंडारण के लिए, Oracle डेटाबेस का उपयोग 1 टीबी ऑपरेटिव के साथ 60-100 Tb T4-4 सर्वर की क्षमता के साथ किया गया था। विभिन्न स्रोतों से डेटा वहां डाउनलोड किया गया था। लेकिन मुख्य 4 ओरेकल बिलिंग बेस थे, जो अनिवार्य रूप से एक चार्जिंग प्लेटफॉर्म थे। और एक विभाग था जो इन डेटाबेस का समर्थन करने और सेवाएं प्रदान करने में लगा हुआ था। इन ठिकानों का पृथक्करण मैक्रो-क्षेत्रों द्वारा किया गया था। कारण: वॉल्यूम बहुत बड़े हैं। यानी अगर कोई ग्राहक मास्को सिम कार्ड से कॉल करता है, तो कॉल लागत की गणना संबंधित बिलिंग में की जाती है।

टॉप-एंड हार्डवेयर हमेशा बिलिंग डेटाबेस में जाता था, और अवशिष्ट सिद्धांत के अनुसार शेष प्रणालियों को संसाधन आवंटित किए गए थे। आमतौर पर DWH के लिए सर्वर हमेशा थोड़ा कमजोर होता है। यानी बिलिंग में हार्डवेयर का T5-4 टुकड़ा होता है, तो DWH में विरासत का T4-4 टुकड़ा होता है।

लेकिन ये संसाधन हमेशा वर्तमान कार्यों को कवर करने और रिपोर्टिंग को रोकने के लिए पर्याप्त थे। बिलिंग से डेटा डीबी-लिंक के माध्यम से डाउनलोड किया गया था। छोटे रूपांतरण (उदाहरण के लिए, सरोगेट कुंजी को जोड़ने) के साथ रात के डेटा डाउनलोड होने पर क्लासिक ईटीएल प्रक्रियाएं स्थापित की गईं। ईटीएल 2 प्रकार का था: छोटे वॉल्यूम के लिए पूर्ण भार और बड़े तालिकाओं के लिए वृद्धिशील जैसे, उदाहरण के लिए, कॉल विवरण, शुल्क, भुगतान, आदि। पाठ फ़ाइलों के रूप में ऐसा एक बड़ा स्रोत भी था जो स्विच और बेस स्टेशनों से कॉल जानकारी और इंटरनेट ट्रैफ़िक डाउनलोड करता है। डेटा को ऑरल सीक्वल लोडर लोडर का उपयोग करके टेक्स्ट फाइल के रूप में डाउनलोड किया जाता है। आधार में वृद्धि आमतौर पर प्रति दिन 10-20 जीबी थी।
विभाजन योजनाओं, अनुक्रमित, क्वेरी योजनाओं के अनुकूलन, DWH में संकेत को लगातार उपयोग किया जाना था। फांसी या लंबे समय तक चलने वाले सत्रों के बिना एक दिन नहीं था जिसमें अनुरोध योजना में चढ़ना आवश्यक था।

EDW की शुरुआत से पहले Tele2 में DWH भंडारण संरचना।

इसके अलावा, DWH का मुख्य कार्य मासिक वित्तीय विवरण (ETF) उत्पन्न करना था। यह बड़े संस्करणों के कारण पूरे 4 दिनों के लिए DWH सर्वर पर माना जाता था। यह क्या है, इसकी कल्पना करने के लिए, मैं कहूंगा कि यह जटिल अलंकृत तर्क के साथ पीएल / एसक्यूएल कोड की 5 हजार लाइनों का एक ओरेकल पैकेज है और यह सब डायनामिक्स में न्यूनतम है। और फिर रिपोर्ट को CSV फ़ाइलों के रूप में एफ़टीपी या एक नेटवर्क शेयर पर अपलोड किया जाता है। और यह सब बॉक्सिंग समाधान के उपयोग के बिना। यानी वर्षों से हाथ से लिखी, अनुकूलित और स्वचालित कार्यक्षमता।

लेकिन डीडब्ल्यूएच डेटाबेस का उपयोग न केवल नियमित रिपोर्टिंग प्रदान करने के लिए किया गया था, बल्कि एक संचालन भंडारण के रूप में भी किया गया था। उदाहरण के लिए, यह Tele2 वेबसाइट पर एक व्यक्तिगत खाते से ग्राहकों को विभिन्न जानकारी प्रदान करने की प्रक्रिया के चारों ओर घूमती है।

यह ओरेकल एप्लिकेशन एक्सप्रेस (अपेक्स) प्रणाली के बारे में अलग से ध्यान देने योग्य है, जिसमें रिपोर्टिंग के लिए एक विशेष स्थान है। APEX WEB इंटरफेस के तेजी से विकास के लिए एक वातावरण है, या तो रिपोर्टिंग के लिए या एक व्यावसायिक प्रक्रिया स्थापित करने के लिए। इस पर, हाथ से, लिखित कार्यक्षमता "रिपोर्ट अपलोड" बनाई गई थी, जहां उपयोगकर्ता अपने लिए एक रिपोर्ट बना सकते हैं। यानी एक व्यक्ति अंदर आता है, अपनी रिपोर्ट के लिए फ़ील्ड्स का एक सेट चुनता है, यदि वांछित है, तो वह स्रोत को एक्सेल फ़ाइल के रूप में खींच सकता है, और फिर उसे एक संग्रहीत सीएसवी फ़ाइल के रूप में मेल को एक रिपोर्ट मिलती है। और DWH के अंदर, पीएल / एसक्यूएल प्रक्रियाओं और कार्यों की एक बड़ी संख्या लिखी जाती है जो अनिवार्य रूप से रिपोर्टों के लिए एक अंतर्निहित स्क्रिप्ट जनरेटर थे। इसके अलावा, यह उपकरण कंपनी के भीतर इतना लोकप्रिय था कि 8 वर्षों में इस पर अलग-अलग डिग्री के साथ आधे मिलियन से अधिक रिपोर्टें उत्पन्न हुईं।

अपेक्स ने कई अन्य दिलचस्प चीजों को भी विकसित किया है। उदाहरण के लिए, वर्कफ़्लो और मार्केटिंग ऑटोमेशन सिस्टम के लिए हाथ से लिखी गई कार्यक्षमता। पहले में, कर्मचारियों ने दस्तावेजों का समर्थन किया। और दूसरी बात, विपणन विभाग ने ग्राहकों के लिए विभिन्न आयोजन किए। उदाहरण के लिए, उसने नए टैरिफ और सेवाओं के बारे में ग्राहकों को बड़े पैमाने पर एसएमएस वितरण किया। और यह सब DWH से गुजरा और एसएमएस चैनल के साथ एकीकरण हुआ।

इसके अलावा, रिपोर्टिंग सिस्टम जैसे क्रॉस्टल रिपोर्ट और आईबीएम लोटस की एक जोड़ी आरपीटी फाइलों के माध्यम से DWH से जुड़ी है।

ऊपर संलग्न आरेख में, आप 2012 के लिए पुरानी DWH रिपॉजिटरी संरचना और डेटा प्रवाह देख सकते हैं। वर्तमान में संरचना के साथ, इसका कोई लेना देना नहीं है।

यह सब कम या ज्यादा सफलतापूर्वक उस क्षण तक काम किया जब व्यापार को एहसास हुआ कि रिपोर्टिंग अब पर्याप्त नहीं थी और क्यूसीडी, बीआई-सिस्टम और बिगडाटा को शुरू करने का फैसला किया।

सामान्य तौर पर, बहुत सारी दिलचस्प चीजें थीं। शायद मैं इस पर ध्यान केन्द्रित करूंगा। जल्द मिलते हैं।