गोल्डन गेट: कैसे प्रति घंटे टेराबाइट्स को दोहराने के लिए, या VTB पर गोल्डनगेट पर सीडीसी का उपयोग करने का अनुभव

वास्तविक समय में डेटा का विश्लेषण करने के कई तरीके हैं। वीटीबी में, हम गोल्डन गेट ओरेकल टूल में लागू चेंज डेटा कैप्चर (सीडीसी) तकनीक का उपयोग करते हैं: गति हमारे लिए बहुत महत्वपूर्ण है, लेकिन हम प्रेषित डेटा की मात्रा को कम करना चाहते हैं और स्रोत पर लोड को कम करना चाहते हैं। और यद्यपि इस उपकरण का मुख्य दायरा ओरेकल और एमएस एसक्यूएल से प्रतिकृति है, सीडीसी के साथ काम करने के वर्षों में हमने कई दिलचस्प मामले जमा किए हैं, जैसे प्लेटफार्मों या विभिन्न प्रकार के डीबीएमएस के बीच डेटा माइग्रेशन। कटौती के तहत, हम अपने अनुभव को गोल्डन गेट के साथ साझा करेंगे।

हमें CDC की आवश्यकता क्यों है (डेटा कैप्चर बदलें)

बैंक कार्ड का रोजमर्रा का उपयोग लंबे समय से परिचित है, और लोग, एक नियम के रूप में, यह नहीं सोचते कि भुगतान टर्मिनल का प्रत्येक उपयोग बैंक को निश्चित जानकारी का त्वरित हस्तांतरण है। डेटा की मात्रा बढ़ रही है, और मैं उन्हें जल्द से जल्द संसाधित करना चाहूंगा, जिसमें वास्तविक समय में विशेष ऑफ़र भेजना शामिल है, क्योंकि, जैसा कि वे कहते हैं, रात के खाने के लिए एक अच्छा चम्मच। और पारंपरिक ETL उपकरण (एक्सट्रेक्ट, ट्रांसफॉर्म, लोड - एक्सट्रेक्ट, ट्रांसफॉर्म, लोड) उड़ने के डाटा को प्रोसेस करने में इतने अच्छे नहीं होते हैं। यहां कमजोर लिंक में से एक है: जब डेटा स्रोत प्रणाली में तालिकाओं से लिया जाता है, तो आपको केवल बदलावों के साथ नई पंक्तियों या पंक्तियों का चयन करना होगा। यह दृष्टिकोण अतिरिक्त रूप से स्रोत प्रणाली को लोड करता है और संचरित डेटा की मात्रा को बढ़ाता है।

सीडीसी वास्तविक समय में डेटाबेस लॉग से परिवर्तन कैप्चर करता है। इसलिए स्रोत बहुत कम लोड किया जाता है, और प्रेषित डेटा की मात्रा कम हो जाती है। इस तकनीक के साथ, हमने बड़ी मात्रा में लेनदेन परिवर्तनों के साथ सिस्टम के लिए कंप्यूटिंग संसाधनों की आवश्यकता को कम कर दिया है: आखिरकार, सबसे भरी हुई बैंकिंग प्रणालियों के लिए डेटा कैप्चर के लिए, स्रोत पर 1-2 प्रोसेसर कोर पर्याप्त हैं। और अगर हम ईटीएल शुरू कर रहे थे, तो हमें समानांतर में डेटा पढ़ने के लिए प्रोसेसर क्षमता खरीदना होगा।

हम VTB में कई वर्षों से Oracle गोल्डनगेट तकनीक, Oracle के CDC टूल का उपयोग कर रहे हैं। इसकी मदद से, हम परिचालन डेटा वेयरहाउस को भरते हैं और सूचना प्रणालियों के कार्यों को "गर्म" और "गर्म" क्षेत्रों में वितरित करते हैं। बैंक के आईटी परिदृश्य में ओजीजी एप्लिकेशन का 90% ओरेकल और एमएस एसक्यूएल से डेटा लोड कर रहा है, लेकिन प्रतिकृति को छोड़कर, यह पूरी तरह से अन्य कार्यों का सामना करता है। आइए हमारे अभ्यास से कुछ उदाहरण देखें।

केस 1. ऑनलाइन रिपोर्टिंग

हम 2013 में गोल्डनगेट से मिले। फिर, हमारे कार्ड प्रसंस्करण परिसर में, लेनदेन एक साथ संसाधित किए गए और रिपोर्ट तैयार किए गए। OLTP लोड DWH / DSS लोड के साथ मिलाया गया था, और बड़े भारी नमूनों ने डेटाबेस मेमोरी से कैश को धोया था। नतीजतन, तेज लेनदेन को हार्ड ड्राइव पर जाना पड़ा, महत्वपूर्ण व्यावसायिक सेवाओं की गति गिर रही थी। प्रसंस्करण कोर को उतारने के लिए, हमने उन सभी प्रक्रियाओं और रिपोर्टों को लिया, जो हम ओरेकल एक्सडाटा पर एक "गर्म" प्रतिकृति के लिए विकसित हुए थे।
गोल्डनगेट का उपयोग करके डेटा को कैसे दोहराया जाए, हमने यहां विस्तार से वर्णन किया है । संक्षेप में: अत्यधिक भरी हुई प्रणालियों के लिए जहाँ विभिन्न प्रकार के भारों का मिश्रण होता है, हम उन्हें अलग-अलग OLTP और DWH / DSS सर्वरों में वितरित करते हैं, और उनके बीच सिंक्रोनाइज़ेशन के लिए हम GoldenGate का उपयोग करते हैं। "गर्म" प्रतिकृति को उजागर करने का यह पैटर्न कई अन्य मामलों में काम आया। उदाहरण के लिए, हमने अपने एंटी-फ्रॉड सिस्टम में एक ही दृष्टिकोण का उपयोग किया - हम सभी रिपोर्टिंग को एकीकृत ओरेकल एक्डेटा सिस्टम में स्थानांतरित करते हैं, हम गोल्डनगेट का उपयोग करके उन्हें डेटा को दोहराते हैं।

विफलताओं के बिना कोई सिस्टम नहीं हैं। उदाहरण के लिए, यदि कोई डेवलपर रिसीवर पर डेटा बदलता है, तो डेटा उपयोग त्रुटि हो सकती है, और गोल्डनगेट प्रक्रियाएं बंद हो जाएंगी। डेटा को सिंक से बाहर करने के लिए, हम एक स्वतंत्र मध्यस्थ के रूप में Oracle GoldenGate Veridata का उपयोग करते हैं। यह उपकरण केवल स्रोतों और रिसीवर के बीच डेटा को सत्यापित नहीं करता है - मुख्य बात यह है कि वेरिड्टा मतभेदों को समाप्त करता है। यह महत्वपूर्ण है कि जब हम प्रतिकृति के साथ व्यवहार करते हैं, तो वेरिड्टा सटीक डेटा तुलना और खोए हुए रिकॉर्ड का पता लगाने की गारंटी देता है। हमें तुलना के परिणामों के साथ एक पूरी रिपोर्ट मिलती है, जिसे अविश्वसनीय सहयोगियों को प्रस्तुत किया जा सकता है।

केस 2. ऑनलाइन संग्रहण में समेकित रिपोर्टिंग और मंचन

एक अलग मामला परिचालन भंडारण के निर्माण से जुड़ा हुआ है। कठिनाई इस तथ्य में निहित है कि, परिचालन रिपोर्टिंग के अलावा, हम कॉर्पोरेट भंडारण (स्टेजिंग) के लिए डेटा तैयार कर रहे हैं। ऐसा होता है कि आपको कई अलग-अलग प्रणालियों से एकत्र किए गए डेटा के आधार पर परिचालन रिपोर्टिंग उत्पन्न करने की आवश्यकता होती है। और ऑनलाइन स्टोरेज के स्तर पर ऐसा करना सबसे सुविधाजनक है। उच्च गति पर डेटा प्राप्त करने और संसाधनों पर न्यूनतम भार के साथ, हमने एक बार फिर से गोल्डनगेट लागू किया।

तुलना के लिए, आइए बताते हैं कि हमने पहले अपने कुछ सिस्टम में परिवर्तनों का डेल्टा कैसे पाया। यदि सिस्टम ने स्वयं डेल्टा आवंटन या डेटा को पूर्वव्यापी रूप से बदलने की अनुमति नहीं दी है, तो पिछले दिन के लिए रिसीवर पर 10 टीबी के स्रोत के साथ तालिका की तुलना 10 टीबी की तालिका से की गई थी। इन 10 टीबी को पहले स्रोत पर कब्जा करना पड़ता था, और लोड न केवल स्रोत प्रणाली, सीपीयू, मेमोरी, बल्कि डेटा नेटवर्क पर, साथ ही साथ तुलना में शामिल सिस्टम पर भी गिर गया। और 0.01% में नए डेटा के डेल्टा को खोजने के लिए यह सब!

गोल्डनगेट लगभग स्रोत पर कोई भार नहीं बनाता है: सीडीसी केवल पत्रिकाओं को पढ़ता है और एक तैयार डेल्टा का उत्पादन करता है। यह आपको बुनियादी ढांचे पर गंभीरता से बचत करने की अनुमति देता है। इससे कोई फर्क नहीं पड़ता कि रिसीवर कौन है - Oracle, MSSQL, Teradata या सिर्फ Hadoop उत्पादों पर आधारित एक पारंपरिक भंडार।

ध्यान दें कि इस मामले में, ओरेकल डेटाबेस का उपयोग स्रोत और रिसीवर के रूप में किया गया था। समाधान प्रभावी साबित हुआ है, इसलिए अब हम सभी नई प्रणालियों को एक आम ऑनलाइन डेटा वेयरहाउस से जोड़ रहे हैं, और अब यह केवल ओरेकल नहीं है। गोल्डनगेट का एक अन्य लाभ यह है कि यह बैंक के आईटी परिदृश्य में उपयोग किए जाने वाले अधिकांश डेटाबेस से डेटा डाउनलोड करने के लिए उपयुक्त है।

केस 3. वास्तविक समय में ग्राहकों को व्यक्तिगत ऑफ़र।

हमने पहले ही स्ट्रीमिंग एनालिटिक्स का उल्लेख किया है, जो वास्तविक समय में ग्राहकों को वास्तविक समय की पेशकश (आरटीओ) प्रदान करता है। वरिष्ठ साथियों का कहना है कि बैंकिंग व्यवसाय में सफलता सीधे इस बात पर निर्भर करती है कि आप अपने ग्राहक को कितनी अच्छी तरह जानते हैं और आप उसे कितना प्रासंगिक बना सकते हैं। दूसरे शब्दों में, ग्राहक द्वारा बैंक की पेशकश का लाभ उठाने की संभावना ग्राहक की जरूरतों के प्रति बैंक की प्रतिक्रिया की गति के विपरीत आनुपातिक है।

यह कैसे काम करता है? उदाहरण के लिए, लेन-देन इतिहास बताता है कि ग्राहक हर शुक्रवार को शराब की दुकान से खरीदारी करता है। जियो-पोजिशनिंग एक शॉपिंग सेंटर में इसका पता लगाता है, जहां इस नेटवर्क का एक स्टोर है, और एक मोबाइल एप्लिकेशन के माध्यम से हम उसे उसी शॉपिंग सेंटर में एक डेली शॉप में डिस्काउंट के लिए एक व्यक्तिगत प्रस्ताव भेजते हैं। ऐसा मामला बैंक के लिए सबसे दिलचस्प है, यह आपको सह-ब्रांड और संयुक्त प्रस्ताव बनाने की अनुमति देता है। ग्राहक व्यक्ति और संगठन हो सकते हैं।

ऑफ़लाइन और ऑनलाइन भाग हैं। पहले में, ग्राहक सभी प्रणालियों के डेटा का उपयोग करके पूर्व-खंडित होते हैं। विश्लेषक और डेटा वैज्ञानिक व्यवहार, ऐतिहासिक डेटा का अध्ययन करते हैं और तथाकथित जाल बनाते हैं। मुख्य बात एक महत्वपूर्ण घटना को पकड़ना है जिसे एक परिचित लेनदेन, एक मोबाइल एप्लिकेशन या अन्य उपलब्ध स्रोतों द्वारा ट्रैक किया जा सकता है। और पहले से ही इस घटना को स्ट्रीमिंग एनालिटिक्स के माध्यम से संसाधित किया जाता है, और निर्णय तैयार जाल के आधार पर पल में किया जाता है।

सीडीसी गोल्डनगेट का लक्ष्य स्रोत प्रणालियों से विश्लेषणात्मक प्लेटफॉर्म तक वास्तविक समय घटना डेटा प्रवाह प्रदान करना है। बिग डेटा लाइसेंस के लिए गोल्डनगेट में ओरेकल स्ट्रीम एनालिटिक्स भी शामिल है। इसकी मदद से, डेटा वैज्ञानिक स्वतंत्र रूप से स्पार्क स्ट्रीमिंग पर डेटा स्ट्रीम को संसाधित कर सकते हैं, एक दृश्य वातावरण में एप्लिकेशन विकसित कर सकते हैं।

केस 4. नए प्रकार की धोखाधड़ी के लिए परिचालन संबंधी प्रतिक्रिया

एंटीफ्राड सिस्टम काफी बंद हैं, और ठीक है इसलिए: कम लोग विवरण के लिए समर्पित हैं, उच्च सुरक्षा। वे मानक मामलों को संभालने का एक बड़ा काम करते हैं, लेकिन कभी-कभी ऐसी परिस्थितियां उत्पन्न होती हैं जो मानक स्क्रिप्ट में फिट नहीं होती हैं। इसलिए, इन मॉडलों को गैर-मानक परिदृश्यों के साथ पूरक करना महत्वपूर्ण है। हम विभिन्न प्रणालियों की घटनाओं के संबंध के आधार पर लगातार नए मॉडल विकसित कर रहे हैं: कार्ड और मुद्रा लेनदेन, स्थान, भुगतान प्रणालियों के संचालन, मोबाइल अनुप्रयोगों में कार्रवाई, सामाजिक नेटवर्क की निगरानी। मॉडल को बदलने के लिए, आपको स्वीकृत प्रक्रियाओं का पालन करना होगा: व्यापार अनुरोध, कार्य सेटिंग, कार्यान्वयन के सभी आंतरिक चरणों के माध्यम से आवेदन पारित करना।
पिछले साल, हमने व्यस्ततम पारंपरिक प्रणालियों से बिग डेटा के लिए ओरेकल गोल्डनगेट का उपयोग करके डेटा अपलोड का परीक्षण किया, जहां बहुत सारे छोटे लेनदेन थे, और हमारे एंटीफ्राड सिस्टम से ओरेकल बिग डेटा उपकरण पर मुख्य क्लस्टर तक। Hadoop और GoldenGate दोनों ने हस्तांतरित डेटा की मात्रा का मुकाबला किया - हम कुछ हैरान थे।

टेराबाइट्स प्रति घंटे और अन्य निष्कर्ष

पिछले दो वर्षों में, गोल्डनगेट के साथ, हमने हस्तांतरित लॉग की मात्रा को दोगुना कर दिया है - प्रति घंटे लगभग 1 टीबी तक। यह इस समय हमारी जरूरतों को लगभग बंद कर देता है। दुर्भाग्य से, भौतिकी है जिसे हम चलाते हैं। लेकिन थ्रूपुट को बढ़ाने के लिए, गोल्डनगेट विकास टीम के साथ सक्रिय काम किया जा रहा है, इसलिए यह सीमा से दूर है। उसी समय, हम अन्य विक्रेताओं के सीडीसी समाधानों को देख रहे हैं और उनका संचालन कर रहे हैं, लेकिन हमें ओरेकल गोल्डनगेट से पलायन करने का कोई कारण नहीं मिला। फिलहाल, यह तकनीक बाजार में सबसे अधिक परिपक्व साबित हुई है।