हमने एक्सडाटा के साथ कार्ड प्रोसेसिंग को कैसे बचाया

पिछले 10 वर्षों में, वीटीबी ने कंप्यूटिंग भार में भारी वृद्धि का अनुभव किया है। हर साल, यह डेढ़ गुना बढ़ गया, और क्रेडेंशियल्स की मात्रा - दो। समर्थन सेवाओं ने कड़ी मेहनत की, लेकिन इस गति को बनाए रखना आसान नहीं था: क्वेरी प्लान दूर जा रहे थे, डिस्क स्थान बाहर चल रहा था, एप्लिकेशन कोड अपडेट सभी संसाधनों को खा रहे थे। इस पोस्ट में, हम आपको दिखाते हैं कि किसी अन्य आईबीएम सिस्टम पी पर बहुत खर्च किए बिना समस्या को कैसे हल किया जाए।



2013 में, कार्ड प्रोसेसिंग, फिर भी VTB24 बैंक, उस समय के सबसे शक्तिशाली सर्वरों में से एक पर स्थित था - IBM System p। यह अलग-अलग रिपोर्टिंग के लिए प्रतिकृतियों द्वारा पूरक था। रिपोर्टिंग के लिए प्रतिकृतियां अतिरिक्त उपकरणों पर रहती थीं: दैनिक रिपोर्टिंग के लिए एक रात्रि अद्यतन डेटाबेस, सक्रिय रिपोर्टिंग के लिए सक्रिय ओरेकल एक्टिव डेटा गार्ड प्रतिकृति और सेंट्रल बैंक रिपोर्टिंग के लिए एक डेटाबेस, जिसे हमने मासिक अपडेट किया था।



हमने सिस्टम की कार्यक्षमता को सक्रिय रूप से अनुकूलित किया - अधिकांश एप्लिकेशन कोड आंतरिक सुधार द्वारा कब्जा कर लिया गया था। इसी समय, डेटा बहुत तेज़ी से बढ़ा। परिणामस्वरूप, चार आधारों के लिए क्वेरी योजना नियमित रूप से बिगड़ रही थी। सामने सिस्टम धीमा था। एक तकनीकी दृष्टिकोण से, एक और कठिनाई थी: कार्ड लेनदेन के ओएलटीपी लोड को अनुकूलित कार्यक्षमता और रिपोर्टिंग के DWH / DSS लोड के साथ मिलाया गया था।

इस स्थिति से बाहर का मानक तरीका संसाधनों को डंप करना और डेटा स्टोरेज के एक स्थिर सबसिस्टम पर स्विच करना है। हम एक और अधिक दिलचस्प विकल्प के साथ आए थे - हमने डेटाबेस ऑपरेशन के लिए अनुकूलित दो ओरेकल एक्सडाटा हार्डवेयर और सॉफ़्टवेयर परिसरों की रिपोर्टिंग के लिए लिया था।

प्रसंस्करण परिसर को "गर्म" और "गर्म" क्षेत्रों में विभाजित किया गया था। हॉट ज़ोन आईबीएम सिस्टम पी के साथ कहीं भी स्थानांतरित नहीं हुआ है, और केवल इसके डेटाबेस को इसमें संरक्षित किया गया है। "गर्म" क्षेत्र एक्सडाटा पर मुख्य डेटाबेस की एक प्रति थी। यहाँ सभी रिपोर्टिंग और कस्टम कार्यक्षमता थी। ओरेकल गोल्डनगेट का उपयोग करके पुनर्प्राप्त डेटा।



हमने एक्सडाटा पर प्रतिकृति परीक्षण चलाए: औसतन, रिपोर्टिंग ओरेकल एक्डेटा स्टोरेज सॉफ्टवेयर के आर्किटेक्चर और फीचर्स - स्मार्टकेन्स, स्टोरेज इंडेक्स, ब्लॉम फिल्टर्स, आदि की बदौलत पांच गुना तेजी से उत्पन्न होने लगी। सेंट्रल बैंक के लिए रिपोर्ट तैयार करने में लगने वाला समय दस के एक कारक से कम हो गया था, और अब कुछ रिपोर्ट 1 घंटे से भी कम समय में तैयार हो जाती हैं। एक्सडाटा में पोर्टिंग के दौरान प्रश्नों को ऑप्टिमाइज़ करने के लिए मुख्य बात यह है कि पुराने प्लेटफॉर्म पर काम करने में मदद करने वाले संकेतों को दूर करना था।



हमने एक व्यवहार्यता अध्ययन किया, जिसमें मौजूदा प्रणालियों के सामान्य विस्तार और दो एक्सडाटा परिसरों की भागीदारी के साथ विभिन्न मापदंडों के विकल्पों की तुलना की गई।

• प्रदर्शन। एक्सडाटा में 40 हजार आईओपीएस बनाम 400 हजार आईओपीएस। Oracle समाधान बड़ी मात्रा में डेटा के लिए तैयार है, पूर्ण तालिका स्कैन बहुत तेज़ है।
  
• अनुकूलन विकल्प। मानक समाधान में, हम उत्पादक डेटाबेस को बदलने के बिना वस्तुओं की संरचना को बदल नहीं सकते हैं, यह विक्रेता द्वारा निषिद्ध है। एक्सडाटा में, हम अनावश्यक अनुक्रमों को हटा सकते हैं, आवश्यक जोड़ सकते हैं, और सिस्टम की प्रतिक्रिया में सुधार कर सकते हैं।
  
• स्केलिंग। एक्सडाटा अपेक्षाकृत कम लागत पर उत्पादकता में एक रैखिक वृद्धि प्रदान करता है।
  
• रिपोर्टिंग का गठन। एक्सडाटा कॉम्प्लेक्स के साथ रिपोर्टिंग की गति 5 गुना बढ़ जाती है, और मौजूदा सिस्टम के स्केलिंग के साथ - 1.5 से।
  
• सेवा। ओरेकल इन्फ्रास्ट्रक्चर ने एकीकृत तकनीकी सहायता, सर्वर, डिस्क सबसिस्टम और नेटवर्क इन्फ्रास्ट्रक्चर के लिए एक एकल अद्यतन प्रणाली को एकीकृत किया है। सामान्य स्केलिंग के साथ, आपको विभिन्न विक्रेताओं के साथ काम करने की आवश्यकता है - अधिक डाउनटाइम और किसी भी अन्य असुविधा है।
  
• लागत। यहां एक्सडाटा जीतता है।
  

सबसे पहले, गोल्डनगेट प्रतिकृति एक कमजोर बिंदु बन गई: स्रोत पर लंबे लेनदेन के मामले में, यह पीछे रह गई। हमने कुछ एप्लिकेशन प्रक्रियाओं को अपडेट और परिष्कृत करके इसे हल किया। उसके बाद, एक्सडाटा के साथ काम करने से हमें केवल फायदे का पता चला।

हमने कस्टम इंडेक्स और विभाजन शुरू किए, जिससे हमें कस्टम फ़ंक्शन के प्रदर्शन को बढ़ाने की अनुमति मिली। आईबीएम इस अनुकूलन की अनुमति नहीं देता है।

"गर्म" क्षेत्र के लिए विश्लेषणात्मक रिपोर्टिंग का स्थानांतरण "गर्म" क्षेत्र के ऐतिहासिक डेटा के भंडारण की गहराई को कम करने की अनुमति देता है। इससे महंगे भंडारण की लागत कम हो गई है। अनुक्रमण में प्रविष्टि को गति देने का प्रबंधन। हाउसकीपिंग मॉड्यूल के माध्यम से डेटा हटाने को गोल्डनगेट स्तर पर फ़िल्टर किया गया था, जिसके परिणामस्वरूप प्रतिकृति में ताज़ा डेटा और पूरी कहानी थी;
एक्सडाटा हाइब्रिड कॉलम कम्प्रेशन (HCC) का उपयोग करता है, और यह डिस्क स्थान को महत्वपूर्ण रूप से बचाता है। एक वर्ष से अधिक पुराना डेटा संग्रह कम विधि द्वारा संपीड़ित होता है, उन्नत संपीड़न विधि द्वारा एक महीने से अधिक पुराना, नया डेटा गति बढ़ाने के लिए संकुचित नहीं होता है।

अपग्रेड के लिए, एक्साडेटा में पूरे स्टोरेज सेल को अधिक कैपेसिटिव डिस्क और पावरफुल प्रोसेसर के साथ बदलना सबसे कारगर है। लेकिन आप एक ही प्रणाली के भीतर विभिन्न संस्करणों के भंडारण कोशिकाओं का उपयोग कर सकते हैं - ओरेकल यह अनुमति देता है।
ओरेकल एक्सडाटा और डेटाबेस प्रौद्योगिकियों पर लागू कार्ड प्रोसेसिंग रिपोर्टिंग, अब तक ठीक काम कर रही है, और एक ही सिद्धांत पर नए बैंक सिस्टम बनाए जा रहे हैं।