लोड न करें - परीक्षण न करें: हमने वीटीबी दस्तावेज़ प्रबंधन प्रणाली के साथ समस्याओं की पहचान कैसे की

हाल ही में, वीटीबी ने वर्कफ़्लो सिस्टम के कुछ हार्डवेयर और सॉफ्टवेयर घटकों को बदल दिया है। पूर्ण पैमाने पर लोड परीक्षण के बिना काम करना जारी रखने के लिए परिवर्तन बहुत महत्वपूर्ण थे: दस्तावेज़ समर्थन प्रणाली (एलएमएस) के साथ कोई भी समस्या बहुत बड़े नुकसान से भरा है।



Intertrust विशेषज्ञों ने Huawei उपकरण पर वीटीबी एसडीओ का परीक्षण किया - एक सर्वर फ़ार्म, डेटा नेटवर्क और ठोस-राज्य ड्राइव के आधार पर भंडारण का एक जटिल। परीक्षणों के लिए, हमने एक ऐसा वातावरण बनाया जो वास्तविक परिदृश्यों को अधिकतम संभव भार के साथ पुन: पेश करता है। परिणाम और निष्कर्ष - कटौती के तहत।

हमें बैंक में वर्कफ़्लो सिस्टम की आवश्यकता क्यों है और इसका परीक्षण क्यों करना है

वीटीबी में एलएमएस एक जटिल सॉफ्टवेयर पैकेज है, जिस पर सभी प्रमुख प्रबंधन प्रक्रियाओं को बांधा जाता है। सिस्टम सामान्य प्रलेखन सेवाएं, इलेक्ट्रॉनिक इंटरैक्शन, एनालिटिक्स प्रदान करता है। दस्तावेजों का एक सुव्यवस्थित संचलन प्रबंधन निर्णयों को तेज करता है, उनके गोद लेने की प्रक्रिया को पारदर्शी और नियंत्रित बनाता है, प्रबंधन की गुणवत्ता में सुधार करता है और बैंक की प्रतिस्पर्धात्मकता को बढ़ाता है।

एलएमएस को स्थापित नियमों के अनुसार निर्णयों का स्पष्ट कार्यान्वयन सुनिश्चित करना चाहिए। इसके लिए उच्च प्रदर्शन, गलती सहनशीलता, लचीली स्केलिंग की आवश्यकता होती है। सिस्टम में एक्सेस कंट्रोल, एक साथ संसाधित दस्तावेजों की मात्रा और उपयोगकर्ताओं की संख्या के लिए उच्च आवश्यकताएं हैं। अब वीटीबी एसडीओ में उनमें से 65 हजार हैं, और यह संख्या लगातार बढ़ रही है।

प्रणाली लगातार विकसित हो रही है: वास्तुकला बदल रही है, पुरानी प्रौद्योगिकियों को आधुनिक लोगों द्वारा प्रतिस्थापित किया जा रहा है। और हाल ही में, कुछ सिस्टम घटकों को आयात-स्वतंत्र लोगों द्वारा प्रतिस्थापित किया गया था, मालिकाना सॉफ्टवेयर के बिना। क्या CompanyMedia सॉफ़्टवेयर और Huawei हार्डवेयर कॉम्प्लेक्स पर आधारित नए SDO आर्किटेक्चर बढ़े हुए भार को संभालेंगे? इस सवाल का स्पष्ट रूप से जवाब दें, वास्तविकता में एक समान स्थिति की प्रतीक्षा किए बिना, यह केवल तनाव परीक्षण की मदद से संभव था।

तनाव प्रतिरोध के लिए नए सॉफ्टवेयर उत्पाद के परीक्षण के अलावा, हमारे पास निम्नलिखित कार्य थे:

• बैंक लोड प्रोफ़ाइल के लिए सर्वर के क्षैतिज और ऊर्ध्वाधर आकार के सटीक मापदंडों का निर्धारण;
  
• उच्च भार की शर्तों के तहत गलती सहिष्णुता के लिए घटकों की जाँच करें;
  
• क्षैतिज स्केलिंग के साथ इंटरक्लस्टर इंटरैक्शन के एन्ट्रापी गुणांक की पहचान करने के लिए;
  
• प्लेटफ़ॉर्म बैलेंसर का उपयोग करते समय रीड अनुरोधों को स्केल करने की कोशिश करें;
  
• सिस्टम के सभी नोड्स और घटकों के क्षैतिज स्केलिंग कारक का निर्धारण;
  
• विभिन्न कार्यात्मक उद्देश्यों (ऊर्ध्वाधर स्केलिंग) के लिए सर्वर के अधिकतम संभव हार्डवेयर मापदंडों का निर्धारण;
  
• सूचना प्रणाली के विकास की योजना के लिए परिणामों को अनुमानित करने के लिए तकनीकी बुनियादी ढांचे पर आवेदन के लोड प्रोफाइल का अध्ययन करना;
  
• संसाधन अनुकूलन पर एकल डेटा संग्रहण प्रणाली पर अनुप्रयोग डेटा समेकन के प्रभाव की जांच करें, विश्वसनीयता और प्रदर्शन में सुधार।
  

कार्यप्रणाली और उपकरण

इलेक्ट्रॉनिक दस्तावेज़ प्रबंधन प्रणालियों का लोड परीक्षण अक्सर सरलीकृत परिदृश्यों के अनुसार किया जाता है। वे दस्तावेज़ कार्ड के त्वरित खोज और उद्घाटन का अनुकरण करते हैं जो अन्य फ़ाइलों से संबद्ध नहीं हैं और उनका जीवन चक्र इतिहास नहीं है। इस मामले में, एक नियम के रूप में, कोई भी वास्तविक स्थितियों की विशेषता एक्सेस अधिकारों और अन्य संसाधन-खपत कारकों को ध्यान में नहीं रखता है।

अक्सर, इन तलाकशुदा परीक्षणों को समाधान प्रदाताओं द्वारा किया जाता है। यह समझ में आता है: विक्रेता के लिए संभावित ग्राहक के उच्च प्रदर्शन और सिस्टम की गति को प्रदर्शित करना महत्वपूर्ण है। यह आश्चर्य की बात नहीं है कि सरलीकृत परीक्षण मॉडल रिकॉर्ड सिस्टम प्रतिक्रिया समय दिखाते हैं, भले ही उपयोगकर्ताओं और दस्तावेजों की संख्या में काफी वृद्धि हो।

हमें वास्तविक परिचालन स्थितियों को पुन: पेश करने की आवश्यकता थी। इसलिए, शुरुआत में, हमने एक महीने के लिए आंकड़े एकत्र किए: हमने उपयोगकर्ता गतिविधि दर्ज की, सभी सेवाओं की पृष्ठभूमि का काम देखा। एलएमएस में एकीकृत निगरानी प्रणाली इस मामले में एक बड़ी मदद बन गई। बैंक के कर्मचारियों ने दस्तावेज़ प्रवाह पर परिणामी डेटा को सही करने में मदद की, जबकि हमने प्रवाह में अनुमानित वृद्धि के लिए समायोजन किया।

परिणाम एक परीक्षण पद्धति थी, जिसकी मदद से सिस्टम में होने वाली प्रक्रियाओं का अनुकरण करना संभव था, सभी वास्तविक भारों को ध्यान में रखते हुए। परीक्षण बेंच पर, हमने पुन: पेश किया - व्यक्तिगत रूप से और विभिन्न संयोजनों में - सबसे आम व्यापार संचालन, साथ ही सबसे अधिक समय लेने वाले अनुरोध। प्रदर्शन परीक्षण के दौरान, सभी घटकों को तनाव के अधीन किया गया था। सिस्टम ऑब्जेक्ट्स के लिए उपयोगकर्ता एक्सेस अधिकारों की गणना करने के लिए ऑपरेशन किए गए थे, एक जटिल शाखित पदानुक्रम के साथ दस्तावेज़ खोलें और बड़ी संख्या में लिंक, सिस्टम को खोजें, और इसी तरह।

लोड परीक्षण प्रोफ़ाइल:

• पंजीकृत उपयोगकर्ता: 150 हजार तक की वृद्धि के साथ 65 हजार;
  
• उपयोगकर्ता लॉगिन की आवृत्ति (प्रमाणीकरण): प्रति घंटे 50 हजार;
  
• सिस्टम में एक साथ काम करने वाले उपयोगकर्ता: 10 हजार;
  
• पंजीकृत दस्तावेज: प्रति वर्ष 10 मिलियन;
  
• फ़ाइल अनुलग्नकों की मात्रा: प्रति वर्ष 1 टीबी;
  
• दस्तावेज़ अनुमोदन प्रक्रिया: प्रति वर्ष 1.5 मिलियन;
  
• समझौते के लिए पार्टियों के वीजा: प्रति वर्ष 7.5 मिलियन;
  
• संकल्प और निर्देश: प्रति वर्ष 15 मिलियन;
  
• प्रस्तावों और निर्देशों पर रिपोर्ट: प्रति वर्ष 15 मिलियन;
  
• उपयोगकर्ता कार्य: प्रति वर्ष 18 मिलियन।
  

ये एप्लीकेशन सिंगल स्टोरेज सिस्टम हुआवेई ओशनस्टॉर डोरैडो 6000 V3 के साथ 3.6 टीबी के 117 एसएसडी ड्राइव के साथ समेकित किया गया था, कुल उपयोग योग्य मात्रा 300 से अधिक टीबी है। कंप्यूटिंग शक्ति को Huawei E9000 के मॉड्यूलर सर्वर सिस्टम पर रखा गया था, और डेटा को Huawei CE श्रृंखला के डेटा केंद्र स्तर के स्विच के आधार पर नेटवर्क पर प्रसारित किया गया था। परीक्षण के दौरान, हमने सिस्टम के सभी संकेतकों का निरीक्षण किया। ऐतिहासिक डेटा सहित सभी परिणाम, बाद के विश्लेषण के लिए रेखांकन और तालिकाओं के रूप में दर्ज किए गए थे।

लोड टेस्ट हार्डवेयर इन्फ्रास्ट्रक्चर सर्वर

Huawei OceanStor Dorado 6000 V3 स्टोरेज सिस्टम के उच्च प्रदर्शन के कारण, किसी भी उपयोगकर्ता के अनुरोधों को पूरा करने में देरी होने पर शायद ही कभी 1 एमएस से अधिक हो। एप्लिकेशन की डिस्क सबसिस्टम की इस गति ने हमें और शोध के लिए प्रेरित किया। हमने तय किया, ऐतिहासिक डेटा का विश्लेषण करके, तकनीकी बुनियादी ढांचे पर विभिन्न प्रकार के वर्कलोड के प्रभाव को निर्धारित करने के लिए। प्राप्त परिणाम हमें हार्डवेयर प्लेटफ़ॉर्म के लिए आवश्यकताओं के अनुसार लचीले ढंग से और सटीक रूप से सिस्टम के विकास की योजना बनाने की अनुमति देते हैं।

स्केलिंग के संदर्भ में, हमने जाँच की:

• अनुप्रयोग सर्वर (सीएमजे) के ऊर्ध्वाधर स्केलिंग की सीमा, महत्वपूर्ण संसाधन: कोर की संख्या और आवृत्ति, रैम की मात्रा;
  
• कार्यात्मक रूप से समान सेवाओं की नकल करके और उनके बीच संतुलन बनाकर एप्लिकेशन सर्वर (CMJ) के क्षैतिज स्केलिंग के लिए समर्थन;
  
• क्लाइंट सर्वर (वेब-जीयूआई) के ऊर्ध्वाधर और क्षैतिज स्केलिंग की सीमा;
  
• फ़ाइल भंडारण (एफएस) , ऊर्ध्वाधरता संसाधनों की ऊर्ध्वाधर स्केलिंग की सीमा: नेटवर्क बैंडविड्थ, डिस्क गति;
  
• वितरित फ़ाइल सिस्टम के कारण फ़ाइल संग्रहण (FS) के क्षैतिज स्केलिंग के लिए समर्थन - CEPH, GLUSTERFS;
  
• डेटाबेस की ऊर्ध्वाधर स्केलिंग की सीमा (पोस्टग्रेक्यूएल) , महत्वपूर्णता की डिग्री के अनुसार संसाधन: रैम क्षमता, डिस्क गति, कोर की संख्या और आवृत्ति;
  
• क्षैतिज डेटाबेस स्केलिंग (PostgreSQL) के लिए समर्थन: गुलाम सर्वर पर रीडिंग लोड को स्केल करना, कार्यात्मक मॉड्यूल में विभाजित करने के सिद्धांत पर लेखन लोड को स्केल करना;
  
• संदेश दलाल (अपाचे आर्टेमिस) के ऊर्ध्वाधर और क्षैतिज स्केलिंग की सीमा;
  
• खोज सर्वर (अपाचे सोलर) के ऊर्ध्वाधर और क्षैतिज स्केलिंग की सीमाएं।
  

समस्याओं और समाधान

मुख्य कार्यों में से एक एलएमएस के प्रदर्शन के साथ संभावित समस्याओं की पहचान करना था। काम के दौरान, निम्नलिखित अड़चनों की पहचान की गई और उन्हें संबोधित करने के तरीके पाए गए।

ताले तुल्यकालिक लॉगिंग। मानक WildFly कॉन्फ़िगरेशन में लॉगिंग ऑपरेशन सिंक्रनाइज़ किए जाते हैं और प्रदर्शन को बहुत प्रभावित करते हैं। यह एक अतुल्यकालिक लकड़हारा पर स्विच करने का निर्णय लिया गया था, और एक ही समय में एक डिस्क पर नहीं, बल्कि ईएलके लॉग एकत्रीकरण प्रणाली के लिए लिखें।

डेटा वेयरहाउस के साथ काम करते समय अनावश्यक सत्रों का प्रारंभ। प्रत्येक थ्रेड जो दो बार रिपॉजिटरी से डेटा प्राप्त करता है, ने एसएसओ मोड में प्रमाणीकरण के लिए एक सत्र शुरू किया। यह ऑपरेशन संसाधन-गहन है और उपयोगकर्ता के अनुरोध के निष्पादन समय को बढ़ाता है, और सर्वर के समग्र प्रवाह को भी कम करता है।

अनुप्रयोग कैश ऑब्जेक्ट्स के साथ काम करते समय ताले। अनुप्रयोग ने भारी रेन्ट्रेंटलॉक लॉक (जावा 7) का उपयोग किया, जो क्वेरी निष्पादन की गति पर प्रतिकूल प्रभाव डालता है। लॉक के प्रकार को स्टैम्पडॉक में बदल दिया गया, जिसने कैश ऑब्जेक्ट्स के साथ काम करने में लगने वाले समय को काफी कम कर दिया।

उसके बाद, हमने बैंक प्रोफाइल पर रिलेशनल स्टोरेज के साथ एलएमएस सिस्टम में विशिष्ट संचालन के औसत समय को निर्धारित करने के लिए फिर से लोड परीक्षण शुरू किया। हमें निम्नलिखित परिणाम मिले:

• सिस्टम में उपयोगकर्ता प्राधिकरण - 400 एमएस;
  
• औसत पर प्रगति को देखना - 2.5 एस;
  
• एक पंजीकरण और नियंत्रण कार्ड का निर्माण - 1.4 एस;
  
• पंजीकरण और नियंत्रण कार्ड पंजीकरण - 600 एमएस;
  
• एक संकल्प का निर्माण - 1 पी।
  

निष्कर्ष

समस्याओं की पहचान करने के अलावा, तनाव परीक्षण ने हमारी कुछ मान्यताओं की पुष्टि की है।

• सिस्टम ओएस के लिनक्स परिवार पर बहुत बेहतर कार्य करता है।
  
• "गर्म" मोड में प्रत्येक घटक के स्तर पर गलती सहिष्णुता को सुनिश्चित करने के घोषित सिद्धांत।
  
• एक प्रमुख घटक - व्यावसायिक तर्क सेवा (उपयोगकर्ता के अनुरोधों को स्वीकार करना) - में "दर्पण" क्षैतिज स्केलिंग है और उदाहरणों की संख्या में वृद्धि के साथ थ्रूपुट के लगभग रैखिक स्केलिंग है।
  
• 1200 एक साथ उपयोगकर्ताओं के लिए व्यावसायिक तर्क सेवा का इष्टतम आकार - सेवा के लिए 8 वीसीपीयू और डीबीएमएस के लिए 1.5 वीसीपीयू।
  
• एकल संग्रहण प्रणाली पर अनुप्रयोग डेटा के समेकन से उत्पादकता और विश्वसनीयता बढ़ जाती है, स्केलेबिलिटी बढ़ जाती है।
  

हमें टिप्पणियों में आपके सवालों के जवाब देने में खुशी होगी - शायद आप परीक्षण के कुछ पहलुओं के बारे में अधिक जानने में रुचि रखते हैं।