एलएमएस के लिए ओपन सोर्स सॉफ्टवेयर: वीटीबी में महत्वपूर्ण सॉफ्टवेर सिस्टम को फ्री सॉफ्ट कैसे मदद करता है

हमारे बैंक में प्रलेखन समर्थन प्रणाली लगातार विकसित हो रही है और बढ़ रही है, जबकि गति और दोष सहिष्णुता की आवश्यकताएं केवल बढ़ती जा रही हैं। कुछ बिंदु पर, प्रभावी केंद्रीकृत निगरानी के बिना एलएमएस की सेवा करना बहुत जोखिम भरा हो गया है। वीटीबी पर व्यावसायिक प्रक्रियाओं को सुरक्षित करने और प्रशासकों के काम को सरल बनाने के लिए, हमने खुली प्रौद्योगिकियों के ढेर के आधार पर एक समाधान लागू किया है। इसके साथ, हम संभावित समस्याओं को रोकते हुए, लगातार घटनाओं का जवाब दे सकते हैं। कटौती के तहत - बड़े पैमाने पर व्यापार प्रणालियों की निगरानी के लिए मुफ्त सॉफ्टवेयर का उपयोग करने में हमारे अनुभव के बारे में एक कहानी।

वर्कफ़्लो सिस्टम की निगरानी क्यों करें

2005 के बाद से, VTM बैंक में प्रलेखन प्रणाली CompanyMedia सिस्टम द्वारा "प्रबंधित" की गई है। एसडीओ 60 हजार से अधिक उपयोगकर्ताओं को नियुक्त करता है जो मासिक एक मिलियन से अधिक नए दस्तावेज़ बनाते हैं। हमारे सर्वर को दिन में 24 घंटे काम करना चाहिए: लगभग किसी भी समय, सिस्टम में 2500-3000 लोग होते हैं, जो पूरे देश में, पेट्रोपावलोव्स्क-कामचैत्स्की से कैलिनिनग्राद तक जुड़ते हैं। एलएमएस के संचालन के हर दूसरे में 10-15 बदलाव होते हैं।

सिस्टम को सौंपे गए कार्यों को स्पष्ट रूप से पूरा करने के लिए, हमने प्रॉक्सी सर्वर, क्वेरी बैलेंसिंग, सूचना सुरक्षा, पूर्ण-पाठ खोज, एकीकरण मार्गों और बैकअप का उपयोग करके एक दोष-सहिष्णु बुनियादी ढांचे को तैनात किया है। इस परिमाण की एक परियोजना का समर्थन और प्रशासन करने के लिए खतरनाक संसाधनों की आवश्यकता होती है। घड़ी के आसपास के प्रशासक सर्वर के संचालन, रैम की लोडिंग, प्रोसेसर समय, इनपुट-आउटपुट सबसिस्टम इत्यादि के बारे में बुनियादी जानकारी की निगरानी करते हैं। लेकिन, इसके अलावा, अधिक सूक्ष्म विश्लेषण की आवश्यकता है:

• व्यावसायिक परिदृश्यों को निष्पादित करने में बिताए समय की गणना;
  
• सिस्टम के प्रदर्शन की गतिशीलता को ट्रैक करना और उस पर लोड करना;
  
• अनुमोदित गैर-कार्यात्मक आवश्यकताओं से सिस्टम घटकों में विचलन के लिए खोजें।
  

एलएमएस की शुरुआत के 11 साल बाद, विभिन्न प्रकार की त्रुटियों के लिए सक्रिय प्रतिक्रिया का मुद्दा विशेष रूप से तेजी से उभरा। बैंक प्रबंधन ने महसूस किया कि मॉनिटर के बिना काम करना और सिस्टम के जीवन के कंसोल को आग से खेलना है: इस स्तर की व्यापार प्रणाली में थोड़ी सी भी विफलता लाखों के नुकसान के साथ होती है।

2016 में, हमने एलएमएस के कामकाज में समस्याओं की तेजी से पहचान के लिए उपकरणों को पेश करना शुरू किया, जिसमें हमारे लिए वास्तविक समय के मापदंडों की निगरानी शामिल है। इससे पहले, अनुप्रयोग निगरानी प्रणाली को इंटरट्रस्ट कंपनी के बुनियादी ढांचे के ढांचे के भीतर तैनात और परीक्षण किया गया था।

यह सब कैसे शुरू हुआ

आज, ओपन सोर्स सॉफ्टवेयर पर आधारित वीटीबी एसडीओ के लिए एक केंद्रीकृत अनुप्रयोग निगरानी प्रणाली दस्तावेज़ प्रबंधन से जुड़ी अधिकांश त्रुटियों को रोकने में मदद करती है, जल्दी और सटीक रूप से समस्याओं को वर्गीकृत करती है, और किसी भी घटनाओं का तुरंत जवाब देती है। इसमें दो सबसिस्टम शामिल हैं:

• सिस्टम सेवाओं के आईटी बुनियादी ढांचे की निगरानी के लिए;
  
• एलएमएस के काम में त्रुटियों की घटना पर नजर रखने के लिए।
  

यह सब केवल मुफ्त निगरानी ऐप के साथ शुरू हुआ। कई विकल्पों के माध्यम से जाने के बाद, हम ज़ैबिक्स - फ्री सॉफ्टवेयर पर बस गए, जो मूल रूप से बैंकिंग सेवाओं और उपकरणों के लिए लिखा गया था। यह PHP वेब-आधारित प्रणाली, जो MySQL, PostgreSQL, SQLite, या Oracle डेटाबेस में डेटा स्टोर कर सकती है, पूरी तरह से हमारी जरूरतों को पूरा करती है।

ज़ैबिक्स प्रत्येक सर्वर पर अपने एजेंटों को चलाता है और एक ही डेटाबेस में वास्तविक समय में ब्याज की मीट्रिक पर जानकारी एकत्र करता है। एप्लिकेशन का उपयोग करना, नेटवर्क और अन्य घटकों के उपयोग पर प्रोसेसर और रैम पर लोड पर डेटा एकत्र करना और मानक सेवाओं (एसएमटीपी या एचटीटीपी) की उपलब्धता और प्रतिक्रिया की जांच करना, बाहरी कार्यक्रमों को निष्पादित करना और एसएनएमपी के माध्यम से निगरानी का समर्थन करना सुविधाजनक है।

ज़ैबिक्स को तैनात करके, हमने मानक हार्डवेयर मेट्रिक्स की स्थापना की, और सबसे पहले यह पर्याप्त था। लेकिन वीटीबी एसडीओ लगातार विकसित हो रहा है और बढ़ रहा है: 2016 में, सर्वरों की संख्या में उल्लेखनीय वृद्धि हुई, माइग्रेशन प्रक्रियाएं दिखाई दीं, बैंक ऑफ मॉस्को, वीटीबी कैपिटल, वीटीबी 24 सिस्टम से जुड़े। कम मानक मैट्रिक्स हैं, और हमने ज़ैबिक्स को सर्वर से जुड़े प्रत्येक वॉल्यूम पर कतार की उपस्थिति के बारे में जानकारी ट्रैक करने के लिए सिखाया (ज़ैबिक्स बॉक्स से यह केवल सामान्य डिस्क कतार को दर्शाता है), साथ ही समय के बारे में एक विशेष प्रक्रिया को संसाधित करने में लगता है।



इसके अलावा, हम सिस्टम को कई ट्रिगर्स से लैस करते हैं - वे शर्तें जिनके तहत एक सूचना व्यवस्थापक को भेजी जाती है (टेलीग्राम, फोन नंबर या ईमेल पर एसएमएस)। किसी भी पैरामीटर के लिए ट्रिगर अनुकूलन योग्य हैं। उदाहरण के लिए, आप एक निश्चित प्रतिशत मुक्त डिस्क स्थान निर्दिष्ट कर सकते हैं, और सिस्टम निर्दिष्ट थ्रेसहोल्ड तक पहुंचने पर व्यवस्थापक को सूचित करेगा, या सूचित करेगा कि कोई पृष्ठभूमि प्रक्रिया सामान्य से अधिक समय लेती है या नहीं।

जावा कनेक्टिविटी और डेटा विज़ुअलाइज़ेशन

हमने विश्लेषण किए गए डेटा की सीमा का महत्वपूर्ण रूप से विस्तार किया, लेकिन जल्द ही प्रभावी निगरानी के लिए यह पर्याप्त नहीं था। इस तथ्य का लाभ उठाते हुए कि कंपनीमीडिया डीएलएस एक जावा अनुप्रयोग है, हम जेएमएक्स इंटरफेस के माध्यम से जावा वर्चुअल मशीन से जुड़े और सीधे जावा मेट्रिक्स लेने में सक्षम थे। इसके अलावा, न केवल मानक जावा महत्वपूर्ण कार्य, जैसे जीसी या हीप की खपत की तीव्रता, बल्कि सीधे अनुप्रयोग के निष्पादन योग्य कोड से संबंधित विशिष्ट नमूने।



2017 में, निगरानी प्रणाली की शुरुआत के लगभग एक साल बाद, यह स्पष्ट हो गया कि ज़ॉबिक्स में एकत्र किए गए कोलोसल डेटा ऐरे के साथ सामान्य कार्य के लिए पर्याप्त विज़ुअलाइज़ेशन - जटिल स्क्रीन नहीं है। इस समस्या का सबसे अच्छा समाधान फिर से मुफ्त सॉफ्टवेयर था - मेट्रिक्स के लिए एक सुविधाजनक डैशबोर्ड, ग्राफाना, जो आपको एक स्क्रीन पर सभी डेटा एकत्र करने की अनुमति देता है।



Grafana का इंटरेक्टिव इंटरफ़ेस एक OLAP सिस्टम की याद दिलाता है। सबसिस्टम डेटा को प्रदर्शित करता है जो ज़ैबिक्स एक स्क्रीन पर प्राप्त करता है, विश्लेषण के लिए सुविधाजनक ग्राफ़ और चार्ट के रूप में जानकारी प्रस्तुत करता है। व्यवस्थापक आसानी से स्लाइस को अनुकूलित कर सकता है जो उसे चाहिए।

एलएमएस प्रणाली में निगरानी और निवारक समस्या निवारण

निगरानी के दौरान प्राप्त जानकारी को छानना और विश्लेषण करना ईएलके ओपन सोर्स सॉफ्टवेयर प्लेटफॉर्म की मदद करता है। इस ओपनसोर्स उत्पाद में डेटा एकत्र करने, भंडारण करने और विश्लेषण करने के लिए तीन शक्तिशाली उपकरण शामिल हैं: एलेस्टिक्स खोज, लॉगस्टैश और किबाना। इस सबसिस्टम के कार्यान्वयन से, विशेष रूप से, वास्तविक समय में यह देखने की अनुमति मिलती है कि सिस्टम में कितनी त्रुटियां हुई हैं, किस सर्वर पर और क्या ये त्रुटियां दोहराई जाती हैं।



उपयोगकर्ता द्वारा सामना करने से पहले ही व्यवस्थापक प्रारंभिक अवस्था में समस्या का पता लगा सकता है। ऐसी सक्रिय निगरानी समय-समय पर त्रुटियों को दूर करके सिस्टम की खराबी को रोकने में मदद करती है। इसके अलावा, हम समझ सकते हैं कि अपडेट के बाद सिस्टम का व्यवहार कैसे बदल गया है, साथ ही साथ नई समस्याओं का पता लगाने पर यदि वे उत्पन्न होती हैं।

व्यापार संचालन की निगरानी

संसाधन खपत की निगरानी के बुनियादी कार्यों के अलावा, सिस्टम में व्यावसायिक कार्यों का विश्लेषण और नियंत्रण करने की क्षमता है।



व्यवसाय के संचालन के कुल समय की निगरानी आपको नए कारकों की पहचान करने और यह समझने की अनुमति देती है कि सिस्टम पर उनका क्या प्रभाव है।



प्रत्येक व्यावसायिक सेवा के संदर्भ में अनुरोधों के निष्पादन के समय की निगरानी करना उन कार्यों का पता लगाना संभव बनाता है जो आदर्श से विचलन होते हैं।



ऊपर दिया गया स्क्रीनशॉट मानक से इसके विचलन के संदर्भ में एक पृष्ठभूमि कार्य की निगरानी का एक उदाहरण दिखाता है।



किसी विशेष सर्वर पर उनकी गतिविधि के संदर्भ में मॉनिटर किए गए कार्यों की सूची आपको त्रुटियों की पहचान करने की अनुमति देती है - कार्य निष्पादन के दोहराव सहित - सभी सर्वरों पर।



यह पृष्ठभूमि प्रक्रियाओं के निष्पादन समय में रुझानों पर भी नज़र रखता है।

प्रणाली बढ़ती है, विकसित होती है और समस्याओं का सामना करने में मदद करती है।

वर्णित प्रणाली के कार्यान्वयन के साथ, डीएलएस सर्वर के संचालन की निगरानी को बहुत सरल किया गया है। फिर भी, समय-समय पर विभिन्न संघर्ष उत्पन्न होते हैं जो वर्कफ़्लो की गति को प्रभावित करते हैं और उपयोगकर्ता की शिकायतों का कारण बनते हैं। इसलिए हमने महसूस किया कि एप्लिकेशन के व्यवहार को नियंत्रित करना आवश्यक है, न कि केवल सर्वरों को।

इस समस्या को हल करने के लिए, एपीआई के माध्यम से एक बैलेंसर मॉनिटरिंग सिस्टम से जुड़ा था, जो एप्लिकेशन सर्वर के क्लस्टर के साथ काम करता है। इसके लिए धन्यवाद, व्यवस्थापक यह देख सकता है कि प्रत्येक उपयोगकर्ता के अनुरोध के लिए सर्वर कब तक जिम्मेदार है।

सर्वर प्रतिक्रिया समय पर डेटा विश्लेषण के लिए उपलब्ध हो गया, जिससे सर्वर पर होने वाली प्रक्रियाओं के साथ एलएमएस की मंदी को जोड़ना संभव हो गया। एक दिलचस्प स्थिति सामने आई थी, विशेष रूप से: सर्वर धीमा है, हालांकि इस समय यह लोड नहीं है। विसंगति का विश्लेषण करके, हमने कचरा कलेक्टर जावा के संचालन में विचलन पाया। अंत में, यह पता चला कि यह इस सेवा का गलत संचालन था जिसके कारण यह स्थिति पैदा हुई। कचरा कलेक्टर जावा को नियंत्रण में लेते हुए, हमने समस्या को पूरी तरह से ठीक कर दिया।

बैंकिंग क्षेत्र में दस्तावेज़ प्रबंधन प्रणाली को विकसित करने और विकसित करने के लिए यह मुफ्त सॉफ्टवेयर मदद करता है। हमने वीटीबी एलएमएस की निगरानी प्रणाली के बारे में केवल मुख्य मुद्दों पर छुआ। यदि आप विवरण में रुचि रखते हैं - टिप्पणियों में पूछें, तो हम आपके साथ अपने अनुभव को साझा करने में प्रसन्न होंगे।