निगरानी + तनाव परीक्षण = पूर्वानुमान और कोई विफलता नहीं

वीटीबी आईटी विभाग को कई बार सिस्टम में आपातकालीन स्थितियों से निपटना पड़ा, जब उन पर भार कई गुना बढ़ गया। इसलिए, एक मॉडल को विकसित करना और परीक्षण करना आवश्यक हो गया जो महत्वपूर्ण प्रणालियों पर चोटी के भार की भविष्यवाणी करेगा। इसके लिए, बैंक के आईटी-विशेषज्ञों ने निगरानी स्थापित की, डेटा का विश्लेषण किया और पूर्वानुमानों को स्वचालित करने का तरीका सीखा। क्या उपकरण लोड की भविष्यवाणी करने में मदद करते हैं और क्या उनकी मदद से काम का अनुकूलन करना संभव था, हम एक छोटे से लेख में बताएंगे।



अत्यधिक भरी हुई सेवाओं के साथ समस्याएं लगभग सभी क्षेत्रों में उत्पन्न होती हैं, लेकिन वे वित्तीय क्षेत्र के लिए महत्वपूर्ण हैं। घंटे X पर, सभी लड़ाकू इकाइयों को तैयार होना चाहिए, और इसलिए अग्रिम में यह जानना आवश्यक था कि क्या हो सकता है और यहां तक ​​कि उस दिन का निर्धारण भी किया जा सकता है जब लोड कूद जाएगा, और कौन से सिस्टम इसका सामना करेंगे। असफलताओं से लड़ने और रोकने की आवश्यकता है, इसलिए एक भविष्य कहनेवाला विश्लेषण प्रणाली को लागू करने की आवश्यकता पर भी चर्चा नहीं की गई है। निगरानी डेटा के आधार पर सिस्टम को अपग्रेड करना आवश्यक था।

घुटने पर एनालिटिक्स

एक पेरोल परियोजना एक विफलता की स्थिति में सबसे संवेदनशील में से एक है। यह पूर्वानुमान के लिए सबसे अधिक समझ में आता है, इसलिए हमने इसके साथ शुरुआत करने का फैसला किया। चोटी के भार के क्षणों में उच्च कनेक्टिविटी के कारण, दूरस्थ बैंकिंग सेवाओं (आरबीएस) सहित अन्य उपप्रणाली समस्याओं का अनुभव कर सकती हैं। उदाहरण के लिए, पैसे की प्राप्ति के बारे में एसएमएस से खुश ग्राहक, सक्रिय रूप से उनका उपयोग करने लगे। भार परिमाण के एक आदेश से अधिक कूद सकता है।

पहला पूर्वानुमान मॉडल मैन्युअल रूप से बनाया गया था। हमने पिछले वर्ष के लिए अनलोडिंग लिया और गणना की कि किन दिनों में अधिकतम चोटियों की उम्मीद है: उदाहरण के लिए, 1, 15 वें और 25 वें दिन, साथ ही साथ महीने के आखिरी दिनों में। इस मॉडल को गंभीर काम की आवश्यकता थी और सटीक पूर्वानुमान नहीं दिया। फिर भी, उसने उन अड़चनों की पहचान की, जहाँ हार्डवेयर को जोड़ना आवश्यक था, और लंगर के ग्राहकों से सहमत होकर पैसे के हस्तांतरण की प्रक्रिया को अनुकूलित करना संभव बनाया: एक चक्कर में वेतन न देने के लिए, विभिन्न क्षेत्रों से लेनदेन समय पर फैल गए। अब हम उन्हें ऐसे भागों में संसाधित करते हैं जो बैंक के आईटी अवसंरचना को विफल किए बिना चबाने में सक्षम हैं।

पहला सकारात्मक परिणाम प्राप्त करने के बाद, हमने पूर्वानुमान स्वचालन पर स्विच किया। एक दर्जन से अधिक महत्वपूर्ण खंड हमारी बारी की प्रतीक्षा कर रहे थे।

एकीकृत दृष्टिकोण

वीटीबी में, उन्होंने माइक्रोफोकस निगरानी प्रणाली शुरू की। वहाँ से हमने पूर्वानुमान डेटा संग्रह, एक भंडारण प्रणाली और एक रिपोर्टिंग प्रणाली को लिया। वास्तव में, पहले से ही निगरानी थी, यह केवल मीट्रिक जोड़ने, एक भविष्यवाणी मॉड्यूल और नई रिपोर्ट बनाने के लिए बनी रही। यह निर्णय एक बाहरी ठेकेदार, टेक्नोसर्व द्वारा समर्थित है, इसलिए परियोजना पर मुख्य कार्य इसके विशेषज्ञों द्वारा किया गया था, लेकिन हमने अपने दम पर मॉडल का निर्माण किया। भविष्यवाणी प्रणाली पैगंबर के आधार पर बनाई गई थी - यह खुला स्रोत उत्पाद फेसबुक पर विकसित किया गया था। इसका उपयोग करना आसान है और हमारे व्यापक निगरानी और वर्टिका उपकरणों के साथ एकीकृत करना आसान है। मोटे तौर पर, सिस्टम लोड शेड्यूल का विश्लेषण करता है, और फूरियर श्रृंखला के आधार पर, इसे एक्सट्रापोल करता है। हमारे मॉडल से लिए गए दिनों के अनुसार कुछ गुणांक जोड़ना संभव है। मेट्रिक्स को मानवीय हस्तक्षेप के बिना लिया जाता है, सप्ताह में एक बार पूर्वानुमान स्वचालित रूप से पुनर्गणना हो जाता है, प्राप्तकर्ताओं को नई रिपोर्ट भेजी जाती है।

यह दृष्टिकोण मुख्य चक्रों को प्रकट करता है, उदाहरण के लिए, वार्षिक, मासिक, त्रैमासिक और साप्ताहिक। वेतन और अग्रिम का भुगतान, अवकाश अवधि, अवकाश और बिक्री - यह सब सिस्टम पर कॉल की संख्या को प्रभावित करता है। यह निकला, उदाहरण के लिए, कि कुछ चक्र एक दूसरे को ओवरलैप करते हैं, और केंद्रीय संघीय जिला सिस्टम को मुख्य भार (75%) देता है। कानूनी संस्थाएं और व्यक्ति अलग-अलग व्यवहार करते हैं। यदि "भौतिकविदों" का कार्यभार सप्ताह के दिनों में समान रूप से वितरित किया जाता है (यह बहुत छोटा लेनदेन है), तो कंपनियों के पास अपना 99.9% समय होता है, जबकि लेनदेन कम हो सकता है, या मिनटों या घंटों में भी संसाधित किया जा सकता है।



प्राप्त आंकड़ों के आधार पर, दीर्घकालिक रुझान निर्धारित किए जाते हैं। नई प्रणाली से पता चला है कि लोग बड़े पैमाने पर आरबी के लिए जा रहे हैं। यह सभी को पता है, लेकिन हमने इस तरह के पैमाने की उम्मीद नहीं की थी और पहली बार में उन पर विश्वास नहीं किया था: बैंक के कार्यालयों में कॉल की संख्या बहुत जल्दी घट जाती है, और दूरस्थ लेनदेन की संख्या ठीक उसी राशि से बढ़ती है। तदनुसार, सिस्टम पर भार भी बढ़ रहा है और बढ़ता रहेगा। अब हम फरवरी 2020 तक लोड का अनुमान लगाते हैं। सामान्य दिनों की भविष्यवाणी 3% की त्रुटि के साथ की जा सकती है, और पीक दिनों में 10% की त्रुटि के साथ। यह एक अच्छा परिणाम है।

नुकसान

हमेशा की तरह, कुछ कठिनाइयाँ थीं। फूरियर श्रृंखला का उपयोग करने वाला एक्सट्रपलेशन तंत्र शून्य के माध्यम से बुरी तरह से चला जाता है - हम जानते हैं कि सप्ताहांत पर कानूनी संस्थाएं कुछ लेनदेन उत्पन्न करती हैं, लेकिन भविष्यवाणी मॉड्यूल उन मूल्यों का उत्पादन करता है जो शून्य से दूर हैं। बल द्वारा उन्हें ठीक करना संभव था, लेकिन बैसाखी हमारी विधि नहीं है। इसके अलावा, स्रोत प्रणालियों से दर्द रहित डेटा संग्रह की समस्या को हल करना आवश्यक था। जानकारी के नियमित संग्रह के लिए गंभीर कंप्यूटिंग संसाधनों की आवश्यकता होती है, इसलिए हमने प्रतिकृति का उपयोग करके तेजी से कैश का निर्माण किया, हमें पहले से ही प्रतिकृतियों से व्यापार डेटा मिलता है। ऐसे मामलों में मास्टर सिस्टम पर अतिरिक्त भार की अनुपस्थिति एक अवरुद्ध आवश्यकता है।

नई चुनौतियां

चोटियों की भविष्यवाणी करने का माथा कार्य हल किया गया था: इस साल मई से ओवरलोडिंग से संबंधित कोई बैंक विफलताएं नहीं थीं, और नई पूर्वानुमान प्रणाली ने इसमें महत्वपूर्ण भूमिका निभाई। हां, यह पर्याप्त नहीं था, और अब बैंक यह समझना चाहता है कि चोटियां इसके लिए कितनी खतरनाक हैं। हमें लोड परीक्षण से मैट्रिक्स का उपयोग करके पूर्वानुमान की आवश्यकता है, और लगभग 30% महत्वपूर्ण प्रणालियों के लिए यह पहले से ही काम करता है, बाकी सभी प्राप्त करने की प्रक्रिया में हैं। अगले चरण में, हम व्यापार लेनदेन में नहीं बल्कि सिस्टम पर लोड की भविष्यवाणी करने जा रहे हैं, लेकिन आईटी बुनियादी ढांचे के संदर्भ में, अर्थात हम नीचे एक परत नीचे जाएंगे। इसके अलावा, हमें मैट्रिक्स के संग्रह को पूरी तरह से स्वचालित करने और उनके आधार पर पूर्वानुमान बनाने की आवश्यकता है, ताकि अनलोडिंग में संलग्न न हों। इसमें कुछ भी बकाया नहीं है - हम सिर्फ सर्वश्रेष्ठ विश्व प्रथाओं के अनुसार क्रॉस-मॉनिटर और तनाव परीक्षण करते हैं।