आईटी की निगरानी में मशीन सीखना

परिचय

नेटक्रैकर एक अंतरराष्ट्रीय कंपनी है जो क्लाइंट उपकरणों के लिए होस्टिंग और समर्थन सेवाओं के साथ-साथ दूरसंचार ऑपरेटरों के लिए बनाई गई आईटी प्रणाली की मेजबानी करने सहित जटिल आईटी समाधान विकसित करती है।

ये मुख्य रूप से दूरसंचार ऑपरेटरों के परिचालन और व्यावसायिक गतिविधियों के संगठन से संबंधित निर्णय हैं। अधिक विवरण यहां पाया जा सकता है ।

विकसित किए जा रहे समाधान की निरंतर उपलब्धता बहुत महत्वपूर्ण है। यदि दूरसंचार ऑपरेटर कम से कम एक घंटे के लिए काम करना बंद कर देता है, तो इससे ऑपरेटर और सॉफ्टवेयर प्रदाता दोनों के लिए बड़े वित्तीय और प्रतिष्ठित नुकसान होंगे। इसलिए, समाधान के लिए मुख्य आवश्यकताओं में से एक उपलब्धता पैरामीटर है, जिसका मूल्य समाधान के प्रकार के आधार पर 99.995% से 99.95% तक भिन्न होता है।

समाधान स्वयं केंद्रीय अखंड आईटी प्रणालियों का एक जटिल समूह है, जिसमें एक सार्वजनिक क्लाउड में स्थित जटिल दूरसंचार उपकरण और सेवा सॉफ़्टवेयर शामिल हैं, साथ ही एक केंद्रीय कोर के साथ एकीकृत कई माइक्रोसर्विसेज भी शामिल हैं।

इसलिए, सपोर्ट टीम के लिए एकल समाधान में एकीकृत सभी हार्डवेयर और सॉफ्टवेयर सिस्टम की निगरानी करना बहुत महत्वपूर्ण है। सबसे अधिक बार, कंपनी पारंपरिक निगरानी का उपयोग करती है। यह प्रक्रिया अच्छी तरह से स्थापित है: हम खरोंच से एक समान निगरानी प्रणाली का निर्माण कर सकते हैं और हम जानते हैं कि कैसे घटना प्रतिक्रिया प्रक्रियाओं को ठीक से व्यवस्थित करना है। हालांकि, इस दृष्टिकोण में कई कठिनाइयां हैं जो हम परियोजना से परियोजना तक का सामना करते हैं।

1. क्या निगरानी करनी है
   
   वर्तमान में कौन सी मीट्रिक महत्वपूर्ण है, और भविष्य में कौन सी महत्वपूर्ण होगी? यहां कोई निश्चित उत्तर नहीं है, इसलिए हम हर चीज पर नजर रखने की कोशिश करते हैं । कठिनाई संख्या एक - मैट्रिक्स की संख्या। प्रदर्शन की समस्याएं हैं, परिचालन डैशबोर्ड तेजी से एक अंतरिक्ष यान नियंत्रण कक्ष जैसा दिख रहा है।
   
   
   
   एक वास्तविक डैशबोर्ड का स्क्रीनशॉट। समर्थन टीम के इंजीनियर अपने ग्राफिकल प्रतिनिधित्व के आधार पर सिस्टम व्यवहार में असामान्यताओं की पहचान कर सकते हैं
   
2. चेतावनी / थ्रेसहोल्ड
   
   इस तथ्य के बावजूद कि हमारे पास कई बड़ी प्रणालियों को संचालित करने का अनुभव है, उनका उपयोग करना और विभिन्न आपूर्तिकर्ताओं के सॉफ़्टवेयर संस्करणों की बारीकियों के कारण उनकी निगरानी करना अभी भी एक मुश्किल काम है। अनुभव और तैयार नियम अक्सर एक समाधान से दूसरे में पूरी तरह से स्थानांतरित नहीं किए जा सकते हैं। एक निश्चित बुनियादी सेट है, जिसका सुधार पुनरावृत्त रूप से होता है, क्योंकि समाधान के संचालन से उत्पन्न होने वाली घटनाओं का विश्लेषण।
   अनुकूलन के लिए स्पष्ट संख्या दो स्पष्ट नियमों की कमी है।
3. परिणाम की व्याख्या
   
   जब कोई घटना होती है, तो इसे जल्दी से पता लगाना बहुत महत्वपूर्ण है। यह काफी हद तक समर्थन टीम के अनुभव पर निर्भर करता है, चूंकि विफलताओं के बारे में माध्यमिक संदेशों के शाफ्ट के तहत, आप समस्याओं के मूल कारण को नोटिस नहीं कर सकते हैं और त्वरित प्रतिक्रिया पर समय खो सकते हैं। और यह जटिलता तीन है।

ठीक से आयोजित प्रक्रियाओं की मदद से, टीम उपरोक्त कठिनाइयों का सामना करने में सक्षम है, हालांकि, निर्णय के प्रतिक्रियाशील बदलाव के लिए आधुनिक अनुरोध - जब किसी विचार से कार्यान्वयन के लिए स्थानांतरित करने का समय दिनों में मापा जाता है - कार्य को काफी जटिल करता है। निरंतर टीम प्रशिक्षण की आवश्यकता है। लगातार परिवर्तन इस तथ्य को जन्म देते हैं कि कुछ नियम और कारण-और-प्रभाव संबंध अपने अर्थ खो देते हैं और परिणामस्वरूप, घटना को तुरंत हल नहीं किया जा सकता है, एक दुर्घटना में बदल सकता है।

मशीन सीखने से हमें कैसे मदद मिलती है

हार्डवेयर और सॉफ्टवेयर सिस्टम की खराबी की भविष्यवाणी घटनाओं के लिए एक निवारक या प्रतिक्रियात्मक प्रतिक्रिया का एक बहुत लोकप्रिय कार्य बन जाती है। NEC Corporation, हमारी मूल कंपनी, निगरानी विचार विकसित करने में भारी निवेश करती है। इस निवेश का एक परिणाम पेटेंट सिस्टम इनवेरिएंट एनालिसिस टेक्नोलॉजी (SIAT) है ।

SIAT एक मशीन लर्निंग तकनीक है, जो समय श्रृंखला के रूप में प्रस्तुत किए गए सेंसर या मैट्रिक्स के डेटा सेट के बीच, एमएल एल्गोरिदम का लगातार कार्यात्मक संबंधों का उपयोग करके पाता है और एक सामान्य मॉडल बनाता है - इन रिश्तों का एक ग्राफ। विवरण यहाँ पाया जा सकता है ।


भौतिक वस्तुओं के संवेदकों के बीच संबंध को दर्शाने वाला चित्र

यह विचार, मूल रूप से आईटी-सिस्टम के लिए विकसित किया गया था, इस समय केवल कारखानों, कारखानों, परमाणु ऊर्जा संयंत्रों जैसे भौतिक परिसरों की निगरानी के लिए फैल गया है। उदाहरण के लिए, लॉकहीड मार्टिन अपने अंतरिक्ष विभाग में इन तकनीकों को लागू करता है। 2018 में, नेटक्रैकर ने एनईसी के साथ मिलकर इस विचार को दोहराया और अतिरिक्त एनालिटिक्स के टूल के रूप में आईटी सिस्टम की निगरानी के लिए उपयुक्त उत्पाद बनाया। महत्वपूर्ण : यह केवल निगरानी प्रणाली के लिए एक अतिरिक्त है, लेकिन इसका प्रतिस्थापन नहीं है।

आईटी सिस्टम के लिए SIAT एप्लीकेशन

एक भौतिक परिसर और एक सॉफ्टवेयर के बीच अंतर क्या है? सॉफ्टवेयर सिस्टम में, मैट्रिक्स का उपयोग भौतिक लोगों में किया जाता है - सेंसर। मीट्रिक का अधिक उपयोग किया जाता है, क्योंकि एक भौतिक सेंसर हमेशा पैसे के लायक होता है और इसे केवल वहीं रखा जाता है जहां यह समझ में आता है। सॉफ्टवेयर मेट्रिक्स, जब ठीक से व्यवस्थित होते हैं, तो कुछ भी नहीं खर्च होता है। इसके अलावा, सूचना प्रणाली के डेटा मैट्रिक्स सिस्टम की स्थिति को सही ढंग से प्रक्षेपित करने के लिए बहुत अधिक कठिन हैं। भौतिक दुनिया से संबंधित संवेदकों को समझना किसी व्यक्ति के लिए आसान है, जबकि सॉफ़्टवेयर मीट्रिक के विशिष्ट मूल्य केवल एक विशिष्ट हार्डवेयर, कॉन्फ़िगरेशन और लोड के संबंध में समझ में आते हैं।

मॉडल में कार्यात्मक इंटरकनेक्शन यह भी बताता है कि यदि हम हार्डवेयर या सॉफ़्टवेयर संस्करण (उदाहरण के लिए, ओएस पैच) को बदलते हैं और सभी ऑपरेशन समान रूप से तेज़ या धीमे हो जाते हैं, तो इस तथ्य के कारण दुर्घटनाओं के बारे में गलत संदेश नहीं जाएगा कि हम नहीं बदले। दहलीज । यदि मेट्रिक्स एक दूसरे के साथ सहसंबंधित नहीं रह गए हैं, तो इसका मतलब है कि सिस्टम के व्यवहार में आदर्श से विचलन। इसके अलावा, SIAT तकनीक वास्तविक समय के व्यवहार में भी छोटे विचलन का पता लगाने की अनुमति देती है, जिसमें तथाकथित मूक विफलताएं - खराबी शामिल हैं जो किसी भी त्रुटि संदेश के साथ नहीं हैं। और अगर यह विचलन केवल एक बड़ी विफलता का अग्रदूत है, तो हमारे पास सही ढंग से प्रतिक्रिया करने का समय है।

हमने लोड के तहत एक छोटे अपाचे वेब सर्वर का अनुकरण करके इस कथन को सत्यापित किया, लिनक्स पर फॉल्ट इंजेक्शन तंत्र का उपयोग करके आंतरिक त्रुटियों का अनुकरण किया।

परिणाम एक संख्यात्मक मीट्रिक अनोमली स्कोर के रूप में प्रस्तुत किया जाता है, जिसका मूल्य इस मॉडल के साथ जुड़ा हुआ है। जितना बड़ा मूल्य, उतनी ही गंभीर विफलता: अधिक मीट्रिक असामान्य रूप से व्यवहार करते हैं। सीमा मान मैट्रिक्स का 100% है असामान्य है, सिस्टम काम नहीं करता है। इसके अलावा, परिणाम उन मैट्रिक्स को इंगित करता है जिनके क्षण में व्यवहार को असामान्य माना जा सकता है। यह सबसिस्टम के कारण और पहचान के विश्लेषण को बहुत तेज करता है जो वर्तमान व्यवहार मॉडल में वर्तमान में विफल हो रहा है।

सामान्य तौर पर, SIAT आपको व्यवहार में मामूली बदलावों पर भी प्रतिक्रिया देने की अनुमति देता है जो पारंपरिक या बेसलाइन निगरानी का उपयोग करके लगभग पता लगाने योग्य नहीं हैं।


सेंसर के बीच संबंधों में गड़बड़ी का चित्रण

SIAT का एक अतिरिक्त लाभ एक व्यवहार मॉडल के निर्माण के लिए एल्गोरिथ्म है जिसमें मैट्रिक्स के किसी भी व्यावसायिक अर्थ के संकेत की आवश्यकता नहीं होती है। एल्गोरिथ्म स्वचालित रूप से उन सभी मैट्रिक्स का चयन करता है जिनका व्यवहार एक-दूसरे के साथ जुड़ा हुआ है, और यह संबंध स्थिर है। शेष पृथक मेट्रिक्स या तो पॉइंट सबसिस्टम हैं जो आईटी समाधान को प्रभावित नहीं करते हैं, या मेट्रिक्स जो इस समय समाधान की स्थिति के लिए महत्वपूर्ण नहीं हैं। यदि यह समझ में आता है, तो ऐसे मेट्रिक्स की निगरानी को थ्रेसहोल्ड अलर्ट के आधार पर पारंपरिक दृष्टिकोण के ढांचे में लागू किया जाता है ।

यह बहुत महत्वपूर्ण है कि एक मॉडल के निर्माण के लिए सिस्टम के सामान्य कामकाज से संबंधित डेटा की आवश्यकता होती है, जो दुर्घटना प्रशिक्षण के करीब आने की तुलना में बहुत सरल है।

यदि मॉडल बदल गया है या हमने इसमें नए मेट्रिक्स जोड़ दिए हैं तो मॉडल को और परिष्कृत और पुनर्निर्माण किया गया है।

चूंकि सिस्टम का सामान्य व्यवहार एक चर विशेषता है जो दिन और अन्य व्यावसायिक परिस्थितियों के समय पर निर्भर करता है, अधिक सटीक प्रतिक्रिया के लिए यह कुछ मॉडल बनाने के लिए समझ में आता है जो कुछ स्थितियों में सिस्टम के व्यवहार का वर्णन करते हैं।

प्रक्रिया कैसी दिखती है

निगरानी संगठन प्रक्रिया इस प्रकार है।

1. हम पारंपरिक निगरानी शुरू करते हैं। मेट्रिक्स नाम का सही विकल्प बहुत महत्वपूर्ण है। तथ्य यह है कि परिणाम में मेट्रिक्स के नाम शामिल हैं जिनका व्यवहार असामान्य है, जिसका अर्थ है कि मीट्रिक जितना सटीक रूप से स्थान और अर्थ का वर्णन करता है, उतना तेज़ी से परिणाम प्राप्त होगा। उदाहरण के लिए, ncp नामक एक मीट्रिक। erp_netcracker _com.apps.erp। clust4.wls .jdbc LMSDataSource । ActiveConnectionsCurrentCount इंगित करता है कि Netcracker ERP सिस्टम में , LMSDataSource के लिए चौथे Weblogic क्लस्टर पर ActiveConnectionsCurrentCount नामक मीट्रिक विफल रहता है। विशेषज्ञ के लिए, इस तरह की जानकारी विसंगति का सटीक रूप से स्थानीयकरण करने के लिए पर्याप्त से अधिक है।
2. अगला, हम मैट्रिक्स डेटा स्टोरेज सिस्टम - हमारे मामले में, ClickHouse - के साथ एकीकृत करते हैं और समाधान के सामान्य व्यवहार की एक निश्चित अवधि के लिए सभी मैट्रिक्स का डेटा प्राप्त करते हैं: सर्वोत्तम मॉडल 30-दिन के निगरानी परिणामों के आधार पर बनाए जाते हैं। अधिक सटीक मॉडल प्राप्त करने के लिए, हम बिना किसी एकत्रीकरण के प्रति मिनट मीट्रिक डेटा का उपयोग करते हैं।
3. हम एक निगरानी प्रणाली से डेटा के आधार पर SIAT का उपयोग करके एक मॉडल का निर्माण करते हैं। निर्मित मॉडल के ढांचे के भीतर, हम समानता के डिग्री के अनुसार कार्यात्मक संबंधों को फ़िल्टर करते हैं। संक्षेप में, यह किसी दिए गए व्यवहार से विचलन की डिग्री है, प्रतिशत के रूप में व्यक्त किया जाता है।
4. हम पिछले दिनों के आंकड़ों पर मॉडल की जांच करते हैं, जहां पारंपरिक निगरानी और समर्थन टीम का उपयोग करके विफलताओं का पता लगाया गया था।
5. हम ऑनलाइन निगरानी शुरू करते हैं: हर 10 मिनट में, सभी मैट्रिक्स का डेटा मॉडल या मॉडल में स्थानांतरित किया जाता है। हमें परिणाम मिलता है - विसंगति स्कोर, और यदि परिणाम शून्य नहीं है, तो इसके अलावा हमें उन मैट्रिक्स की एक सूची मिलती है जिनका व्यवहार वर्तमान में असामान्य है।
6. परिणाम को सामान्य निगरानी प्रणाली में भेजा जाता है, जहां यह सामान्य डैशबोर्ड और अन्य पारंपरिक निगरानी उपकरणों का हिस्सा बन जाता है।

कसौटी

सत्यापन के बिना एक भी कार्यान्वयन नहीं होता है। परीक्षण किए गए सिस्टम के रूप में, हमने अपना ईआरपी (मोनोलिथ, वेबलॉजिक , ओरेकल , 4500 मेट्रिक्स) और हमारे पूरे मॉनिटरिंग सिस्टम का राउटिंग सिस्टम, 7 मिलियन मेट्रिक्स प्रति मिनट, - कार्बन-सी-रिले (1200 मेट्रिक्स) चुना।

सभी मीट्रिक के डंप का उपयोग इनपुट के रूप में किया गया था, और जिन दिनों में विफलताओं को दर्ज किया गया था, उन्हें भी संकेत दिया गया था। परिणाम का मूल्यांकन करने के लिए, हमने निम्नलिखित अवधारणाएँ प्रस्तुत कीं:

1. दूसरी तरह की त्रुटियों की संख्या तब होती है जब एक पारंपरिक निगरानी प्रणाली या समर्थन टीम को विफलता मिली, लेकिन SIAT ने नहीं किया।
2. सही निगरानी की संख्या - जब पारंपरिक निगरानी और एसआईएटी दोनों ने एक समस्या का पता लगाया।
3. पहली तरह की त्रुटियों की संख्या - जब SIAT ने व्यवहार के विचलन का पता लगाया, लेकिन समर्थन टीम ने इसे नहीं पाया।

हमें दोनों परीक्षण प्रणालियों के लिए दूसरी तरह की कोई त्रुटि नहीं मिली। सही निष्कासन की संख्या - SIAT द्वारा मिली असफलताओं की कुल संख्या का 85%, और उपकरण विफलता के मामले में - डेटाबेस पर एक RAID सरणी विफल रही - SIAT ने डेटाबेस से जुड़े मेट्रिक्स के सटीक संकेत के साथ व्यवहार में गिरावट का पता लगाया, पहुंचने से सात घंटे पहले। मॉनिटरिंग सिस्टम में थ्रेशोल्ड वैल्यू सेट करें।

संकेतित SIAT विफलताओं के शेष 15% पहले प्रकार की त्रुटियां हैं - असामान्य व्यवहार जो समर्थन टीम समझा नहीं सकती है। यह शायद इस तथ्य के कारण है कि मॉडल का निर्माण करते समय, उन मैट्रिक्स को स्वचालित रूप से शामिल किया गया था जिनके कार्यात्मक अर्थ हैं, लेकिन सिस्टम के सामान्य व्यवहार पर ध्यान देने योग्य प्रभाव नहीं है। कई झूठे सकारात्मक के बाद, एक आईटी विशेषज्ञ इन मैट्रिक्स को महत्वहीन के रूप में चिह्नित कर सकते हैं और उन्हें मॉडल से हटा सकते हैं, पहले एसएमई के साथ इस पर सहमत हुए थे।

परिणामों से पता चला कि यह उत्पाद पूरी तरह से विफलताओं (छिपे हुए लोगों सहित) की प्रक्रिया को स्वचालित करता है, समय पर घटना को स्थानीय करता है और इसके पैमाने का आकलन करता है।

आगे क्या है

अब हम विभिन्न प्रणालियों के लिए इस दृष्टिकोण की प्रयोज्यता का विश्लेषण करने के लिए विभिन्न प्रकार के हार्डवेयर और सॉफ्टवेयर सिस्टम के लिए उत्पाद के संचालन में अनुभव जमा कर रहे हैं: नेटवर्क डिवाइस, IoT डिवाइस, क्लाउड माइक्रोसर्विस, और इसी तरह।

फिलहाल, मॉडल के पुनर्निर्माण का काम अड़चन है। इसके लिए महत्वपूर्ण कंप्यूटिंग शक्ति की आवश्यकता होती है, लेकिन, सौभाग्य से, एक अलग मशीन पर रिकाउंट किया जा सकता है, परिणाम को तैयार मॉडल के रूप में निर्यात कर सकता है। वास्तविक समय की निगरानी के लिए महत्वपूर्ण संसाधनों की आवश्यकता नहीं होती है और समान उपकरणों पर पारंपरिक निगरानी के साथ समानांतर में प्रदर्शन किया जाता है।

निष्कर्ष

सारांशित करते हुए, मैं ध्यान देना चाहता हूं कि पारंपरिक निगरानी तकनीकों और मशीन लर्निंग एल्गोरिदम के संयोजन का उपयोग करने से आप एक सरल मॉडल का निर्माण कर सकते हैं जो आपको समय पर प्रतिक्रिया देने में मदद करता है, यह पता लगाएं कि समस्या कहां उत्पन्न हुई, और सिस्टम को कार्य क्रम में भी रखें।

होनहार SIAT तकनीक के अलावा, हम एक और NEC तकनीक - अगली पीढ़ी के लॉग एनालिटिक्स का उपयोग करने की संभावनाओं का विश्लेषण कर रहे हैं। तकनीक मशीन लर्निंग एल्गोरिदम के उपयोग और सिस्टम लॉग का उपयोग उत्पाद की आंतरिक स्थिति से संबंधित विसंगतियों को निर्धारित करने के लिए करती है जो प्रदर्शन के मामले में सिस्टम के समग्र गिरावट को प्रभावित नहीं करती हैं।

आईटी सिस्टम की निगरानी के लिए आप कौन से एनालिटिक्स का उपयोग करते हैं?