मशीन लर्निंग एक स्मार्ट मॉनिटरिंग असिस्टेंट के रूप में

हाय हमर!

होम क्रेडिट एक बड़ी और बहुत गतिशील प्रणाली है, जिस पर नज़र रखना कभी-कभी मुश्किल होता है। कर्मचारियों को सभी समाचारों और परिवर्तनों के बीच में और हर जगह गति बनाए रखने में मदद करने के लिए, हम सक्रिय रूप से मशीन लर्निंग एल्गोरिदम पेश कर रहे हैं। हमारे बैंक में, चैट बॉट पहले से ही ऑपरेटरों के काम का हिस्सा लेते हैं, ग्राहक समीक्षाओं का विश्लेषण न केवल विशेषज्ञों द्वारा किया जाता है, बल्कि प्राकृतिक भाषा प्रसंस्करण के लिए स्मार्ट एल्गोरिदम द्वारा भी किया जाता है।

आज मैं आपको बताऊंगा कि कैसे हमने बैंकिंग सेवाओं के संचालन विशेषज्ञों को निगरानी प्रणालियों के डैशबोर्ड को लगातार देखने की आवश्यकता से छुटकारा दिलाया, अर्थात्, उन्होंने मशीन लर्निंग को मदद करने के लिए बुलाया। जो हमें मिला है।

मैनुअल निगरानी कैसे काम करती है?

एक ऑपरेटिंग विशेषज्ञ का एक विशिष्ट कार्यस्थल ऊपर की तस्वीर में जैसा दिखता है, और वह अपना अधिकांश समय डैशबोर्ड को देखते हुए बिताता है। सिस्टम में कोई भी संदिग्ध गतिविधि, उदाहरण के लिए, जब कोई नेटवर्क बंद हो गया है या NullPointerException में बारिश हुई है, तो तुरंत ध्यान आकर्षित करेगा - एक जांच तुरंत शुरू हो जाएगी।

आदमी कोई मशीन नहीं है। वह विचलित हो सकता है, रात के खाने पर जा सकता है, फोन का जवाब दे सकता है। और जब रेखांकन की संख्या एक सौ से अधिक हो जाती है, तो उन सभी को एक साथ बाँधना और सार के तल पर जाना मुश्किल हो जाता है।

एक और समस्या यह है कि त्रुटियों का एक परिवार है जो लगातार होता है, लेकिन सिस्टम के व्यवहार को गंभीरता से प्रभावित नहीं करता है। उदाहरण के लिए, एक तृतीय-पक्ष माइक्रोसेवर गिर गया और डैशबोर्ड विशेष रूप से हिल गया, लेकिन वास्तव में सिस्टम खतरे से बाहर है। पहली नज़र में, यह हमेशा स्पष्ट नहीं होता है कि कैसे असामान्य व्यवहार महत्वपूर्ण है, और इसके पीछे क्या है। कारणों को विस्तार से स्थापित करने के लिए, आपको सर्वर पर जाने और लॉग्स में अच्छी तरह से डील करने की आवश्यकता है। ऐसा ऑपरेशन दिन में दर्जनों बार करना पड़ता है। चलो कम से कम आंशिक रूप से उसे कार को सौंपें।

एक स्मार्ट सहायक के रूप में मशीन लर्निंग

डेटा के तीन मुख्य स्रोत हैं: Zabbix, ElasticSearch, और एक आंतरिक व्यापार मैट्रिक्स निगरानी प्रणाली। हम सिस्टम में विभिन्न प्रविष्टि बिंदुओं के हार्डवेयर, नेटवर्क और उपलब्धता की निगरानी के लिए ज़ैबिक्स का उपयोग करते हैं। ElasticSearch का उपयोग, पार्स और संदेश लॉग को निकालने के लिए। विभिन्न त्रुटियों, निष्पादन, और प्रश्नों का उपयोग मैट्रिक्स के रूप में किया जाता है। व्यापार विश्लेषकों, हालांकि, उपयोगकर्ताओं के प्रदर्शन की निगरानी करते हैं: स्थानान्तरण, बिक्री और अन्य व्यावसायिक गतिविधियों की संख्या। डेटा को एक बार प्रति मिनट की आवृत्ति पर एकत्र किया जाता है और डेटाबेस में जोड़ा जाता है। ठीक है, डेटा एकत्र किया जाता है, अगर मशीन सीखने को लड़ाई में लगाने के लिए यह एक गुच्छा लिखने का समय है।

हम समस्या को इस प्रकार तैयार करते हैं: इनपुट पर सिस्टम मेट्रिक्स होने से, हम सिस्टम की अंतिम स्थिति को वर्गीकृत करेंगे: नियमित या असामान्य। इस सेटिंग में, समस्या एक शिक्षक के साथ सीखने के प्रतिमान में पूरी तरह फिट बैठती है। इसका मतलब है कि हमारे पूरे प्रशिक्षण डेटासेट को लेबल किया जाना चाहिए। दूसरे शब्दों में, सिस्टम ऑपरेशन के हर मिनट में 0 (सामान्य व्यवहार) या -1 (विषम व्यवहार) का लेबल होना चाहिए।

जीवन में, यह पता चला है कि सब कुछ उतना रसीला नहीं है जितना हम चाहते हैं। एक नियम के रूप में, सभी घटनाओं को जेआईआरए में दर्ज नहीं किया जाता है, मेल में बहुत रहता है और इससे आगे नहीं जाता है, और कभी-कभी विसंगति की समय सीमा धुंधली या गलत होती है। यह पता चलता है कि ऐतिहासिक डेटा के क्षेत्र में एक उच्च गुणवत्ता वाला डेटासेट बनाना एक तुच्छ कार्य नहीं है।

जबकि नया डेटा अभी निर्धारित होना शुरू हो रहा है, आइए हम जो पहले से ही हैं उससे लाभ को निचोड़ने का प्रयास करें। उन मामलों के लिए जहां डेटा में मार्कअप नहीं होता है, शिक्षक के बिना एल्गोरिदम सीखने का उपयोग किया जाता है। हम इस तथ्य से आगे बढ़ेंगे कि ज्यादातर समय सिस्टम सही ढंग से काम करता है, लेकिन कभी-कभी अप्रत्याशित घटनाएं होती हैं: बग (जहां उनके बिना), आधार गिर गया, या, उदाहरण के लिए, खुदाई करने वाले पेट्र ने डेटा सेंटर केबल को मारा। इसलिए, हम विसंगतियों की खोज के लिए अपने कार्य को कम करते हैं, अर्थात्, एक नई प्रणाली व्यवहार (नवीनता का पता लगाने) के लिए खोज।
ऐसा करने के लिए, पृथक वन एल्गोरिथ्म का उपयोग करें। यह पहले से ही स्केलेर लाइब्रेरी में लागू है। हम निगरानी प्रणालियों से विशेषताओं के रूप में मैट्रिक्स का उपयोग करेंगे।

clf = IsolationForest(behaviour='new', max_samples=100, random_state=rng, contamination='auto') 

हम ऐतिहासिक डेटा पर पृथक वन को प्रशिक्षित करेंगे, और हम नए डेटा का उपयोग करेंगे जो हमने पहले ही गुणवत्ता का आकलन करने के लिए चिह्नित करने में कामयाब रहे। इस प्रकार, यह प्रशिक्षण के लिए मॉडल हाइपरपरमेटर्स और डेटासेट आकार चुनने के लिए रहता है।

अब स्थिति डेटा, जो हर मिनट एकत्र किए जाते हैं, प्रशिक्षित मॉडल पर इनपुट होते हैं और लेबल 0 या -1 प्राप्त करते हैं।



एक ऑपरेटर केवल एक शेड्यूल को ट्रैक कर सकता है। एक्स अक्ष पर - समय, वाई - विसंगति स्कोर पर, अर्थात्, इस असामान्य रूप से सिस्टम की स्थिति पर मॉडल ने कितनी दृढ़ता से विचार किया। यदि गति मान ट्रैशहोल्ड (जो मॉडल स्वयं का चयन करता है) से गुजरा है, तो बिंदु लाल रंग में रंगा हुआ है और एक विसंगति दर्ज की गई है।

अब हम सीखते हैं कि सिस्टम एक असामान्य मोड में काम करता है या यह कि आपातकालीन स्थिति लगभग वास्तविक समय में हुई है। यह बहुत अच्छा है, लेकिन विसंगति के बारे में संकेत प्राप्त करने के समय ऑपरेटर के बारे में क्या? किस डैशबोर्ड को देखना है? आइए हमारे मॉडल के "ब्लैक बॉक्स" को खोलने की कोशिश करें और समझें कि यह कैसे निर्णय लेता है।

लीम का उपयोग करके एक मॉडल की व्याख्या करना

प्रशिक्षित मॉडल के ब्लैक बॉक्स को कैसे खोला जाए और मशीन के दिमाग में क्या है, इसे समझने के लिए अलग-अलग तरीके हैं। लॉजिस्टिक रिग्रेशन या डिसीजन ट्री के साथ, सब कुछ स्पष्ट है, यह समझना मुश्किल नहीं है कि निर्णय किस आधार पर किया गया था। पृथक वन के साथ, चीजें अधिक जटिल हैं। सबसे पहले, एल्गोरिथ्म के अंदर एक दुर्घटना होती है, और दूसरी बात, यह एक शिक्षक के बिना एक सीखने का एल्गोरिथ्म है।

पहला उम्मीदवार लिमई लाइब्रेरी था, जो मॉडल एग्नोस्टिक दृष्टिकोण का उपयोग करता है, जो किसी भी मॉडल की व्याख्या करने में मदद करता है, मुख्य बात यह है कि मॉडल के उत्पादन में कक्षाओं के बीच एक संभाव्य वितरण है। ठीक है, ज़ाहिर है, परिणाम संभावना नहीं है, लेकिन जल्द ही, लेकिन चलो उन्हें 0 से 1 तक की सीमा में सामान्य करने का प्रयास करें और इसे संभाव्यता के रूप में मानें। इस प्रकार, हम एक इनपुट प्रारूप प्रदान करने में सक्षम थे जो कि लीम के अनुकूल है।
जिस तरह से परिणाम की व्याख्या की गई, वह निराशाजनक था। सबसे पहले, एक व्याख्या के रूप में, आउटपुट पर कई सबसे महत्वपूर्ण संकेत थे, और, ज्यादातर मामलों में, उनमें से केवल एक ने वास्तव में निर्णय के सार को पर्याप्त रूप से प्रतिबिंबित किया, बाकी सभी ने शोर जोड़ा। दूसरा दोष यह था कि व्याख्या अस्थिर थी और अक्सर रन से रन के लिए संकेतों की अलग-अलग सूचियों का उत्पादन करती थी। अधिक स्थिर परिणाम प्राप्त करने के लिए, आपको कई बार व्याख्या को चलाना होगा और किसी तरह परिणामों को औसत करना होगा। मैं वास्तव में ऐसा नहीं करना चाहता।

SHAP - व्यक्ति से कार तक पुल

उसके बाद, मॉडल की व्याख्या के लिए हमारी नजर दूसरे पुस्तकालय पर पड़ी - SHAP लाइब्रेरी के पीछे का विचार गेम थ्योरी से आया है। पुस्तकालय में एक सुंदर दृश्य भी है। उदाहरणों को देखने के बाद, हमें निराशा के साथ एहसास हुआ कि SHAP पृथक वन की व्याख्या नहीं कर सकता है, और हम वास्तव में चाहते थे! लेकिन, दूसरी ओर, SHAP आत्मविश्वास से XGBoost को विच्छेदित कर सकता है। हमने सोचा, क्या होगा अगर हमें XGBoost वही सिखाया जाता है जो आइसोलेटेड फॉरेस्ट कर सकता है? ऐसा करने के लिए, हमने अपना संपूर्ण डेटासेट लिया और इसे पृथक वन के साथ चिह्नित किया। इसके अलावा, एक लक्ष्य के रूप में उन्होंने एक वर्ग नहीं लिया, लेकिन एक स्कोरर, जिसे आइसोलेटेड वन को सौंपा गया था। हम सभी मैट्रिक्स द्वारा भविष्यवाणी करेंगे कि पृथक वन जो गति देगा, लेकिन केवल XGBoot के साथ! जल्दी से नहीं कहा। हम XGBoost के माध्यम से अपने टैग किए गए डेटासेट चलाएंगे। और अब, अब वह जानता है कि आइसोलेटेड फ़ॉरेस्ट की तरह गति की भविष्यवाणी कैसे करें। हुर्रे, अब हम SHAP का उपयोग कर सकते हैं!

पहला कदम ट्रीएक्सप्लानेर ऑब्जेक्ट बनाना है, जो मॉडल को एक पैरामीटर के रूप में पारित करता है। अगला, आकार मानों की गणना की जाती है, जो हमें यह स्पष्टीकरण देने की अनुमति देते हैं कि मॉडल ने यह या उस निर्णय को कैसे किया।

 explainer = shap.TreeExplainer(model) shap_values = explainer.shap_values(X) 

SHAP आपको पूरे उदाहरण के लिए और विशिष्ट उदाहरणों के लिए दोनों मॉडल की व्याख्या करने की अनुमति देता है। उदाहरण के लिए, आप force_plot () विधि का उपयोग करके एक विशिष्ट उदाहरण के लिए स्पष्टीकरण प्राप्त कर सकते हैं, जो इनपुट मान और उदाहरण के मान स्वयं प्राप्त करता है।

 shap.force_plot(explainer.expected_value,shap_values[0,:], X.iloc[0,:]) 

यह निम्नलिखित ग्राफ को दर्शाता है, जो मॉडल की कौन सी विशेषताओं को प्रदर्शित करता है और निर्णय को कितना प्रभावित करता है।

हम व्यापार में मदद करते हैं

अब, यह जानकर कि मेट्रिक्स ने असामान्यता की समग्र दर में एक महत्वपूर्ण योगदान दिया है, यह स्थापित करना संभव हो गया है कि समस्या किस स्तर पर उत्पन्न हुई, और सबसे महत्वपूर्ण बात यह है कि क्या सिस्टम के अंतिम उपयोगकर्ताओं पर इसका प्रभाव पड़ा।



हर बार एक विसंगति का पता चलने पर, मैट्रिक्स की एक सूची, जो निर्णय पर सबसे अधिक प्रभाव डालती है, प्राप्त की जाती है। यदि सूची में मीट्रिक शामिल हैं जो सीधे व्यापार से संबंधित संकेतकों को ट्रैक करते हैं, तो यह एक विशेष तरीके से अलर्ट में उल्लिखित है, जिससे स्वचालित रूप से विसंगति की प्राथमिकता बढ़ जाती है।

यह मशीन सीखने का उपयोग करके निगरानी प्रणाली को मजबूत और स्वचालित बनाने में केवल पहला लेकिन महत्वपूर्ण कदम है, जो असामान्य प्रणाली व्यवहार के कारणों और प्रभाव की पहचान करने की गति को काफी बढ़ा सकता है।

संदर्भ:

scikit-learn.org/stable/modules/generated/sklearn.ensemble.IsolationForest.html
github.com/marcotcr/lime
github.com/slundberg/shap