क्रेडिट रिस्क के खिलाफ मशीन लर्निंग, या "कम ऑन, गिन्नी, कम ऑन"

एक बैंक, परिभाषा के अनुसार, एक "मौद्रिक संगठन" है, और इसका भविष्य इस बात पर निर्भर करता है कि यह संगठन सफलतापूर्वक कैसे जारी करता है और ऋणों को चुकाता है। ऋण के साथ सफलतापूर्वक काम करने के लिए, आपको उधारकर्ताओं की वित्तीय स्थिति को समझने की आवश्यकता है, जो कि क्रेडिट जोखिम कारकों (FKR) द्वारा मदद की जाती है। क्रेडिट विश्लेषक उन्हें बड़ी मात्रा में बैंकिंग जानकारी की पहचान करते हैं, इन कारकों को संसाधित करते हैं और आगे के परिवर्तनों की भविष्यवाणी करते हैं। आमतौर पर, इसके लिए वर्णनात्मक और नैदानिक ​​विश्लेषण का उपयोग किया जाता है, लेकिन हमने मशीन लर्निंग टूल को काम से जोड़ने का फैसला किया। पोस्ट में क्या हुआ, इसके बारे में पढ़ें।



कुछ क्रेडिट जोखिम कारक सतह पर रहते हैं, जबकि अन्य को बैंकिंग डेटा के आंत्र में गहराई से खोजे जाने की आवश्यकता होती है। डॉलर विनिमय दर में परिवर्तन, ग्राहक राजस्व, ऋण का बोझ, बिक्री और रेटिंग में गिरावट, अदालतों, आपराधिक मामलों, विलय और अधिग्रहण - यह सब विभिन्न शक्तियों का एक सांख्यिकीय संकेत देता है। उधारकर्ता की समग्र तस्वीर को सही ढंग से बनाने के लिए, न केवल इसके साथ जुड़े सभी संकेतों को पकड़ना आवश्यक है, बल्कि उनकी ताकत का मूल्यांकन भी करना है।

वर्णनात्मक और नैदानिक ​​विश्लेषण ने एफसीआर के साथ काम करने में अच्छा काम किया है, लेकिन फिर भी, ये विधियां बिना कमियों के नहीं हैं। एनालिटिक्स का उपयोग नियामकों तक सीमित है - सभी उन्नत तरीकों और मॉडलों को उनके द्वारा अनुमोदित नहीं किया जा सकता है। Analytics लचीला नहीं है और डेटा को अनियंत्रित स्लाइस में प्रस्तुत करने का अवसर प्रदान नहीं करता है - और यह अक्सर बहुत आवश्यक होता है। और इस मामले में दक्षता के साथ, सब कुछ महान नहीं है। और यह भी होता है कि कुछ विश्लेषणात्मक मॉडलों के लिए बस पर्याप्त डेटा नहीं है।

इन उद्देश्यों के लिए मशीन सीखने की कोशिश क्यों नहीं की गई? तो यह काफी हद तक क्रेडिट जोखिम कारकों के महत्व की गणना में सुधार करने के लिए संभव है, तकनीकी शब्दों में - कई प्रतिशत अंक बढ़ाने के लिए जिनि संकेतक, जिसके द्वारा हम पूर्वानुमान मॉडल की सटीकता का मूल्यांकन करते हैं। एफकेआर की गणना जितनी बेहतर होगी, ग्राहकों की वित्तीय स्थिति का मूल्यांकन उतना ही सटीक होगा - बैंक के ऋण पोर्टफोलियो की गुणवत्ता जितनी अधिक होगी। और मैनुअल श्रम का अनुपात कम है।

परियोजना की प्रगति

Cloudera Hadoop को बड़े डेटा को संग्रहीत करने के लिए चुना गया था, Apache Spark और Apache Hive SQL को कच्चे डेटा तक पहुंच के लिए तैनात किया गया था, और Apache Oozie को डेटा प्रवाह को लोड करने और गणना करने के लिए समन्वयित करने और उपयोग करने के लिए उपयोग किया गया था। Apache, Zeppelin और JupyterHub का उपयोग करते हुए डेटा की कल्पना की और पता लगाया। इसके अलावा, उन्होंने कई मशीन लर्निंग लाइब्रेरी का इस्तेमाल किया जो समानांतर प्रसंस्करण का समर्थन करते हैं - स्पार्क MLIB, PySpark और H20।



इन सभी के लिए सात नोड आवंटित किए गए थे:

• 64 जीबी vRAM और 2 टीबी डिस्क स्थान के साथ 3 मास्टर नोड्स
  
• 512 जीबी vRAM और 8 टीबी के साथ 3 डेटा नोड
  
• 128 जीबी vRAM, 2.5 टीबी के साथ अनुप्रयोगों के लिए 1 नोड
  

पूरी परियोजना में तीन महीने लगे और प्रत्येक में तीन डेमो चरणों, चार साप्ताहिक स्प्रिंट शामिल थे। गणना के लिए, परियोजना के दौरान 22 क्रेडिट जोखिम कारक चुने गए थे।

पहले चरण में, हमने बुनियादी ढांचे को तैनात किया और पहले डेटा स्रोतों को जोड़ा:

• कॉर्पोरेट सूचना भंडारण (एफआईआर) - बैंक में मुख्य भंडारण। डेटा झील के भीतर डेटा के साथ स्वतंत्र रूप से काम करने के लिए और उत्पादन प्रणालियों पर भार पैदा नहीं करने के लिए, हमने इसे वास्तव में एक पूरे के रूप में लोड किया।
• रेटिंग गणना प्रणाली () कॉर्पोरेट ग्राहकों की गतिविधियों से जुड़े जोखिमों के आकलन के लिए मुख्य डेटाबेस में से एक है। इसमें उद्यमों की रेटिंग, वित्तीय विवरणों के संकेतक के बारे में जानकारी शामिल है।
• संबद्धता और अन्य मानदंडों को दर्शाते हुए बाहरी स्रोतों से डेटा।
• डेटा वैज्ञानिकों के काम के लिए अतिरिक्त जानकारी और डेटा युक्त फ़ाइलों को अलग करें।

दूसरे चरण में, पहले पीसीएफ की गणना की गई थी, हमने इन संकेतकों के आधार पर मॉडल बनाने की कोशिश की, एक बीआई उपकरण स्थापित किया और पीसीएफ की गतिशीलता की कल्पना करने के तरीके पर चर्चा की। नतीजतन, हमने भविष्य के लिए उन्नत विज़ुअलाइज़ेशन को छोड़कर, नए टूल में परिचित एक्सेल स्प्रेडशीट संरचना को संरक्षित करने का फैसला किया।

और अंत में, अंतिम चरण में, हमने सभी लापता डेटा डाउनलोड किए, जिसमें एक बाहरी स्रोत भी शामिल था। बैंक को डर था कि उनका सांख्यिकीय महत्व छोटा होगा, इसलिए हमने सांख्यिकीय परीक्षण किए जो विपरीत साबित हुए। अंतिम डेमो में डेटासाइंस-टूल्स, बीआई, नियमित लोडिंग और डेटा के अद्यतन के संचालन का प्रदर्शन किया गया। 22 कारकों में से, केवल दो की गणना पायलट के भीतर नहीं की गई थी, बाहरी कारणों से - आवश्यक गुणवत्ता के डेटा की कमी।

परिणाम

Hadoop पर क्लस्टर आसानी से स्केलेबल है और मॉडल को अधिक डेटा खिलाने की अनुमति देता है, और वे समानांतर में गणना कर सकते हैं। गिनी संकेतक बड़ा हो गया है - मॉडल ने क्रेडिट जोखिम कारकों से संबंधित कुछ घटनाओं की अधिक सटीक भविष्यवाणी की है।

इससे पहले, हमारे विश्लेषकों को कॉर्पोरेट रिपॉजिटरी में एसक्यूएल प्रश्नों को लिखने के लिए आईटी विभाग से संपर्क करना था, और फिर अपने व्यक्तिगत कंप्यूटरों पर मॉडल की प्रक्रिया करना चाहिए। और अब, पायलट क्लस्टर विश्लेषकों को अपने दम पर प्रश्नों को लिखने की अनुमति देता है, अर्थात, कच्चे डेटा और प्रसंस्करण मॉडल को बढ़ाना बहुत तेज है।

योजनाओं

इस वर्ष हम परियोजना के विकास को जारी रखेंगे। हम नमूनाकरण और प्रसंस्करण की गति बढ़ाने के लिए विशेष उपकरणों पर डेटा झील के बुनियादी ढांचे को तैनात करेंगे। हम "झील" के आधार पर क्रेडिट एनालिटिक्स के लिए एक एकल, केंद्रीकृत संसाधन का आयोजन करते हैं। कुछ और डेटा स्रोत जोड़ें और नई मशीन लर्निंग लाइब्रेरी में प्लग करें।

बैंक के अन्य विभाग हमारी परियोजना में रुचि रखते हैं - सीआरएम, आंतरिक लेखा परीक्षा (जालसाजों की खोज, संदिग्ध लेनदेन की पहचान), परिचालन समर्थन (एंटिफर्ड), उद्योग विश्लेषकों। "सैंडबॉक्स" का उपयोग करते समय हम उन्हें अपने विकास देते हैं, उन्हें डेटा तक आसानी से पहुंच मिलेगी, किसी भी डेटा स्रोतों को जोड़ने की क्षमता और मशीन सीखने के मॉडल का उपयोग करके उन पर प्रयोग किया जाएगा।