निवेश कंपनी में मशीन सीखना: हम तकनीकी सहायता कॉल को वर्गीकृत करते हैं

सिद्धांत रूप में, मशीन लर्निंग (एमएल) का उपयोग प्रक्रियाओं और संचालन में मानव भागीदारी को कम करने, संसाधनों को इकट्ठा करने और लागत को कम करने में मदद करता है। यह एक विशेष कंपनी और उद्योग में कैसे काम करता है? जैसा कि हमारे अनुभव से पता चलता है, यह काम करता है।

विकास के एक निश्चित चरण में, वीटीबी कैपिटल में हमें तकनीकी सहायता के अनुरोधों को संसाधित करने में लगने वाले समय को कम करने की तत्काल आवश्यकता थी। विकल्पों का विश्लेषण करने के बाद, कंपनी के प्रमुख निवेश मंच केलिप्सो के व्यापारिक उपयोगकर्ताओं से कॉल को वर्गीकृत करने के लिए एमएल तकनीक का उपयोग करने का निर्णय लिया गया था। आईटी सेवा की उच्च गुणवत्ता के लिए ऐसे अनुरोधों का तेजी से प्रसंस्करण महत्वपूर्ण है। हमने इस समस्या को हल करने में मदद करने के लिए अपने प्रमुख सहयोगियों, EPAM को कहा।



तो, समर्थन अनुरोध ई-मेल द्वारा प्राप्त किए जाते हैं और जीरा में टिकट में तब्दील हो जाते हैं। फिर, समर्थन विशेषज्ञ मैन्युअल रूप से उन्हें वर्गीकृत करते हैं, उन्हें प्राथमिकता देते हैं, अतिरिक्त डेटा दर्ज करते हैं (उदाहरण के लिए, जिस विभाग और स्थान से एक अनुरोध प्राप्त हुआ था, जो सिस्टम की कार्यात्मक इकाई है), और कलाकारों को असाइन करें। कुल मिलाकर, लगभग 10 श्रेणियों के प्रश्नों का उपयोग किया जाता है। यह, उदाहरण के लिए, कुछ डेटा का विश्लेषण करने और जानकारी के साथ अनुरोधकर्ता प्रदान करने, एक नया उपयोगकर्ता जोड़ने आदि का अनुरोध हो सकता है। इसके अलावा, क्रियाएं या तो मानक या गैर-मानक हो सकती हैं, इसलिए तुरंत सही प्रकार से अनुरोध का प्रकार निर्धारित करना और सही विशेषज्ञ को निष्पादन प्रदान करना बहुत महत्वपूर्ण है।

यह नोट करना महत्वपूर्ण है: वीटीबी कैपिटल न केवल एक लागू तकनीकी समाधान विकसित करना चाहता था, बल्कि बाजार पर विभिन्न उपकरणों और प्रौद्योगिकियों की क्षमताओं का मूल्यांकन करना चाहता था। एक कार्य, दो अलग-अलग दृष्टिकोण, दो प्रौद्योगिकी मंच और साढ़े तीन सप्ताह: परिणाम क्या था?

प्रोटोटाइप नंबर 1: प्रौद्योगिकियों और मॉडल

प्रोटोटाइप के विकास का आधार EPAM टीम द्वारा प्रस्तावित दृष्टिकोण था, और ऐतिहासिक डेटा - जीरा से लगभग 10,000 टिकट। मुख्य ध्यान 3 आवश्यक फ़ील्ड पर केंद्रित था, जिसमें प्रत्येक ऐसे टिकट शामिल हैं: इश्यू टाइप (समस्या का प्रकार), सारांश (पत्र या अनुरोध के विषय का हेडर) और विवरण (विवरण)। परियोजना के ढांचे के भीतर, सारांश और विवरण फ़ील्ड से पाठ का विश्लेषण करने की समस्या को हल करने और स्वचालित रूप से इसके परिणामों से अनुरोध के प्रकार का निर्धारण करने की योजना बनाई गई थी।

यह इन दो टिकट क्षेत्रों में पाठ की विशेषताएं हैं जो डेटा का विश्लेषण करने और एमएल मॉडल विकसित करने में मुख्य तकनीकी कठिनाई बन गए। इसलिए, सारांश फ़ील्ड में काफी "साफ" पाठ हो सकता है, लेकिन विशिष्ट शब्दों और शब्दों सहित (उदाहरण के लिए, CWS रिपोर्ट नहीं चल रहा है)। विवरण फ़ील्ड, इसके विपरीत, विशेष वर्णों, प्रतीकों, बैकस्लैश और गैर-पाठ तत्वों के अवशेषों की बहुतायत के साथ अधिक "गंदे" पाठ की विशेषता है:

डेरा के सहकर्मी,
क्या आप हमें बता सकते हैं कि FX_Opt_delta_all और FX_Opt_delta_cash जोखिम उपायों में क्या अंतर है?
! 01D39C59.62374C90_image001.png! )

इसके अलावा, पाठ अक्सर कई भाषाओं को जोड़ता है (मुख्य रूप से, स्वाभाविक रूप से, रूसी और अंग्रेजी), व्यावसायिक शब्दावली, रग्लिश और प्रोग्रामर स्लैंग को पाया जा सकता है। और निश्चित रूप से, क्योंकि अनुरोधों को अक्सर जल्दी में लिखा जाता है, दोनों मामलों में टाइपोस और वर्तनी की त्रुटियों से इनकार नहीं किया जाता है।

EPAM टीम द्वारा चुनी गई तकनीकों में प्रोटोटाइप डेवलपमेंट के लिए Python 3.5, टेक्स्ट प्रोसेसिंग के लिए NLTK + Gensim + Re, डेटा विश्लेषण और मॉडल डेवलपमेंट के लिए Pandas + Sklearn और गहरा सीखने की रूपरेखा और बैकएंड के रूप में Keras + Tensorflow शामिल हैं।

प्रारंभिक डेटा की संभावित विशेषताओं को ध्यान में रखते हुए, सारांश क्षेत्र से चरित्र निष्कर्षण के लिए तीन अभ्यावेदन का निर्माण किया गया था: प्रतीक स्तर पर, प्रतीकों का संयोजन, और व्यक्तिगत शब्द। प्रत्येक निरूपण का उपयोग एक आवर्तक तंत्रिका नेटवर्क के प्रवेश द्वार के रूप में किया गया था।

बदले में, सेवा चरित्र के आँकड़े (विस्मयादिबोधक बिंदु, स्लैश, आदि का उपयोग करके प्रसंस्करण के लिए महत्वपूर्ण) और सेवा वर्ण और कचरा (पाठ संरचना के कॉम्पैक्ट संरक्षण के लिए) को फ़िल्टर करने के बाद तार के औसत मूल्यों को विवरण क्षेत्र के लिए एक प्रतिनिधित्व के रूप में चुना गया; शब्दों को छानने के बाद शब्द-स्तरीय प्रतिनिधित्व। प्रत्येक प्रतिनिधित्व एक तंत्रिका नेटवर्क के प्रवेश द्वार के रूप में कार्य करता है: एक पूरी तरह से जुड़े, लाइन-बाय-लाइन और शब्दों के स्तर पर आँकड़े - एक पुनरावर्ती में।



इस योजना में, एक तंत्रिका नेटवर्क का उपयोग एक आवर्तक नेटवर्क के रूप में किया गया था, जिसमें एक पुनरावर्ती और सामान्य ड्रॉपआउट के साथ एक द्विदिश GRU परत शामिल है, GlobalMaxPool1D परत और एक ड्रॉपआउट के साथ पूरी तरह से जुड़ा हुआ (घना) परत का उपयोग करके आवर्तक नेटवर्क के छिपे हुए राज्यों का एक पूल। प्रत्येक इनपुट के लिए, तंत्रिका नेटवर्क के अपने स्वयं के "सिर" का निर्माण किया गया था, और फिर उन्हें संयोजन के माध्यम से जोड़ा गया और लक्ष्य चर पर बंद कर दिया गया।


अंतिम परिणाम प्राप्त करने के लिए, संयुक्त तंत्रिका नेटवर्क ने प्रत्येक प्रकार से संबंधित एक विशेष अनुरोध की संभावनाओं को वापस कर दिया। डेटा को बिना चौराहों के पांच ब्लॉकों में विभाजित किया गया था: मॉडल उनमें से चार पर बनाया गया था और पांचवें पर परीक्षण किया गया था। चूंकि प्रत्येक अनुरोध को केवल एक प्रकार का अनुरोध सौंपा जा सकता है, इसलिए निर्णय लेने का नियम सरल था - अधिकतम संभावना मूल्य द्वारा।

प्रोटोटाइप नंबर 2: एल्गोरिदम और काम के सिद्धांत

दूसरा प्रोटोटाइप, जिसके लिए वीटीबी कैपिटल टीम द्वारा तैयार प्रस्ताव लिया गया था, मशीन सीखने के एल्गोरिदम को लागू करने के लिए Microsoft.ML पुस्तकालयों के साथ Microsoft .NET कोर पर एक आवेदन है और RATA API के माध्यम से जीरा के साथ बातचीत के लिए Atlassian.Net SDK है। एमएल-मॉडल बनाने का आधार भी ऐतिहासिक डेटा - 50,000 जीरा-टिकट था। जैसा कि पहले मामले में, मशीन लर्निंग ने खेतों को कवर किया था सारांश और विवरण। उपयोग करने से पहले, दोनों फ़ील्ड "साफ" भी थे। अभिवादन, हस्ताक्षर, पत्राचार इतिहास और गैर-पाठीय तत्व (उदाहरण के लिए, चित्र) उपयोगकर्ता के पत्र से हटा दिए गए थे। इसके अलावा, माइक्रोसॉफ्ट एमएल में अंतर्निहित कार्यक्षमता का उपयोग करते हुए, उन शब्दों को रोकें जो अंग्रेजी पाठ से प्रसंस्करण और विश्लेषण के लिए प्रासंगिक नहीं थे।

Averaged Perceptron (बाइनरी वर्गीकरण) को मशीन लर्निंग अल्गोरिथम के रूप में चुना गया था, जिसे मल्टी वर्सल क्लासिफिकेशन प्रदान करने के लिए एक वर्सस ऑल विधि द्वारा पूरक बनाया गया है।

परिणामों का मूल्यांकन

कोई भी एमएल मॉडल (संभवतः, अभी तक) परिणाम की 100% सटीकता प्रदान नहीं कर सकता है।
एल्गोरिथम प्रोटोटाइप नंबर 1 सही वर्गीकरण का हिस्सा प्रदान करता है (सटीकता), अनुरोधों की कुल संख्या के 0.8003 के बराबर, या 80%। इसके अलावा, एक ऐसी स्थिति में एक समान मीट्रिक का मूल्य जहां यह माना जाता है कि समाधान द्वारा प्रस्तुत दो में से सही उत्तर का चयन 0.901, या 90% तक पहुंच जाता है। बेशक, ऐसे मामले हैं जहां विकसित समाधान बदतर काम करता है या सही जवाब नहीं दे सकता है - एक नियम के रूप में, शब्दों के बहुत कम सेट या अनुरोध में सूचना की विशिष्टता के कारण। सीखने की प्रक्रिया में उपयोग किए गए डेटा की अपर्याप्त बड़ी मात्रा द्वारा भूमिका अभी भी निभाई जाती है। प्रारंभिक अनुमानों के अनुसार, संसाधित जानकारी की मात्रा में वृद्धि से वर्गीकरण सटीकता को एक और 0.01-0.03 अंक बढ़ाना संभव हो जाएगा।

सटीकता (परिशुद्धता) और पूर्णता (रिकॉल) के मेट्रिक्स में सर्वश्रेष्ठ मॉडल के परिणामों का मूल्यांकन निम्नानुसार किया जाता है:



यदि हम ROC-AUC-curves का उपयोग करके विभिन्न प्रकार के प्रश्नों के लिए मॉडल की गुणवत्ता का संपूर्ण मूल्यांकन करते हैं, तो परिणाम निम्नानुसार हैं।

कार्रवाई के लिए अनुरोध (एक्शन रिक्वेस्ट) और सूचना का विश्लेषण (विश्लेषण / कार्य अनुरोध)





व्यवसाय डेटा में परिवर्तन (व्यावसायिक डेटा अनुरोध) और परिवर्तनों के लिए अनुरोध (परिवर्तन अनुरोध)





विकास अनुरोध और पूछताछ अनुरोध





एक नई वस्तु बनाने का अनुरोध (नया ऑब्जेक्ट अनुरोध) और एक नया उपयोगकर्ता जोड़ें (नया उपयोगकर्ता अनुरोध)





उत्पादन अनुरोध और UAT / DEV समर्थन अनुरोध (UAT / Dev समर्थन अनुरोध)





कुछ प्रकार के प्रश्नों के लिए सही और गलत वर्गीकरण के उदाहरण नीचे दिए गए हैं:

जांच का अनुरोध


अनुरोध बदलें

सही वर्गीकरण



गलत वर्गीकरण



कार्रवाई का अनुरोध

सही वर्गीकरण



गलत वर्गीकरण



उत्पादन मुद्दा
सही वर्गीकरण



गलत वर्गीकरण



दूसरे प्रोटोटाइप ने भी अच्छे परिणाम दिखाए: लगभग 75% मामलों में, एमएल सही तरीके से क्वेरी के प्रकार (सटीकता मीट्रिक) को निर्धारित करता है। संकेतक को बेहतर बनाने का अवसर स्रोत डेटा की गुणवत्ता में सुधार के साथ जुड़ा हुआ है, विशेष रूप से, उन मामलों को समाप्त करना जहां एक ही प्रश्न विभिन्न प्रकारों को सौंपा गया था।

संक्षेप में देना

कार्यान्वित किए गए प्रोटोटाइपों में से प्रत्येक ने अपनी प्रभावशीलता दिखाई है, और अब दो विकसित प्रोटोटाइपों के संयोजन को VTB कैपिटल में पायलट उत्पादन में लॉन्च किया गया है। एक महीने से भी कम समय में और कम लागत पर एमएल के साथ एक छोटे से प्रयोग ने कंपनी को मशीन सीखने के साधनों से परिचित होने और उपयोगकर्ता अनुरोधों को वर्गीकृत करने के लिए एक महत्वपूर्ण एप्लिकेशन समस्या को हल करने में सक्षम बनाया।

ईपीएएम और वीटीबी कैपिटल के डेवलपर्स द्वारा प्राप्त अनुभव - आगे के विकास के लिए उपयोगकर्ता अनुरोधों को संसाधित करने के लिए कार्यान्वित एल्गोरिदम का उपयोग करने के अलावा - सूचना के स्ट्रीम प्रसंस्करण से संबंधित विभिन्न कार्यों को हल करने में पुन: उपयोग किया जा सकता है। छोटे पुनरावृत्तियों में आंदोलन और एक के बाद एक प्रक्रिया का कवरेज आपको धीरे-धीरे मास्टर करने और विभिन्न उपकरणों और प्रौद्योगिकियों को संयोजित करने की अनुमति देता है, अच्छी तरह से सिद्ध विकल्पों का चयन करता है और कम प्रभावी लोगों को छोड़ देता है। यह आईटी टीम के लिए दिलचस्प है और साथ ही प्रबंधन और व्यवसाय के लिए महत्वपूर्ण परिणाम प्राप्त करने में मदद करता है।