हमने मशीन लर्निंग का उपयोग करके मोबाइल ऐप समीक्षाओं का विश्लेषण कैसे किया

हाल ही में, हम, Sbertech के डेटा साइंस बिग डेटा टीम ने मशीन सीखने के क्षेत्र में एक दिलचस्प पायलट पूरा किया: हमने मोबाइल Sberbank Online के काम में घटनाओं की पहचान करने की कोशिश की, इसका उपयोग, एप्लिकेशन स्टोर में उपयोगकर्ता फीडबैक ग्रंथों के आधार पर किया। हमने अक्टूबर 2014 से अक्टूबर 2017 (882,864 समीक्षाएँ) तक की अवधि के लिए Google Play से समीक्षाओं का डेटासेट लिया, 92,711 नकारात्मक (1-2 स्टार) फ़िल्टर किए और काम करना शुरू कर दिया। जिसे हम कट के नीचे बताएंगे।



हम तुरंत एक संभावित सवाल का जवाब देंगे। नकारात्मक से सकारात्मक प्रतिक्रिया का अनुपात घटनाओं से जुड़ा हुआ नहीं था, इसलिए अधिक चालाक तरीकों की आवश्यकता थी। इसके अलावा, हम घटनाओं के विषयों की पहचान करना चाहते थे।

विसंगतियों की पहचान करने के लिए, हमने निरंकुश एकीकृत चलती औसत का अरिमा मॉडल चुना।

गैर-स्थिर समय श्रृंखला Xt के लिए ARIMA (p, d, q) का रूप है:


जहां εt स्थिर समय श्रृंखला है; सी, एआई, बीजे - मॉडल पैरामीटर; △ d आदेश d की समय श्रृंखला में अंतर का ऑपरेटर है (क्रमिक रूप से पहले क्रम के अंतरों के d अंतरों को ले रहा है - पहले समय श्रृंखला से, फिर प्राप्त प्रथम क्रम के अंतर से, फिर दूसरे क्रम से, आदि)।

हमने पूरे नमूने में मॉडल को प्रशिक्षित किया। चयनित तिथि के लिए नकारात्मक समीक्षाओं के सामान्य स्तर की भविष्यवाणी करने के लिए, तीन महीने के अंतराल का उपयोग किया गया था। भविष्यवाणी को चयनित तिथि से एक सप्ताह पहले बनाया गया था, जिसमें एक दिन का विवेक था।

फिर एक विश्वास स्तर का गठन किया। ऐसा करने के लिए, प्रत्येक तिथि के लिए पूर्वानुमान अंतराल के मूल्य में विश्वास अंतराल की गणना की गई मूल्य को जोड़ा गया था। तीन महीने के अंतराल पर नकारात्मक समीक्षाओं की वास्तविक संख्या से भविष्यवाणी समारोह के सभी विचलन के वितरण की तीसरी मात्रा, जिस पर सामान्य स्तर की भविष्यवाणी आधारित है, उसके लिए लिया गया था।

विसंगति तब दर्ज की गई थी जब नकारात्मक समीक्षाओं की वास्तविक संख्या विश्वास स्तर (पूर्वानुमान मूल्य + विश्वास अंतराल) से अधिक थी। यहाँ यह एक चार्ट पर कैसा दिखता है:


रेड रिव्यू की वास्तविक संख्या है। पीला रंग - एक आत्मविश्वास अंतराल के साथ सामान्य स्तर का अनुमानित मूल्य

आगे के विश्लेषण के लिए, 5 अलग-अलग चोटियों का चयन किया गया, जो 02/27/2017, 03/15/2017, 09/14/2017, 09/18/2017, 09/20/2017 को हुईं।

BIGARTM और Word2Vec के आधार पर दो मॉडल के साथ निर्मित ग्रंथियों की क्लस्टरिंग समीक्षा के साथ समीक्षा ग्रंथों को क्लस्टर करके घटनाओं की पहचान की गई।

BIGARTM लाइब्रेरी (विषयगत मॉडल)

विषयगत मॉडल संग्रह डी के दस्तावेजों में शब्दों (शब्दों या वाक्यांशों) की शर्तों के मनाया सशर्त वितरण पी (डब्ल्यू। डी) का प्रतिनिधित्व है:


जहां टी विभिन्न प्रकार के विषय हैं;
- विषय t में शब्दों का अज्ञात वितरण;
- दस्तावेज़ में विषयों का अज्ञात वितरण d ।

विषयगत मॉडल के पैरामीटर - मैट्रिक्स और - संभावना को अधिकतम करने की समस्या को हल करके पाया जाता है:



अन्य संभाव्य मॉडल पर मुख्य लाभ चौरसाई, पतलेपन, सजावट के लिए नियमितीकरण की उपलब्धता है।

Word2Vec के साथ मॉडल

Word2Vec का उपयोग करने वाला मॉडल टेंसर बीजगणित पर आधारित है। इसके तहत समीक्षाओं में सभी शब्दों का एक शब्दकोश संकलित किया गया था। Word2Vec शब्दों का वेक्टर प्रतिनिधित्व क्लस्टर के लिए आधार स्थान बन गया है।

एल्गोरिदम ऐसा है जो इन समूहों के केंद्रों से समूहों के बिंदुओं के कुल द्विघात विचलन को कम करना चाहता है:


k क्लस्टर की संख्या है, S _I परिणामी क्लस्टर हैं, i = 1.2 ... k , और μ _मैं क्लस्टर S _i से सभी वैक्टर x के द्रव्यमान का केंद्र हैं। अब आइए विशिष्ट उदाहरणों पर मॉडल के परिणाम देखें।

पीक 03/15/2017 के साथ असामान्य अवधि

BIGARTM :

क्लस्टर नंबर	टैग	क्लस्टर समीक्षा उदाहरण (स्रोत शब्दावली)
1	अद्यतन संस्करण ऑपरेशन खाता कार्य त्रुटि ट्रांसफर वापसी को स्थापित करने में सक्षम नहीं है	“पुराना संस्करण काम नहीं कर रहा है। मुझे अपडेट की आवश्यकता नहीं है। फोन पर जगह नहीं है! पुराने संस्करण का उपयोग करने का अवसर लौटें !!! “मैं बिल्कुल भी एप्लिकेशन इंस्टॉल नहीं कर सकता, फोन पर पर्याप्त मेमोरी है, 50% से अधिक है, लेकिन एप्लिकेशन हठपूर्वक लिखता है कि इंस्टॉल करने का कोई तरीका नहीं है, त्रुटि 24! त्रुटि को ठीक करें, पहले इसका इस्तेमाल किया था, वास्तव में इसे पसंद किया !!! !!! “उन्नयन के बाद, इसने काम करना बंद कर दिया! संदेश के साथ एक विंडो दिखाई देती है: "" Sberbank "" और "अलविदा" एप्लिकेशन में एक त्रुटि हुई। झटका अद्यतन! अपडेट से पहले, सब कुछ ठीक काम किया, पूरी तरह से संतुष्ट। और साथ ही, मेरे पास एक भी ऐसी बकवास नहीं है! "
2	काम करने के लिए लिखने के लिए सक्षम करने के लिए कनेक्शन स्मृति लगातार समस्या को दूर करने के लिए लगातार उड़ान नहीं भर सकता है	"मैं आवेदन नहीं कर सकता, मैं कोड दर्ज करता हूं, लिखता हूं, मैं सुरक्षित कनेक्शन को पुनर्स्थापित नहीं कर सकता हूं! क्या कर रहे हो ?! या इसलिए आप अपडेट होने के लिए मजबूर करें! मैं पुराने अपडेट से खुश था! समस्या हल करो! ” “आपने एक महान कार्यक्रम के साथ क्या किया है? प्रकट किया और पछताया। हर 2 मिनट में, एक विंडो पॉप अप होती है, जिसमें "" Sberbank से कनेक्शन बाधित होता है ""। मैंने हटाने और पुन: स्थापित करने का निर्णय लिया। अब यह बिल्कुल नहीं खुलता है। तुरंत इसे कार्यक्रम से बाहर फेंक दिया। दोस्तों, पुराने संस्करण को वापस »
3	sms not_to कोड कार्ड में आते हैं, आपको धन्यवाद की जरूरत है not_work input not_may बाहर जाने में सक्षम हो	"एसएमएस पासवर्ड के साथ फोन पर नहीं आता है" "रजिस्टर नहीं करता, लिखता है कि एसएमएस कोड के साथ आएगा और कुछ भी नहीं ...।" “अपडेट के बाद, प्रवेश करने के बारे में एक एसएमएस आता है, लेकिन दहलीज 4 सेकंड के बाद बाहर निकल जाती है। कैसे हो? ”

Word2Vec + Kmeans:

क्लस्टर नंबर	टैग	क्लस्टर समीक्षा उदाहरण (स्रोत शब्दावली)
1	उपयोग के अद्यतन में अद्यतन कनेक्शन लॉग	"मैं आवेदन नहीं कर सकता, मैं कोड दर्ज करता हूं, लिखता हूं, मैं सुरक्षित कनेक्शन को पुनर्स्थापित नहीं कर सकता हूं! क्या कर रहे हो ?! या इसलिए आप अपडेट होने के लिए मजबूर करें! मैं पुराने अपडेट से खुश था! समस्या हल करो! ” "कनेक्शन टूट गया है, दूसरे नेटवर्क से कनेक्ट करें - यह वही है जो मैं अक्सर देखता हूं जब मैं आवेदन में जाना चाहता हूं। मैं हमेशा अपडेट आता हूं जब वे बाहर आते हैं। यदि आप सफल होते हैं, तो सब कुछ ठीक रहता है। ”
2	एसएमएस इनपुट फोन लॉगिन आते हैं	“अपडेट के बाद, प्रवेश करने के बारे में एक एसएमएस आता है, लेकिन दहलीज 4 सेकंड के बाद बाहर निकल जाती है। कैसे हो? ” "एसएमएस पासवर्ड के साथ फोन पर नहीं आता है" "पंजीकरण करते समय, एसएमएस एक कोड के साथ नहीं आता है ..." "यह दर्ज करना संभव नहीं है। एसएमएस कोड नहीं आता है। जल्द ही सब कुछ ठीक करें।"

BIGARTM	Word2Vec + Kmeans
केवल 194 समीक्षाएँ। 3 समूहों की पहचान की। क्लस्टरिंग के दौरान पहचानी गई समस्याएं: संस्करण उन्नयन से संबंधित अनुप्रयोग प्रदर्शन समस्या। Sberbank के साथ कनेक्शन से संबंधित एप्लिकेशन की समस्या। कोड के साथ उपयोगकर्ता को एसएमएस भेजने की समस्या।	केवल 190 समीक्षाएँ। 2 समूहों की पहचान की। क्लस्टरिंग के दौरान पहचानी गई समस्याएं: कनेक्शन और संस्करण उन्नयन के साथ लॉगिन समस्या। कोड के साथ उपयोगकर्ता को एसएमएस भेजने की समस्या।

जैसा कि आप परिणामों से देख सकते हैं, BIGARTM Word2Vec + Kmeans की तुलना में अधिक स्पष्ट रूप से थीम को हाइलाइट करता है। Word2Vec + Kmeans मॉडल के लिए, उन शब्दों के साथ छोटी असंबंधित समीक्षाएं जिनके पास वेक्टर प्रतिनिधित्व नहीं था (त्रुटियों, अपवित्रता आदि शब्दों के साथ) को ध्यान में नहीं रखा गया था।

दिलचस्प बात यह है कि इस अवधि के दौरान, आंतरिक सर्विसडेस्क सिस्टम में घटनाओं को संस्करण को अद्यतन करने की समस्या के अनुसार वर्गीकृत नहीं किया गया था और अलग से नियंत्रित किया गया था। इसका मतलब यह है कि इस मामले में, मॉडल एक व्यक्ति की तुलना में बेहतर कार्य का सामना करता है।

प्रारंभिक मान्यता

और यहां एक उदाहरण है जो हमारे मॉडल की क्षमता को लगातार काम करने की क्षमता को दर्शाता है। 09/18/2017 आवेदन में प्रवेश करने और कुछ उपयोगकर्ताओं के लिए भुगतान करने में असमर्थता से संबंधित ServiceDesk में एक बड़ी समस्या दर्ज की गई थी। Arima चार्ट पर, हम इस तिथि पर नकारात्मक समीक्षाओं का एक मजबूत उछाल देखते हैं, साथ ही साथ चार दिन पहले एक मामूली प्रकोप।



हमने इन दोनों आउटलेयर का विश्लेषण किया।

14 सितंबर, 2017:

BIGARTM	Word2Vec + Kmeans
केवल 243 समीक्षाएँ। 3 समूहों की पहचान की। क्लस्टरिंग के दौरान पहचानी गई समस्याएं: धन के हस्तांतरण के साथ समस्या। इंटरफ़ेस के साथ समस्या। अद्यतन के बाद आवेदन दर्ज करने में समस्या। आवेदन में प्रवेश करने में समस्या। उपयोगकर्ता गोपनीयता नीति से संतुष्ट नहीं है।	केवल 171 समीक्षाएँ। 1 क्लस्टर की पहचान की। क्लस्टरिंग के दौरान पहचानी गई समस्या: अद्यतन के बाद आवेदन में काम करने की समस्या। उपयोगकर्ता गोपनीयता नीति से संतुष्ट नहीं है, धन के हस्तांतरण के साथ एक समस्या भी है।

18 सितंबर, 2017:

BIGARTM	Word2Vec + Kmeans
केवल 935 समीक्षाएँ। 3 समूहों की पहचान की। क्लस्टरिंग के दौरान पहचानी गई समस्याएं: संस्करण को अपडेट करने के बाद एप्लिकेशन में प्रवेश करने में समस्या। एप्लिकेशन उपयोगकर्ता को अप्रचलित संस्करण के बारे में संदेश देता है। आवेदन में प्रवेश करने में समस्या। उपयोगकर्ता कई बार पासवर्ड दर्ज करता है, एप्लिकेशन जमा करता है। अंतर्निहित एंटीवायरस से संबंधित अनुप्रयोग प्रदर्शन समस्या।	केवल 828 समीक्षाएँ। 1 क्लस्टर की पहचान की। क्लस्टरिंग के दौरान पहचानी गई समस्या: पासवर्ड दर्ज करने और एप्लिकेशन में प्रवेश करने में समस्या। वर्जन अपडेट करने में त्रुटि।

और यहां बताया गया है कि ये परिणाम ServiceDesk के डेटा से कैसे तुलना करते हैं।

तारीख विसंगति का पता चला	एसएम में रिपोर्ट जारी की	का उपयोग कर समस्या की प्रकृति का निर्धारण BIGARTM	का उपयोग कर समस्या की प्रकृति का निर्धारण Word2Vec + Kmeans
2017/09/14 00:00 - 24:00	एप्लिकेशन को अपडेट करने के बाद, अपडेट किए गए एप्लिकेशन से कॉल की एक बढ़ी हुई पृष्ठभूमि।	धन के हस्तांतरण के साथ समस्या। इंटरफ़ेस के साथ समस्या। अद्यतन के बाद आवेदन दर्ज करने में समस्या। आवेदन में प्रवेश करने में समस्या। उपयोगकर्ता गोपनीयता नीति से संतुष्ट नहीं है।	अद्यतन के बाद आवेदन में काम करने की समस्या। उपयोगकर्ता गोपनीयता नीति से संतुष्ट नहीं है, धन के हस्तांतरण के साथ एक समस्या भी है।
2017/09/18 00:00 - 24:00	09:23 के बीच 15:20 मॉस्को समय तक, बैंक के कुछ ग्राहकों के लिए, सर्बैंक ऑनलाइन के साथ संचालन करने और संचालन करने के समय में वृद्धि दर्ज की गई थी। IOS का उपयोग करने वाले ग्राहकों के काम पर घटनाओं का व्यावहारिक रूप से कोई प्रभाव नहीं था। बैंक के संपर्क केंद्र में ग्राहकों की संख्या में वृद्धि (15 मिनट में 1369 अतिरिक्त कॉल तक)।	संस्करण को अपडेट करने के बाद एप्लिकेशन में प्रवेश करने में समस्या। एप्लिकेशन उपयोगकर्ता को अप्रचलित संस्करण के बारे में संदेश देता है। आवेदन में प्रवेश करने में समस्या। उपयोगकर्ता कई बार पासवर्ड दर्ज करता है, एप्लिकेशन जमा करता है। अंतर्निहित एंटीवायरस से संबंधित अनुप्रयोग प्रदर्शन समस्या।	पासवर्ड दर्ज करने और एप्लिकेशन में प्रवेश करने में समस्या। वर्जन अपडेट करने में त्रुटि।

यह स्पष्ट है कि 18 सितंबर को नकारात्मक ग्राहक समीक्षाओं और कॉल सेंटर में कॉल की एक बड़ी धारा 14 सितंबर की पृष्ठभूमि में एक उचित प्रतिक्रिया की कमी के कारण हुई थी। यह उदाहरण दर्शाता है कि मॉडल प्रारंभिक अवस्था में इसे पहचानकर एक बड़ी समस्या से बचने में मदद कर सकता है।

यह भी दिलचस्प है कि एक ही समय में, मॉडल ने एक और समस्या का पता लगाया (अंतर्निहित एंटीवायरस के साथ) जिसे मुख्य समस्या की पृष्ठभूमि के खिलाफ उजागर नहीं किया गया था। इस पर ServiceDesk में पंजीकरण अनुपस्थित है।

संक्षेप में देना

मशीनी अधिगम उपयोगकर्ता प्रतिक्रिया का विश्लेषण करने का अच्छा काम करता है। कभी-कभी मैन्युअल प्रसंस्करण से भी अधिक सटीक। इससे मोबाइल एप्लिकेशन की घटनाओं को हल करने और इसे बेहतर बनाने के लिए समय कम करने में मदद मिलेगी।

शायद ऐसी विधियां न केवल घटनाओं की पहचान करने के लिए उपयुक्त हैं, बल्कि प्राथमिकता और उपयोगकर्ता मामलों को उजागर करने के लिए तटस्थ और सकारात्मक प्रतिक्रिया का विश्लेषण करने के लिए भी हैं। यह उनके संग्रह और विश्लेषण के लिए अतिरिक्त लागत के बिना ग्राहकों की प्राथमिकताओं के आधार पर एप्लिकेशन की कार्यक्षमता को विकसित करने में मदद करेगा। लेकिन इस विचार को अभी भी जांचने की जरूरत है ...