कैसे मेथोडियस अन्ना बन गया: वॉयस मैसेज क्लासिफायर के विकास और लॉन्च करने का अनुभव। भाग 3

उद्देश्य श्रृंखला


आपको याद दिला दूं कि पहली और दूसरी पोस्ट में, हमें तकनीकी सहायता कॉल को वर्गीकृत करने के लिए एक मॉडल मिला और सीखा कि कैसे सभी रेक को इकट्ठा किए बिना इसे उत्पादक के लिए आउटपुट किया जाए। हम इस निष्कर्ष पर पहुंचे कि जटिल मॉडल बनाने से पहले, आपको अपने डेटा की पूर्णता और सटीकता को समझने की आवश्यकता है। और निष्कर्ष संख्या 2 यह बन गया: अपने उपयोगकर्ता को समझें और फिर शुरू करें सेवा बहुत आसान हो जाएगी।

इस लेख में हम दूसरे मामले के बारे में बात करेंगे, जिसे अन्ना के वॉयस रोबोट ने हमें हल करने में मदद की।

केस नंबर 2। कार्य और डेटा


जब हमने लोगों के तर्क को समझा और पहली आवाज के क्लासिफायर का परिचय देते समय धक्कों की आवाज मिली, तो हम एक और समस्या को हल करने के लिए प्रेरित हुए।

मुद्दा है।


बिक्री विभाग से 34% कॉल तकनीकी सहायता सेवा में स्थानांतरित की जाती हैं। मैं विभागों के बीच तबादलों की संख्या कम करना चाहता हूं। सबसे पहले, आइए जानें कि यह पहले कैसे काम करता था? कंपनी के कॉल सेंटर में एक कॉल होता है, एक चेक बनाया जाता है कि यह नंबर ज्ञात है या नहीं (क्या यह हमारे crm में मौजूद है)। यदि संख्या कंपनी को ज्ञात है, तो यह पहले से ही हमारा ग्राहक है, उन्होंने तकनीकी सहायता के लिए एक कॉल भेजा, यदि संख्या अपरिचित है, तो बिक्री विभाग को कॉल रूट किया जाता है।

छवि

इस तरह की जाँच से समस्या हल नहीं होती है। फिर भी, बिक्री विभाग ने अभी भी कॉल का तीसरा हिस्सा तकनीकी सहायता के लिए स्थानांतरित कर दिया है, क्योंकि सभी ग्राहक संख्या हमारे लिए परिचित नहीं हैं। कम से कम हममें से प्रत्येक के पास दो सिम कार्ड हैं। या यह उस व्यक्ति का नहीं है जिसने अपने संपर्कों को छोड़ दिया जो मौजूदा कनेक्शन पर कॉल करते हैं, लेकिन उनके रिश्तेदार, लेकिन सवाल तकनीकी है, हालांकि कंपनी के लिए संख्या परिचित नहीं है।

इस प्रकार, एक प्रणाली विकसित करना आवश्यक है जो स्वचालित रूप से तकनीकी सहायता और कॉलर द्वारा बोले गए पाठ के आधार पर बिक्री विभाग के बीच कॉल वितरित करता है। योजनाबद्ध रूप से नीचे आरेख कॉल प्रोसेसिंग एल्गोरिदम को दर्शाता है।

छवि

पहले मामले के समाधान के लिए डेटा लगभग समान थे। बिक्री विभाग द्वारा प्राप्त कॉल से मान्यता प्राप्त वाक्यांशों को तकनीकी सहायता विभाग को हस्तांतरण की उपस्थिति के लिए चिह्नित किया गया था। इस तरह, हम तकनीकी मुद्दों को खरीद / कनेक्शन मुद्दों से अलग करना चाहते थे।

मामले का हल


हमने विभिन्न मॉडलों को प्रशिक्षित किया और निम्नलिखित गुणवत्ता प्राप्त की।
एल्गोरिथ्मवर्गच स्कोर
LogRegबिक्री0.78
LogRegसमर्थन0.69
बेतरतीब जंगलबिक्री0.75
बेतरतीब जंगलसमर्थन0.62
SVMबिक्री0.71
SVMसमर्थन0.62
XGBoostबिक्री0.61
XGBoostसमर्थन0.57
सीएनएनबिक्री0.76
सीएनएनसमर्थन0.63

जैसा कि तालिका से देखा जा सकता है, गुणवत्ता खराब है। आपको उच्चतम संभव गुणवत्ता के साथ बिक्री निर्धारित करने की आवश्यकता है, क्योंकि यह भविष्य के ग्राहकों की वफादारी है। ऐसे व्यक्ति को स्थानांतरित करना असंभव है जो हमारी सेवाओं को तकनीकी सहायता से खरीदना चाहता है।

निर्णय की कठिनाइयाँ। विभाजन


वर्गीकरण की गुणवत्ता में सुधार करने के लिए, हमने यह जांचने का फैसला किया कि क्या उनमें प्रयुक्त शब्दावली से कक्षाएं अलग हो सकती हैं। एक विश्लेषण आयोजित किया।

पुन: आवंटन से पहले अक्सर इस्तेमाल की जाने वाली शब्द तालिका
छवि

जैसा कि आप देख सकते हैं, अधिकांश शब्द दोनों वर्गों के लिए सामान्य हैं। यह उम्मीद की जा रही थी कि सभी तकनीकी शब्द तकनीकी सहायता वर्ग में होंगे, लेकिन यह पता चला कि "बिक्री" वर्ग में "रिबूट" शब्द भी था। हम इसके कारणों को समझने लगे। यह पता चला कि अक्सर बिक्री विभाग के ऑपरेटर ने तकनीकी सहायता में अनुवाद किए बिना, हल्के तकनीकी मुद्दों पर सलाह दी, इससे गलत मार्कअप हुआ।

हमने डाटासेट को फिर से आवंटित किया और फिर से प्रत्येक वर्ग के लिए शीर्ष शब्दों को अनलोड किया।
पुन: लेआउट के बाद अक्सर उपयोग की जाने वाली शब्द तालिका
छवि

यह बेहतर हो गया, "तकनीकी सहायता" वर्ग के सभी "तकनीकी" शब्द पहले से ही थे, और बिक्री के साथ आने वाले शब्द "बिक्री" वर्ग में थे। हमने इसे वर्गीकरण की गुणवत्ता पर देखा।
एल्गोरिथ्मवर्गएफ-स्कोर थाएफ-स्कोर, बन गया
LogRegबिक्री0.780.94
LogRegसमर्थन0.690.87
बेतरतीब जंगलबिक्री0.750.92
बेतरतीब जंगलसमर्थन0.620.82
SVMबिक्री0.710.93
SVMसमर्थन0.620.86
XGBoostबिक्री0.610.91
XGBoostसमर्थन0.570.78
सीएनएनबिक्री0.760.93
सीएनएनसमर्थन0.630.86

जैसा कि तालिका से देखा जा सकता है, गुणवत्ता खराब है। आपको उच्चतम संभव गुणवत्ता के साथ बिक्री निर्धारित करने की आवश्यकता है, क्योंकि यह भविष्य के ग्राहकों की वफादारी है। ऐसे व्यक्ति को स्थानांतरित करना असंभव है जो हमारी सेवाओं को तकनीकी सहायता से खरीदना चाहता है।

केस नंबर 2। निष्कर्ष।


लेख का निष्कर्ष क्या है? आपके द्वारा प्रभावित की जाने वाली व्यावसायिक प्रक्रिया को समझें । हां, कोई यह कह सकता है कि डेटा को समझना महत्वपूर्ण है, क्योंकि यही कारण है कि हमने फिर से विभाजन शुरू किया। लेकिन अगर हम कॉल करने की प्रक्रिया में पहले से पता लगा लेते हैं, तो हमें तुरंत पता चल जाएगा कि बिक्री विभाग के ऑपरेटर तकनीकी रूप से जानकार हैं और कॉल को हमेशा तकनीकी सहायता के लिए स्थानांतरित नहीं करते हैं। इसलिए, मार्कअप के रूप में अनुवाद की उपस्थिति लेना काफी सही निर्णय नहीं था। निष्कर्ष - व्यवसाय प्रक्रियाओं को समझना जटिल एल्गोरिदम में महारत हासिल करने और छोटी तकनीकी समस्याओं को हल करने की तुलना में बहुत अधिक उपयोगी है।

लेखों की एक श्रृंखला के परिणाम


हमने एक प्रणाली लागू की है जो ग्राहक के सवाल के विषय को समझती है और कॉल को रूट करती है। हमें पता चलता है कि कॉलर के पास क्या प्रश्न है, और यदि प्रश्न तकनीकी है, तो हम तकनीकी सहायक ऑपरेटर का चयन करते हैं जो इस विषय को समझता है। यदि प्रश्न जुड़ा हुआ है, तो बिक्री विभाग को स्थानांतरित करें।



हमें यह सब क्यों चाहिए? आपने क्या हासिल किया है? सबसे पहले, हमने विभागों के बीच स्थानान्तरण की संख्या को कम किया। ग्राफ से पता चलता है कि 19 और 20 जनवरी को परीक्षण के दिन थे, और 7 फरवरी से, क्लासिफायर को चालू आधार पर शुरू किया गया था।

छवि

और दूसरी बात, हम एक ऐसी प्रणाली विकसित करने में कामयाब रहे जिसके साथ रोबोट के साथ संवाद करना आसान है। दूसरे लेख में नवीनतम ऑडियो उदाहरण इसके प्रमाण हैं।

तीनों पदों के निष्कर्ष


  1. डेटा और मार्कअप से निपटें
  2. सिस्टम उपयोगकर्ताओं को समझें
  3. इसे बदलने से पहले व्यावसायिक प्रक्रिया को समझें
  4. जल्दी से परीक्षण करना और परिणामों पर प्रतिक्रिया देना सीखें

अंतिम निष्कर्ष तब सामने आया जब हमने महसूस किया कि हमने कार्य को सिस्टम के वास्तविक लॉन्च में स्थापित करने से कितना समय बिताया। मैं चाहता हूं कि सभी लोग परिकल्पना परीक्षण चक्र को छोटा करें और अपने काम को और तेज़ी से पेश करें।

आगे क्या है? हमारी योजनाएँ


हम ग्राहक की न केवल पहली वाक्यांश को समझने की योजना बनाते हैं, बल्कि एक बातचीत को बनाए रखने के लिए और ऑपरेटर के लिए "प्रकाश" कॉल नहीं लाने के लिए, निम्नलिखित भी।

छवि

छवि

छवि

Source: https://habr.com/ru/post/hi474020/


All Articles