कैसे मेथोडियस अन्ना बन गया: वॉयस मैसेज क्लासिफायर के विकास और लॉन्च करने का अनुभव। भाग 1

लक्ष्य और उद्देश्य

लेखों की एक श्रृंखला में, हम वॉयस कॉल के वर्गीकरण का विचार करते हैं, कि उनकी आवश्यकता क्यों है, उन्हें जल्दी से उत्पादक में कैसे लाया जाए। मैं आपको उन तरीकों के बारे में बताऊंगा जो किसी कार्य को शुरू करने से लेकर मॉडल लॉन्च करने और व्यावसायिक परिणाम प्राप्त करने तक के समय को कम कर देंगे।
इस लेख के लिए, आप लिंक पर रिपोर्ट देख सकते हैं

मेथडियस अन्ना कैसे बन गया। श्रृंखला संख्या 1

चलो शुरू हो जाओ!

मेरा नाम जूलिया है, मैं एक बड़े प्रदाता के मशीन लर्निंग विभाग में एक इंजीनियर हूँ। ग्राहकों से लगभग 3,000 कॉल प्रति दिन हमारे कॉल सेंटर में आती हैं। प्रत्येक ऑपरेटर को प्रति दिन औसतन 100 कॉल मिलते हैं। तो क्या? ऐसा लगेगा कि यह 100 कॉल स्वीकार करता है। लेकिन कंपनी को कॉल के बहुत सारे विषय हैं, ऑपरेटर को कंपनी के सभी उत्पादों, सेवाओं और प्रक्रियाओं को समझने की आवश्यकता है। यदि हम सबसे विशिष्ट ग्राहक अनुरोध लेते हैं, तो उन्हें 40 (!) विषयों में वर्गीकृत किया जा सकता है, और अभी भी एटिपिकल अनुप्रयोग हैं जिन्हें संसाधित करने में सक्षम होने की आवश्यकता है।

विषयों की विविधता के कारण, ऑपरेटर प्रशिक्षण में तीन महीने लगे। पहले आपको सभी निर्देशों का अध्ययन करने की आवश्यकता है और उसके बाद ही कॉल प्राप्त करने की अनुमति है। एक नया सक्षम ऑपरेटर बनाने के लिए भारी मात्रा में संसाधन खर्च किए जा रहे हैं। इसलिए ऑपरेटर को धीरे-धीरे लाइन में लाने के लिए विचार उत्पन्न हुआ। यही है, वह केवल उन विषयों पर कॉल प्राप्त करेगा, जिन्हें उसने महारत हासिल की है, समय के साथ अपने कौशल को बढ़ाना, अन्य विषयों का अध्ययन करना।

अच्छा विचार है, क्यों नहीं ... एक साधारण आईवीआर? (पूर्व-रिकॉर्ड किए गए वॉइस संदेशों की एक प्रणाली जो कॉल के केंद्र के अंदर कॉल क्लाइंट कीपैड टोन टोनिंग पर क्लाइंट द्वारा दर्ज की गई जानकारी का उपयोग करके कॉल करती है। विकी )।

लेकिन कुछ लोग लंबे समय तक रिकॉर्ड की गई आवाज़ को सुनना पसंद करते हैं, प्रतीक्षा करने के लिए, किस आकृति को दबाया जाना चाहिए, लेकिन अंत में उन्हें अभी भी आवश्यक जानकारी नहीं मिलती है।

हम अपने ग्राहकों को आईवीआर से तंग नहीं करना चाहते हैं और हमने पहले वाक्य के अनुसार ग्राहक के अनुरोध को वर्गीकृत करने के लिए - कार्य निर्धारित किया है। इस प्रकार, आवाज वाले अनुरोध के अनुसार, ऑपरेटरों के बीच रूटिंग घटित होगी।

डेटा

प्रत्येक कॉल के परिणाम पर तकनीकी सहायता ऑपरेटर लगभग 10 वर्षों से कॉल के विषय को उजागर कर रहे हैं। हमने सबसे अधिक 16 समूहों की पहचान की, और इन विषयों से मार्कअप दिखाई दिया। फिर हमने विभिन्न विषयों पर 120k बातचीत के रिकॉर्ड अपलोड किए, Yandex.SpeechKit का उपयोग करके क्लाइंट की वार्तालाप रिकॉर्डिंग को मान्यता दी, और उन्हें मौन द्वारा वाक्यांशों में विभाजित किया। इसलिए हमें अलग-अलग वाक्यांशों के साथ ऑडियो के टुकड़े मिले।

आपको याद दिलाता हूं कि मेरा लक्ष्य ग्राहक के शुरुआती अनुरोध को वर्गीकृत करना था, इसलिए प्रत्येक कॉल से केवल पहला वाक्यांश चुना गया था। कुल मिलाकर, ऑपरेटरों से मार्कअप के साथ पाठ प्रारूप में डेटा 120k ग्राहक वाक्यांश था। मानक पाठ प्रीप्रोसेसिंग: स्टॉप शब्द हटाना, टेक्स्ट को सामान्य करना, (ट्रिक्स: अगले शब्द के लिए "नहीं" कण संलग्न करना) और डेटा तैयार है। मैं आपको एक अन्य लेख में हमारी पूर्व-प्रसंस्करण पाइपलाइन के बारे में अधिक बताऊंगा।

वर्गीकरण

फिर, संसाधित पाठ प्राप्त करने के बाद, हमने कई प्रयोग किए, मॉडल और एम्बेडिंग के विभिन्न कॉन्फ़िगरेशन के माध्यम से हल किया।

सबसे अच्छा परिणाम टीएफ-आईडीएफ और लॉजिस्टिक प्रतिगमन के मानक सेट द्वारा दिया गया था। तालिका में एफ-स्कोर मीट्रिक दिखाया गया है। कुछ प्रयोगों में, पाठ के अलावा, कॉल के समय क्लाइंट (संदर्भ) के बारे में अतिरिक्त 11 संकेत जोड़े गए थे। इस उम्मीद में कि यह किसी तरह गुणवत्ता बढ़ाएगा। संदर्भ - ये बूलियन संकेत हैं, क्या क्लाइंट के पास अब एक नकारात्मक संतुलन है, चाहे मरम्मत को पता सौंपा जाए और अन्य जो क्लाइंट को चिह्नित करते हैं। लेकिन संदर्भ के साथ भी, गुणवत्ता खराब है, केवल 72% हासिल किया गया था।

त्रुटि विश्लेषण

त्रुटि विश्लेषण के बिना, वर्गीकरण की गुणवत्ता में सुधार नहीं हुआ था। उन मामलों की जांच की गई जहां मॉडल गलत हैं, हमने निम्नलिखित विशिष्ट समस्याओं की पहचान की:

• खराब मार्कअप
• वर्ग असंतुलन
• लोगों के लिए एक विचार तैयार करना कठिन है
• भाषण मान्यता

अंकन

मार्कअप अक्सर इस तथ्य के कारण गलत था कि बातचीत एक विषय के साथ शुरू हो सकती है और दूसरे के साथ समाप्त हो सकती है, और ऑपरेटर कॉल का विषय निर्धारित करता है, जिसे बातचीत के बहुत अंत में कहा गया था। ऐसे मामलों को मैन्युअल रूप से पुनर्वितरित किया और समस्या गायब हो गई।

वर्ग संतुलन

संतुलन कक्षाओं के लिए कई दृष्टिकोण हैं।

चुनने के लिए कौन सा दृष्टिकोण कार्य और डेटा की मात्रा पर निर्भर करता है। इस कार्य के हिस्से के रूप में, अधिकांश आवृत्ति वर्गों से उदाहरणों की संख्या के औसत मूल्य से उदाहरणों को हटाकर डेटासेट को संतुलित करना संभव था, लेकिन मामूली कक्षाएं अपरिवर्तित रहीं।

लोगों के लिए विचारों को तैयार करना कठिन है

पहले कुछ वाक्यांशों को पढ़ने के बाद, हमने देखा कि 36% अनुरोधों में एकात्मक पाठ था, उदाहरण के लिए: "हैलो, हैलो" या "हैलो, मेरे पास एक सवाल है।" ऑपरेटर द्वारा पूछे जाने के बाद ही: "आपका प्रश्न क्या है?", ग्राहक ने समस्या को तैयार किया।

इस प्रकार, वार्तालाप से केवल ग्राहक के पहले वाक्यांश को लेना गलत था, कोई व्यक्ति तुरंत एक अनुरोध तैयार करने में सक्षम नहीं था। इसलिए, प्रत्येक पहले वाक्यांश के लिए, "सूचनात्मकता" की गणना की गई थी। यदि मॉडल ने किसी भी वर्ग के लिए उच्च विश्वास के साथ अनुरोध का समर्थन नहीं किया है, अर्थात, सभी वर्गों को एक समान संभावना मूल्य प्राप्त हुआ है, तो संदेश एकरूप है और आपको दूसरा वाक्यांश लेने की आवश्यकता है। और अगर वर्ग पहले से ही उच्च संभावना के साथ निर्धारित होता है, तो पहला वाक्यांश पर्याप्त है।

यहां सही प्रश्न दिखाई दे सकता है, लेकिन उत्पाद पर क्या करना है, क्योंकि इसमें एक ही तरह के अनौपचारिक प्रश्न होंगे। मैं इस बारे में अगले लेख में बात करूंगा।

वाक् पहचान

त्रुटियों का विश्लेषण करते समय, हमने पाठ मान्यता में अशुद्धियों को देखा, जिसके कारण वर्ग को गलत तरीके से परिभाषित किया गया था। उदाहरण के लिए, शब्द "बैलेंस" को कभी-कभी "केला" द्वारा बदल दिया जाता था। हमने यैंडेक्स और Google से मान्यता की तुलना करने का निर्णय लिया। Google ने हमारे डेटा पर खुद को बेहतर दिखाया, लेकिन इसके लिए इतना अधिक भुगतान नहीं किया, कीमत लगभग दोगुनी है।

त्रुटि विश्लेषण सारांश

त्रुटियों का विश्लेषण और सुधार करने के बाद, हम गुणवत्ता को 84% के औसत एफ-स्कोर में सुधार करने में सक्षम थे, सबसे अच्छी गुणवत्ता अभी भी लॉजिस्टिक प्रतिगमन का परिणाम थी।

निष्कर्ष

विकास के पहले चरण को सारांशित करते हुए, हम निम्नलिखित निष्कर्ष निकाल सकते हैं।

सबसे पहले, आपको डेटा और मार्कअप से निपटने की आवश्यकता है। आपको तुरंत तंत्रिका नेटवर्क को प्रशिक्षित नहीं करना चाहिए, गलत डेटा पर इससे बहुत अधिक लाभ नहीं होगा। समय और ऊर्जा बर्बाद करने से बचने के लिए, "सरल" मॉडल पर त्रुटियों का विश्लेषण करना पर्याप्त है।

आपको दूसरी श्रृंखला में देखें, जहां हम एक उत्पादक में एक प्रशिक्षित मॉडल चलाने के बारे में बात करेंगे। हम इस बात के उदाहरणों को सुनेंगे कि कैसे मेथोडियस रोबोट को कॉल प्राप्त होता है, और हम समझेंगे कि वह अन्ना क्यों बन गया।