स्वचालित कॉल मूल्यांकन के लिए गहरे तंत्रिका नेटवर्क

कॉल मूल्यांकन कॉल सेंटरों के लिए गुणवत्ता नियंत्रण का एक महत्वपूर्ण हिस्सा है। यह संगठनों को अपने वर्कफ़्लो को ठीक करने की अनुमति देता है ताकि ऑपरेटर तेज़ी से और अधिक कुशलता से काम कर सकें और एक व्यर्थ दिनचर्या से भी बच सकें।

यह ध्यान रखें कि कॉल सेंटर प्रभावी होना चाहिए, हमने कॉल स्कोर को स्वचालित करने पर काम किया। नतीजतन, हम एक एल्गोरिथ्म के साथ आए जो कॉल को संसाधित करता है और उन्हें दो समूहों में वितरित करता है: संदिग्ध और तटस्थ। सभी संदिग्ध कॉल तुरंत गुणवत्ता मूल्यांकन टीम को भेजे गए थे।

हमने एक गहरे तंत्रिका नेटवर्क को कैसे प्रशिक्षित किया

नमूनों के लिए हमने 1700 ऑडियो फाइलें लीं, जिस पर हमने नेटवर्क को प्रशिक्षित किया। चूंकि न्यूरॉन को शुरू में नहीं पता था कि संदिग्ध पर क्या विचार करना है और क्या तटस्थ है, इसलिए हमने मैन्युअल रूप से सभी फाइलों को तदनुसार चिह्नित किया।

तटस्थ नमूनों में, ऑपरेटर:

• उनकी आवाज़ नहीं उठाई;
• सभी अनुरोधित जानकारी के साथ ग्राहकों को प्रदान करें;
• ग्राहक से उकसावे का जवाब नहीं दिया।

संदिग्ध पैटर्न में, ऑपरेटर अक्सर निम्नलिखित करते हैं:

• अश्लील भाषा का इस्तेमाल किया;
• ग्राहकों पर अपनी आवाज़ बुलंद करें या चिल्लाएँ;
• व्यक्ति के पास गया;
• मुद्दों पर सलाह देने से इनकार कर दिया।

जब एल्गोरिथ्म फ़ाइलों को संसाधित करना समाप्त कर देता है, तो उसने 200 फ़ाइलों को अमान्य के रूप में चिह्नित किया। इन फाइलों में कोई संदिग्ध या तटस्थ संकेत नहीं थे। हमें पता चला कि इन 200 फाइलों में क्या था:

• ऑपरेटर के जवाब देने के तुरंत बाद ग्राहक को लटका दिया गया;
• उत्तर दिए जाने के बाद ग्राहक ने कुछ नहीं कहा;
• क्लाइंट या ऑपरेटर की तरफ बहुत ज्यादा शोर था।

जब हमने इन फ़ाइलों को हटा दिया, तो हमने शेष 1,500 को प्रशिक्षण और परीक्षण मामलों में विभाजित किया। भविष्य में, हमने एक गहरे तंत्रिका नेटवर्क के प्रशिक्षण और परीक्षण के लिए इन डेटासेट का उपयोग किया।

चरण 1: विशेषताएं निकालें

उच्च-स्तरीय फीचर निष्कर्षण मशीन सीखने में एक महत्वपूर्ण भूमिका निभाता है, जैसा कि यह सीधे एल्गोरिथ्म की दक्षता को प्रभावित करता है। सभी संभावित स्रोतों का विश्लेषण करने के बाद, हमने निम्नलिखित लक्षणों का चयन किया:

समय के आँकड़े

• शून्य-क्रॉसिंग दर : वह गति जिस पर सिग्नल प्लस से माइनस में बदल जाता है और इसके विपरीत।
• मीडियन फ्रेम एनर्जी : सिग्नल्स का योग, चौकोर फ्रेम की लंबाई के अनुसार सामान्य और छोटा होता है।
• सबफ्रेम एनर्जी एन्ट्रापी : सामान्यीकृत सबफ्रेम एनर्जी की एन्ट्रापी। इसकी व्याख्या कठोर परिवर्तनों के उपाय के रूप में की जा सकती है।
• फ्रेम का औसत / औसत / मानक विचलन ।

वर्णक्रमीय आँकड़े (आवृत्ति अंतराल के साथ)

1. स्पेक्ट्रल सेंट्रोइड।
2. वर्णक्रमीय वितरण।
3. वर्णक्रमीय एन्ट्रापी।
4. वर्णक्रमीय विकिरण।
5. वर्णक्रम क्षीणन।

तानवाला आवृत्ति के संतृप्त गुणांक और संतृप्ति वेक्टर इनपुट संकेत की लंबाई के प्रति संवेदनशील हैं। हम उन्हें एक बार में पूरी फ़ाइल से निकाल सकते हैं, हालांकि, ऐसा करने पर, हम समय में विशेषता के विकास को याद करेंगे। चूँकि यह विधि हमारे अनुकूल नहीं थी, इसलिए हमने सिग्नल को "विंडोज़" (टाइम ब्लॉक) में विभाजित करने का निर्णय लिया।

संकेत की गुणवत्ता में सुधार करने के लिए, हमने सिग्नल को विखंडू में तोड़ दिया, जिसने आंशिक रूप से एक दूसरे को ओवरलैप किया। अगला, हमने प्रत्येक चंक के लिए क्रमिक रूप से टैग निकाला; इसलिए, विशेषता मैट्रिक्स की गणना प्रत्येक ऑडियो फ़ाइल के लिए की गई थी।

खिड़की का आकार - 0.2 एस; विंडो स्टेप - 0.1 एस।

चरण 2: अलग-अलग वाक्यांशों में स्वर के स्वर को परिभाषित करें

समस्या को हल करने के लिए हमारा पहला दृष्टिकोण अलग-अलग स्ट्रीम में प्रत्येक वाक्यांश को परिभाषित और संसाधित करना है।

सबसे पहले, हमने डायराइजेशन किया और एलआईजी लाइब्रेरी का उपयोग करके सभी वाक्यांशों को अलग कर दिया। इनपुट फाइलें खराब गुणवत्ता की थीं, इसलिए आउटपुट में हमने प्रत्येक फाइल के लिए स्मूथिंग और एडाप्टिव थ्रॉल्डिंग भी लागू किया।

प्रसंस्करण में रुकावट और लंबी चुप्पी

जब हमने प्रत्येक वाक्यांश (क्लाइंट और ऑपरेटर दोनों) के लिए समय सीमा निर्धारित की, तो हमने उन्हें एक-दूसरे पर आरोपित कर दिया और ऐसे मामलों का खुलासा किया जब दोनों लोग एक ही समय में बोलते हैं, साथ ही ऐसे मामले जब दोनों चुप रहते हैं। यह केवल सीमा मूल्य निर्धारित करने के लिए बनी रही। हम इस बात पर सहमत थे कि यदि 3 या अधिक सेकंड एक ही समय में प्रतिभागी बोलते हैं, तो यह एक रुकावट माना जाता है। मौन के लिए, 3 सेकंड की एक सीमा बिल्कुल निर्धारित की गई थी।



मुद्दा यह है कि प्रत्येक वाक्यांश की अपनी लंबाई है। नतीजतन, प्रत्येक वाक्यांश के लिए निकाली गई सुविधाओं की संख्या अलग-अलग होती है।

LSTM तंत्रिका नेटवर्क इस समस्या को संभाल सकता है। इस तरह के नेटवर्क न केवल विभिन्न लंबाई के अनुक्रमों को संसाधित कर सकते हैं, बल्कि उनमें प्रतिक्रिया भी हो सकती है, जो आपको जानकारी को बचाने की क्षमता देती है। ये विशेषताएं बहुत महत्वपूर्ण हैं क्योंकि पहले बोली जाने वाली वाक्यांशों में ऐसी जानकारी होती है जो बाद में बोले जाने वाले वाक्यांशों को प्रभावित करती है।


तब हमने प्रत्येक वाक्यांश के प्रतिरूपण को निर्धारित करने के लिए अपने LSTM नेटवर्क को प्रशिक्षित किया।

प्रशिक्षण सेट के रूप में, हमने औसतन 30 वाक्यांशों के साथ 70 फाइलें लीं (प्रत्येक पक्ष के लिए 15 वाक्यांश)।

मुख्य लक्ष्य कॉल सेंटर ऑपरेटर के वाक्यांशों का मूल्यांकन करना था, इसलिए हमने प्रशिक्षण के लिए ग्राहक भाषण का उपयोग नहीं किया। हमने 750 वाक्यांशों का उपयोग प्रशिक्षण डेटासेट के रूप में और 250 वाक्यांशों को परीक्षण के रूप में किया था। नतीजतन, न्यूरॉन ने 72% की सटीकता के साथ भाषण को वर्गीकृत करना सीखा।

लेकिन, अंत में, हम LSTM नेटवर्क के प्रदर्शन से संतुष्ट नहीं थे: इसके साथ काम करने में बहुत अधिक समय लगा, जबकि परिणाम एकदम सही हैं। इसलिए, एक अलग दृष्टिकोण का उपयोग करने का निर्णय लिया गया।

यह बताने का समय है कि हमने XGBoost और LSTM और XGB के संयोजन का उपयोग करके आवाज़ के स्वर को कैसे निर्धारित किया।

संपूर्ण फ़ाइल के लिए वॉइस टोन निर्धारित करें

यदि उन्होंने नियमों का उल्लंघन किया तो कम से कम एक वाक्यांश निहित होने पर हमने फाइलों को संदिग्ध के रूप में चिह्नित किया। इसलिए हमने 2500 फाइलों को टैग किया।

विशेषताओं को निकालने के लिए, हमने उसी विधि और उसी ANN वास्तुकला का उपयोग किया, लेकिन एक अंतर के साथ: हमने विशेषताओं के नए आयामों को फिट करने के लिए वास्तुकला को बढ़ाया।

इष्टतम मापदंडों के साथ, तंत्रिका नेटवर्क ने 85% की सटीकता का उत्पादन किया।

XGBoost

XGBoost मॉडल को प्रत्येक फ़ाइल के लिए निश्चित संख्या में विशेषताओं की आवश्यकता होती है। इस आवश्यकता को पूरा करने के लिए, हमने कई सिग्नल और पैरामीटर बनाए हैं।



निम्नलिखित आंकड़ों का उपयोग किया गया था:

1. संकेत का औसत मूल्य।
2. सिग्नल के पहले 10 सेकंड का औसत मूल्य।
3. सिग्नल के अंतिम 3 सेकंड का औसत मूल्य।
4. सिग्नल में स्थानीय मैक्सिमा का औसत मूल्य।
5. सिग्नल के पहले 10 सेकंड में स्थानीय मैक्सिमा का औसत मूल्य।
6. सिग्नल के अंतिम 3 सेकंड में स्थानीय मैक्सिमा का औसत मूल्य।

सभी संकेतकों को प्रत्येक संकेत के लिए अलग-अलग गणना की गई थी। रिकॉर्ड की लंबाई के अपवाद के साथ, विशेषताओं की कुल संख्या 36 है। परिणामस्वरूप, हमारे पास प्रत्येक रिकॉर्ड के लिए 37 संख्यात्मक संकेत थे।

इस एल्गोरिथ्म की भविष्यवाणी सटीकता 0.869 है।

LSTM और XGB का संयोजन

क्लासिफायर्स को संयोजित करने के लिए, हमने इन दो मॉडलों को पार किया। आउटपुट पर, इसने 2% की सटीकता बढ़ाई।


यही है, हम भविष्यवाणी की सटीकता को 0.9 आरओसी - एयूसी (एरिया अंडर कर्व) में बढ़ाने में सक्षम थे।

परिणाम

हमने 205 फाइलों (177 तटस्थ, 28 संदिग्ध) पर अपने गहरे तंत्रिका नेटवर्क का परीक्षण किया। नेटवर्क को प्रत्येक फ़ाइल को संसाधित करना था और यह तय करना था कि यह किस समूह का है। निम्नलिखित परिणाम हैं:

• 170 तटस्थ फाइलों की सही पहचान की गई;
• 7 तटस्थ फाइलों को संदिग्ध के रूप में पहचाना गया;
• 13 संदिग्ध फाइलों की सही पहचान की गई;
• 15 संदिग्ध फाइलों को तटस्थ के रूप में पहचाना गया।

सही / गलत परिणामों के प्रतिशत का अनुमान लगाने के लिए, हमने 2x2 तालिका के रूप में त्रुटि मैट्रिक्स का उपयोग किया।

बातचीत में एक विशिष्ट वाक्यांश खोजें

हम ऑडियो फ़ाइलों में शब्दों और वाक्यांशों को पहचानने के लिए इस दृष्टिकोण की कोशिश करने के लिए उत्सुक थे। लक्ष्य उन फाइलों को ढूंढना था, जिसमें बातचीत के पहले 10 सेकंड में ग्राहकों को कॉल सेंटर ऑपरेटर प्रस्तुत नहीं किया गया था।

हमने 1.5 सेकंड की औसत लंबाई के साथ 200 वाक्यांश लिए, जिसमें ऑपरेटर अपने नाम और कंपनी का नाम कहते हैं।

मैन्युअल रूप से ऐसी फ़ाइलों की खोज में लंबा समय लगा, क्योंकि मुझे यह जांचने के लिए प्रत्येक फ़ाइल को सुनना था कि क्या इसमें आवश्यक वाक्यांश हैं। आगे के प्रशिक्षण में तेजी लाने के लिए, हमने "कृत्रिम रूप से" डेटासेट में वृद्धि की: हमने प्रत्येक फाइल को 6 बार बेतरतीब ढंग से जोड़ा - शोर जोड़ा, आवृत्ति और / या वॉल्यूम को बदल दिया। इसलिए हमें 1,500 फाइलों का एक डेटासेट मिला।

परिणाम

हमने क्लासिफायर को प्रशिक्षित करने के लिए ऑपरेटर की प्रतिक्रिया के पहले 10 सेकंड का उपयोग किया, क्योंकि यह इस अंतराल में था कि वांछित वाक्यांश का उच्चारण किया गया था। प्रत्येक ऐसे मार्ग को विंडोज़ (विंडो की लंबाई 1.5 एस, विंडो स्टेप 1 एस) में विभाजित किया गया था और एक इनपुट फ़ाइल के रूप में तंत्रिका नेटवर्क द्वारा संसाधित किया गया था। आउटपुट फ़ाइल के रूप में, हमें चयनित विंडो में प्रत्येक वाक्यांश के उच्चारण की संभावना प्राप्त हुई।


हमने नेटवर्क के माध्यम से एक और 300 फाइलें चलाईं ताकि पता लगाया जा सके कि वांछित वाक्यांश पहले 10 सेकंड में बोला गया था। इन फ़ाइलों के लिए, सटीकता 87% थी।

दरअसल, यह सब किस लिए है?

स्वचालित कॉल मूल्यांकन कॉल सेंटर संचालकों के लिए स्पष्ट KPI को निर्धारित करने, सर्वोत्तम प्रथाओं को हाइलाइट करने और उनका पालन करने और कॉल सेंटर के प्रदर्शन को बढ़ाने में मदद करता है। लेकिन यह ध्यान देने योग्य है कि भाषण मान्यता सॉफ्टवेयर का उपयोग व्यापक कार्यों के लिए किया जा सकता है।

नीचे कुछ उदाहरण दिए गए हैं कि कैसे भाषण मान्यता संगठनों की मदद कर सकती है:

• आवाज UX को बेहतर बनाने के लिए डेटा एकत्र करें और उसका विश्लेषण करें;
• रिश्तों और रुझानों की पहचान करने के लिए कॉल रिकॉर्ड का विश्लेषण करें;
• आवाज से लोगों को पहचानो;
• उपयोगकर्ता की संतुष्टि को बेहतर बनाने के लिए ग्राहक भावनाओं को ढूंढें और पहचानें
• प्रति कॉल औसत राजस्व में वृद्धि;
• बहिर्वाह को कम करें;
• और भी बहुत कुछ!