साफ करें, चिह्नित करें: हमने क्लाइंट मुद्दों को अलग करने के लिए चैटबॉट कैसे सिखाया

एंटोन च्येनिकोव, डेटा साइंस के डेवलपर, रेडमड्राबोट
नमस्कार, हेब्र! आज मैं चैटबॉट के रास्ते में कठिनाइयों के बारे में बात करूंगा, जो बीमा कंपनी के चैट ऑपरेटरों के काम की सुविधा देता है। अधिक सटीक रूप से, हमने कैसे बॉट को मशीन लर्निंग का उपयोग करके एक दूसरे से अनुरोधों को अलग करना सिखाया। किन मॉडलों के साथ प्रयोग किया गया और किन लोगों को इसके परिणाम मिले। सभ्य गुणवत्ता के डेटा को साफ करने और समृद्ध करने के लिए चार दृष्टिकोण कैसे आए और गुणवत्ता के डेटा को "अशोभनीय" साफ करने के पांच प्रयास किए गए।

कार्य

बीमा कंपनी की चैट प्रति दिन +100500 ग्राहक कॉल प्राप्त करती है। अधिकांश प्रश्न सरल और दोहराए गए हैं, लेकिन ऑपरेटर कोई भी आसान नहीं करते हैं, और ग्राहकों को अभी भी पांच से दस मिनट इंतजार करना पड़ता है। सेवा की गुणवत्ता में सुधार कैसे करें और श्रम लागत का अनुकूलन करें ताकि ऑपरेटरों की दिनचर्या कम हो और उपयोगकर्ताओं को अपने मुद्दों को हल करने से अधिक सुखद संवेदनाएं हों?

और हम एक चैटबॉट करेंगे। उसे उपयोगकर्ता संदेश पढ़ने दें, सरल मामलों के लिए निर्देश दें, और जटिल मामलों के लिए मानक प्रश्न पूछें, ताकि ऑपरेटर को जानकारी की आवश्यकता हो। एक लाइव ऑपरेटर के पास एक स्क्रिप्ट ट्री है - एक स्क्रिप्ट (या फ़्लोचार्ट) जो कहती है कि उपयोगकर्ता क्या सवाल पूछ सकते हैं और उन्हें कैसे प्रतिक्रिया दे सकते हैं। हम इस योजना को लेते हैं और इसे एक चैटबॉट में डालते हैं, लेकिन यह एक बुरी किस्मत है - चैटबोट मानवीय रूप से नहीं समझती है और यह नहीं जानती है कि उपयोगकर्ता के प्रश्न को स्क्रिप्ट शाखा से कैसे जोड़ा जाए।

इसलिए, हम उसे अच्छी पुरानी मशीन लर्निंग की मदद से सिखाएँगे। लेकिन आप केवल उपयोगकर्ताओं द्वारा उत्पन्न डेटा का एक टुकड़ा नहीं ले सकते हैं और उसे एक सभ्य गुणवत्ता वाला मॉडल सिखा सकते हैं। ऐसा करने के लिए, आपको मॉडल की वास्तुकला के साथ प्रयोग करने की आवश्यकता है, डेटा - साफ करने के लिए, और कभी-कभी फिर से इकट्ठा करें।

कैसे एक बॉट सिखाने के लिए:

• मॉडल विकल्पों पर विचार करें: डेटासेट का आकार, ग्रंथों के वैश्वीकरण का विवरण, आयाम का कम होना, क्लासिफायर और अंतिम सटीकता संयुक्त हैं।
• आइए सभ्य आंकड़ों को साफ करें: हम ऐसी कक्षाएं पाएँगे जिन्हें सुरक्षित रूप से फेंका जा सकता है; हमें पता चलेगा कि पिछले छह महीनों के मार्कअप क्यों पिछले तीन की तुलना में बेहतर हैं; निर्धारित करें कि मॉडल कहाँ है, और मार्कअप कहाँ है; पता करें कि टाइपोस कैसे उपयोगी हो सकता है।
• हम "अशोभनीय" डेटा को साफ करेंगे: जब पता चलेगा कि क्लस्टरिंग उपयोगी और बेकार है, तो उपयोगकर्ता और ऑपरेटर बात करते हैं कि कब दुख को रोकना है और मार्कअप इकट्ठा करने के लिए जाना है।

बीजक

हमारे पास दो ग्राहक थे - ऑनलाइन चैट के साथ बीमा कंपनियां - और चैटबॉट प्रशिक्षण परियोजनाएं (हम उन्हें कॉल नहीं करेंगे, यह महत्वपूर्ण नहीं है), तेज डेटा डेटा गुणवत्ता के साथ। ठीक है, अगर दूसरी परियोजना की आधी समस्याओं को पहले से जोड़तोड़ करके हल किया जा सकता है। विवरण नीचे हैं।

तकनीकी दृष्टिकोण से, हमारा काम ग्रंथों को वर्गीकृत करना है। यह दो चरणों में किया जाता है: पहले ग्रंथों को वेक्टर किया जाता है (tf-idf, doc2vec, आदि का उपयोग करके), फिर वर्गीकरण मॉडल को प्राप्त किए गए वैक्टर (और कक्षाएं) पर प्रशिक्षित किया जाता है - यादृच्छिक वन, एसवीएम, तंत्रिका नेटवर्क, और इसी तरह। और इसी तरह।

डेटा कहाँ से आता है:

• Sql- अपलोड चैट इतिहास। प्रासंगिक अपलोड फ़ील्ड: संदेश पाठ; लेखक (ग्राहक या ऑपरेटर); संदेशों को संवादों में समूहीकृत करना; के टाइमस्टैम्प; ग्राहक संपर्क श्रेणी (अनिवार्य मोटर देयता बीमा के बारे में प्रश्न, पतवार बीमा, स्वैच्छिक चिकित्सा बीमा; साइट के बारे में प्रश्न; वफादारी कार्यक्रमों के बारे में प्रश्न; बीमा शर्तों को बदलने के बारे में प्रश्न इत्यादि)।
• लिपियों का एक पेड़, या विभिन्न अनुरोधों के साथ ऑपरेटरों से ग्राहकों के लिए प्रश्नों और उत्तरों का क्रम।

सत्यापन के बिना, निश्चित रूप से, कहीं नहीं। सभी मॉडलों को 70% डेटा पर प्रशिक्षित किया गया और शेष 30% पर परिणामों के अनुसार मूल्यांकन किया गया।

हमारे द्वारा उपयोग किए जाने वाले मॉडल के लिए गुणवत्ता मीट्रिक:

• प्रशिक्षण में: logloss, विभिन्नता के लिए;
• रिपोर्ट लिखते समय: एक परीक्षण नमूने पर वर्गीकरण सटीकता, सादगी और स्पष्टता के लिए (ग्राहक के लिए सहित);
• आगे की कार्रवाइयों के लिए दिशा का चयन करते समय: एक डेटा वैज्ञानिक का अंतर्ज्ञान जो परिणामों पर स्पष्ट रूप से घूरता है।

मॉडल प्रयोग

यह दुर्लभ है जब कार्य तुरंत यह स्पष्ट करता है कि कौन सा मॉडल सबसे अच्छा परिणाम देगा। तो यहाँ: प्रयोग के बिना, कहीं नहीं।

हम वैश्वीकरण विकल्पों की कोशिश करेंगे:

• एकल शब्दों में tf-idf;
• वर्णों के तर्ज पर tf-idf (इसके बाद: 3 ग्राम);
• tf-idf पर 2-, 3-, 4-, 5-ग्राम अलग से;
• tf-idf पर 2-, 3-, 4-, 5-ग्राम को एक साथ लिया;
• स्रोत पाठ में शब्दों के उपरोक्त + कमी के सभी एक शब्दकोश रूप में;
• ऊपर के सभी + काटे गए SVD विधि द्वारा आयाम में कमी;
• माप की संख्या के साथ: 10, 30, 100, 300;
• doc2vec, कार्य से ग्रंथों के शरीर पर प्रशिक्षित।

इस पृष्ठभूमि के खिलाफ वर्गीकरण विकल्प खराब दिखते हैं: SVM, XGBoost, LSTM, यादृच्छिक वन, भोले घाट, SVM और XGB भविष्यवाणियों के शीर्ष पर यादृच्छिक वन।

और यद्यपि हमने तीन स्वतंत्र रूप से इकट्ठे डेटासेट और उनके अंशों पर परिणामों की प्रतिलिपि प्रस्तुत करने की क्षमता की जांच की, हम केवल व्यापक प्रयोज्यता के लिए प्रतिज्ञा कर सकते हैं।

प्रयोगों के परिणाम:

• श्रृंखला में "प्रीप्रोसेसिंग-वेक्टराइजेशन-कम करने वाले आयाम-वर्गीकरण" प्रत्येक चरण में पसंद का प्रभाव अन्य चरणों से लगभग स्वतंत्र है। जो बहुत सुविधाजनक है, आप प्रत्येक नए विचार के साथ एक दर्जन विकल्पों के माध्यम से नहीं जा सकते हैं और हर कदम पर सबसे अच्छा ज्ञात विकल्प का उपयोग कर सकते हैं।
• शब्दों में tf-idf 3 ग्राम (सटीकता 0.72 बनाम 0.78) खो देता है। 2-, 4-, 5-ग्राम 3-ग्राम (0.75–0.76 बनाम 0.78) से हार जाते हैं। {२; ५} -ग्राम तीनों मिलकर थोड़ा-सा आउटपरफॉर्म ३-ग्राम। आवश्यक स्मृति में तेज वृद्धि को देखते हुए, हमने 0.4% सटीकता के लाभ में प्रशिक्षण के लिए उपेक्षा करने का निर्णय लिया।
• सभी किस्मों के tf-idf की तुलना में, doc2vec असहाय था (सटीकता 0.4 और नीचे)। यह कार्य (~ 250,000 ग्रंथों) से लाशों पर नहीं, बल्कि बहुत बड़े एक (2.5-25 मिलियन ग्रंथों) पर उसे प्रशिक्षित करने के लिए लायक होगा, लेकिन अभी तक, आपके हाथ नहीं पहुंचे हैं।
• काटे गए एसवीडी ने मदद नहीं की। सटीकता बढ़ती माप के साथ, टीएसवीडी के बिना सुचारू रूप से सटीकता प्राप्त करने के साथ एकरूपता बढ़ाती है।
• क्लासिफायरियर के बीच, XGBoost एक ध्यान देने योग्य मार्जिन (+ 5-10%) से जीतता है। निकटतम प्रतियोगी एसवीएम और यादृच्छिक वन हैं। Naive Bayes यादृच्छिक जंगलों के लिए भी एक प्रतियोगी नहीं है।
• LSTM की सफलता डेटासेट के आकार पर बहुत अधिक निर्भर करती है: 100,000 वस्तुओं के नमूने पर, यह XGB के साथ प्रतिस्पर्धा करने में सक्षम है। 6000 के नमूने पर - बेग्स के साथ लैगिंग में।
• एसवीएम और एक्सजीबी के शीर्ष पर एक यादृच्छिक जंगल या तो हमेशा एक्सजीबी से सहमत है, या अधिक गलत है। यह बहुत दुख की बात है, हमें उम्मीद थी कि एसवीएम डेटा में कम से कम कुछ पैटर्न पाएंगे जो एक्सजीबी के लिए उपलब्ध नहीं हैं, लेकिन अफसोस।
• XGBoost स्थिरता के साथ जटिल है। उदाहरण के लिए, इसके संस्करण 0.72 से 0.80 तक के उन्नयन ने बेवजह प्रशिक्षित मॉडलों की सटीकता को 5-10% तक कम कर दिया। और एक और बात: XGBoost मानक शिकरत-सीख एपीआई के साथ प्रशिक्षण और संगतता के दौरान प्रशिक्षण मापदंडों को बदलने का समर्थन करता है, लेकिन कड़ाई से अलग। आप दोनों एक साथ नहीं कर सकते। उसे ठीक करना था।
• यदि आप शब्दों को एक शब्दकोश रूप में लाते हैं, तो इससे शब्दों में tf-idf के साथ संयोजन में गुणवत्ता में थोड़ा सुधार होता है, लेकिन यह अन्य सभी मामलों में बेकार है। अंत में, हमने समय बचाने के लिए इसे बंद कर दिया।

अनुभव 1. डेटा की सफाई, या मार्कअप के साथ क्या करना है

चैट ऑपरेटर सिर्फ लोग हैं। उपयोगकर्ता प्रश्नों की श्रेणियों को परिभाषित करते समय, उन्हें अक्सर गलत माना जाता है और श्रेणियों के बीच की सीमाओं की अलग-अलग व्याख्या होती है। इसलिए, स्रोत डेटा को निर्मम और गहन रूप से साफ़ किया जाना चाहिए।

पहली परियोजना पर मॉडल प्रशिक्षण पर हमारा डेटा:

• कई वर्षों में ऑनलाइन चैट संदेशों का इतिहास। यह 60,000 बातचीत में 250,000 पोस्ट है। संवाद के अंत में, ऑपरेटर ने उस श्रेणी को चुना जिसमें उपयोगकर्ता का कॉल है। इस डेटासेट में लगभग 50 श्रेणियां हैं।
• लिपि वृक्ष। हमारे मामले में, ऑपरेटरों के पास काम करने वाली स्क्रिप्ट नहीं थी।

क्या वास्तव में डेटा खराब है, हमने परिकल्पना के रूप में तैयार किया, फिर जाँच की और जहां संभव हो, सही किया। यहाँ क्या हुआ:

पहला तरीका। कक्षाओं की पूरी विशाल सूची में से, आप सुरक्षित रूप से 5-10 छोड़ सकते हैं।
हम छोटी कक्षाओं को छोड़ देते हैं (<नमूने का 1%): थोड़ा डेटा + छोटा प्रभाव। हम हार्ड-टू-डिफरेंट क्लासेस को एकजुट करते हैं, जिससे ऑपरेटर्स अभी भी उसी तरह रिएक्ट करते हैं। उदाहरण के लिए:
'dms' + 'कैसे एक डॉक्टर के साथ एक नियुक्ति करने के लिए' + 'कार्यक्रम को भरने पर सवाल'
'रद्दीकरण' + 'रद्दीकरण की स्थिति' + 'सशुल्क नीति का रद्दीकरण'
'नवीकरण प्रश्न' + 'पॉलिसी का नवीनीकरण कैसे करें?'

अगला, हम "अन्य", "अन्य" और जैसे वर्गों को बाहर फेंक देते हैं: चैटबॉट के लिए, वे बेकार हैं (वैसे भी ऑपरेटर को पुनर्निर्देशित), और साथ ही वे सटीकता को बहुत नुकसान पहुंचाते हैं, क्योंकि 20% अनुरोधों (30, 50, 90) को ऑपरेटरों द्वारा वर्गीकृत किया जाता है। और यहाँ। अब हम उस वर्ग को बाहर फेंक देते हैं, जिसके साथ चैटबॉट काम नहीं कर सकता (अभी तक)।

परिणाम: एक मामले में, 0.40 से 0.69 की सटीकता से विकास, दूसरे में, 0.66 से 0.77 तक।

दूसरा तरीका। चैट की शुरुआत में, ऑपरेटर खुद को खराब तरीके से समझते हैं कि उपयोगकर्ता से संपर्क करने के लिए एक वर्ग कैसे चुनना है, इसलिए डेटा में बहुत "शोर" और त्रुटियां हैं।

प्रयोग: हम केवल पिछले दो (तीन, छह, ...) महीनों के संवाद लेते हैं और मॉडल को प्रशिक्षित करते हैं
उन्हें।

परिणाम: एक उल्लेखनीय मामले में, सटीकता 0.40 से बढ़कर 0.60 हो गई, दूसरे में - 0.69 से 0.78 तक।

तीसरा तरीका। कभी-कभी 0.70 की सटीकता का मतलब "मॉडल 30% मामलों में गलत है" नहीं है, लेकिन "30% मामलों में मार्कअप झूठ बोल रहा है, और मॉडल इसे बहुत ही सही ढंग से ठीक करता है"।

सटीकता या logloss जैसे मैट्रिक्स के द्वारा इस परिकल्पना को सत्यापित नहीं किया जा सकता है। प्रयोग के प्रयोजनों के लिए, हमने खुद को एक डेटा वैज्ञानिक के टकटकी तक सीमित कर दिया, लेकिन आदर्श मामले में, आपको गुणात्मक रूप से डेटासेट को फिर से व्यवस्थित करने की आवश्यकता है, क्रॉस-सत्यापन को नहीं भूलना।

ऐसे नमूनों के साथ काम करने के लिए, हम "पुनरावृत्ति संवर्धन" की प्रक्रिया के साथ आए:

1. 3-4 टुकड़ों में डेटासेट तोड़ें।
2. पहले टुकड़े पर मॉडल को प्रशिक्षित करें।
3. प्रशिक्षित मॉडल द्वारा दूसरे की कक्षाओं की भविष्यवाणी करें।
4. अनुमानित कक्षाओं और मॉडल के आत्मविश्वास की डिग्री को बारीकी से देखें, आत्मविश्वास का सीमा मूल्य चुनें।
5. दूसरी खंड से सीमा के नीचे विश्वास के साथ भविष्यवाणी की गई ग्रंथों (वस्तुओं) को हटा दें, इस पर मॉडल को प्रशिक्षित करें।
6. तब तक दोहराएं जब तक टुकड़े थक न जाएं या बाहर भाग न जाएं।

एक ओर, परिणाम उत्कृष्ट हैं: पहले पुनरावृत्ति मॉडल की सटीकता 70% है, दूसरी - 95%, तीसरी - 99 +%। भविष्यवाणियों के परिणामों पर एक करीबी नज़र इस सटीकता की पूरी तरह से पुष्टि करती है।

दूसरी ओर, इस प्रक्रिया में कोई कैसे व्यवस्थित रूप से सत्यापित कर सकता है कि बाद के मॉडल पिछले वाले की त्रुटियों को नहीं सीखते हैं? उच्च गुणवत्ता वाले प्रारंभिक मार्कअप के साथ मैन्युअल रूप से "शोर" डेटासेट पर प्रक्रिया का परीक्षण करने का विचार है, जैसे एमएनआईएसटी। लेकिन, अफसोस, इसके लिए पर्याप्त समय नहीं था। और सत्यापन के बिना, हमने पुनरावृत्ति संवर्धन और उत्पादन में परिणामी मॉडल लॉन्च करने की हिम्मत नहीं की।

चौथा दृष्टिकोण। डेटासेट का विस्तार किया जा सकता है - और इससे सटीकता में वृद्धि होती है और मौजूदा पाठों के लिए कई टाइपो को जोड़ते हुए, पुनरावर्तन को कम किया जाता है।
टाइपोस टाइपो हैं - एक पत्र को दोगुना करना, एक अक्षर को छोड़ना, स्थानों में पड़ोसी अक्षरों को फिर से व्यवस्थित करना, एक पत्र को कीबोर्ड पर एक आसन्न पत्र के साथ बदलना।

प्रयोग: पी अक्षर का अनुपात जिसमें एक टाइपो होगा: 2%, 4%, 6%, 8%, 10%, 12%। डेटासेट वृद्धि: आमतौर पर 60,000 प्रतिकृतियां तक। प्रारंभिक आकार (फिल्टर के बाद) के आधार पर, इसका मतलब 3–30 गुना की वृद्धि है।

परिणाम: डेटासेट पर निर्भर करता है। एक छोटे डेटासेट (~ 300 प्रतिकृतियां) पर, टाइपोस के 4-6% सटीकता में एक स्थिर और महत्वपूर्ण वृद्धि देते हैं (0.40 → 0.60)। बड़े डेटासेट पर, सब कुछ बदतर है। 8% या उससे अधिक टाइपो के अनुपात के साथ, ग्रंथ बकवास में बदल जाते हैं और सटीकता कम हो जाती है। 2-8% त्रुटि दर के साथ, सटीकता कुछ प्रतिशत की सीमा में उतार-चढ़ाव होती है, बहुत कम ही टाइपो के बिना सटीकता से अधिक होती है, और संवेदनाओं के अनुसार, प्रशिक्षण समय को कई बार बढ़ाने की आवश्यकता नहीं है।

नतीजतन, हम एक मॉडल प्राप्त करते हैं जो 0.86 की सटीकता के साथ कॉल के 5 वर्गों को अलग करता है। हम क्लाइंट के साथ पांच कांटे में से प्रत्येक के लिए प्रश्नों और उत्तरों के ग्रंथों का समन्वय करते हैं, चैटबॉट को ग्रंथों को जकड़ते हैं, उन्हें क्यूए के लिए भेजते हैं।

अनुभव 2. डेटा में घुटने का गहरा, या मार्कअप के बिना क्या करना है

पहली परियोजना पर अच्छे परिणाम प्राप्त करने के बाद, हमने पूरे आत्मविश्वास के साथ दूसरे से संपर्क किया। लेकिन, सौभाग्य से, हम यह नहीं भूल पाए कि आश्चर्यचकित कैसे होना चाहिए।

हम किससे मिले:

• एक पांच-शाखा स्क्रिप्ट ट्री ने क्लाइंट के साथ लगभग एक साल पहले सहमति व्यक्त की थी।
• 500 संदेश और अज्ञात मूल के 11 वर्गों का एक टैग नमूना।
• 220,000 संदेशों, 21,000 वार्तालापों और 50 अन्य वर्गों के चैट ऑपरेटरों द्वारा टैग किया गया।
• एसवीएम मॉडल, पहले नमूने पर प्रशिक्षित, 0.69 की सटीकता के साथ, जो डेटा वैज्ञानिकों की पिछली टीम से विरासत में मिला था। क्यों SVM, इतिहास चुप है।

सबसे पहले, हम कक्षाओं को देखते हैं: स्क्रिप्ट ट्री में, एसवीएम मॉडल के नमूने में, मुख्य नमूने में। और यहाँ हम देखते हैं:

• एसवीएम मॉडल की कक्षाएं मोटे तौर पर लिपियों की शाखाओं के अनुरूप होती हैं, लेकिन किसी भी तरह से एक बड़े नमूने से कक्षाओं के अनुरूप नहीं होती हैं।
• स्क्रिप्ट ट्री को एक साल पहले व्यावसायिक प्रक्रियाओं पर लिखा गया था, और यह लगभग बेकार हो चुका है। एसवीएम मॉडल को इसके साथ हटा दिया गया है।
• बड़े नमूने में दो सबसे बड़ी कक्षाएं बिक्री (50%) और अन्य (45%) हैं।
• पांच अगली-सबसे बड़ी कक्षाओं में से तीन सेल्स की तरह सामान्य हैं।
• शेष 45 वर्गों में 30 से कम संवाद हैं। यानी हमारे पास एक स्क्रिप्ट ट्री नहीं है, कक्षाओं की कोई सूची नहीं है और कोई मार्कअप नहीं है।

ऐसे मामलों में क्या करना है? हमने अपनी आस्तीन उतारी और डेटा से कक्षाएं और मार्कअप प्राप्त करने के लिए अपने दम पर चले गए।

पहला प्रयास। आइए उपयोगकर्ता प्रश्नों को क्लस्टर करने का प्रयास करें, अर्थात अभिवादन को छोड़कर संवाद में पहला संदेश।

हम जांच करते हैं। हम 3 ग्रामों की गिनती करके प्रतिकृतियां बनाते हैं। हम TSVD के पहले दस मापों के आयाम को कम करते हैं। हम यूक्लिडियन दूरी और लक्ष्य वार्ड फ़ंक्शन के साथ एग्लोमेरेटिव क्लस्टरिंग द्वारा क्लस्टर करते हैं। टी-एसएनई (दो माप तक) का उपयोग करके फिर से आयाम कम करें ताकि आप अपनी आंखों से परिणाम देख सकें)। हम समतल पर प्रतिकृति बिंदुओं को आकर्षित करते हैं, जो गुच्छों के रंगों में चित्रित होते हैं।

परिणाम: भय और आतंक। सन क्लस्टर्स, हम मान सकते हैं कि कोई नहीं है:

लगभग नहीं - बाईं ओर एक नारंगी है, ऐसा इसलिए है क्योंकि इसमें सभी संदेशों में 3-ग्राम "@" होता है। यह 3 ग्राम एक पूर्वनिर्मित कलाकृति है। कहीं न कहीं विराम चिह्नों को छानने की प्रक्रिया में, "@" को न केवल फ़िल्टर किया गया, बल्कि रिक्त स्थान के साथ भी उखाड़ दिया गया। लेकिन कलाकृति उपयोगी है। इस क्लस्टर में वे उपयोगकर्ता शामिल हैं जो पहले अपना ईमेल लिखते हैं। दुर्भाग्य से, केवल मेल की उपलब्धता से यह पूरी तरह से स्पष्ट नहीं होता है कि उपयोगकर्ता का अनुरोध क्या है। हम आगे बढ़ते हैं।

दूसरा प्रयास। क्या होगा अगर ऑपरेटर अक्सर अधिक या कम मानक लिंक के साथ प्रतिक्रिया करते हैं?
हम जांच करते हैं। हम ऑपरेटर संदेशों से लिंक जैसे सब्सट्रिंग्स निकालते हैं, लिंक को थोड़ा संपादित करते हैं, वर्तनी में भिन्न होते हैं, लेकिन अर्थ में समान (http / https, / search; सिटी =% शहर%), लिंक आवृत्तियों पर विचार करें।

परिणाम: अप्रमाणिक। सबसे पहले, ऑपरेटर केवल लिंक के साथ अनुरोधों के एक छोटे अंश (<10%) का जवाब देते हैं। दूसरे, मैन्युअल सफाई और लिंक को छानने के बाद भी, जो एक बार हुआ, उनमें से तीस से अधिक हैं। तीसरा, उन उपयोगकर्ताओं के व्यवहार में जो एक लिंक के साथ संवाद को समाप्त करते हैं, कोई विशेष समानता नहीं है।

तीसरा प्रयास। चलो ऑपरेटरों के मानक उत्तरों की तलाश करते हैं - क्या होगा यदि वे संदेशों के किसी भी वर्गीकरण के संकेतक होंगे?

हम जांच करते हैं। प्रत्येक संवाद में हम ऑपरेटर की अंतिम प्रतिकृति लेते हैं (अलविदा के अलावा: "मैं कुछ और मदद कर सकता हूं," आदि) और अद्वितीय प्रतिकृतियों की आवृत्ति पर विचार करें।

परिणाम: होनहार, लेकिन असुविधाजनक। ऑपरेटर प्रतिक्रियाओं के 50% अद्वितीय हैं, एक और 10–20% दो बार पाए जाते हैं, शेष 30–40% लोकप्रिय टेम्प्लेट की अपेक्षाकृत कम संख्या द्वारा कवर किए जाते हैं। अपेक्षाकृत छोटा - लगभग तीन सौ। इन टेम्प्लेटों पर एक करीबी नज़र डालने से पता चलता है कि उनमें से कई अर्थ के संदर्भ में एक ही उत्तर के वेरिएंट हैं - वे भिन्न हैं जहां एक अक्षर से, जहां एक शब्द से, जहां एक पैरा से। मैं इन उत्तरों को समूहित करना चाहूंगा जो अर्थ में करीब हैं।

चौथा प्रयास। बयानों के नवीनतम प्रतिकृतियों को क्लस्टर करना। ये बहुत बेहतर हैं:

आप पहले से ही इसके साथ काम कर सकते हैं।

हम विमान पर क्लस्टर बनाते हैं और प्रतिकृतियां बनाते हैं, जैसा कि पहले प्रयास में, मैन्युअल रूप से सबसे स्पष्ट रूप से अलग किए गए समूहों को निर्धारित करते हैं, उन्हें फिर से डेटासेट और क्लस्टर से हटा दें। लगभग आधे डेटासेट को अलग करने के बाद, स्पष्ट क्लस्टर समाप्त हो जाते हैं, और हम यह सोचना शुरू करते हैं कि कौन सी कक्षाएं उन्हें असाइन करनी हैं। हम मूल पांच वर्गों के अनुसार समूहों को बिखेरते हैं - नमूना "तिरछा" है, और पांच मूल कक्षाओं में से तीन में एक भी क्लस्टर नहीं मिलता है। बहुत बुरा। हम समूहों को पांच वर्गों में बिखेरते हैं, जिन्हें हम बेतरतीब ढंग से नामित करते हैं: "कॉल", "आओ", "एक उत्तर के लिए एक दिन प्रतीक्षा करें", "कैप्चा के साथ समस्याएं", "अन्य"। तिरछा कम है, लेकिन सटीकता केवल 0.4-0.5 है। फिर से खराब। 30 + समूहों में से प्रत्येक को अपने स्वयं के वर्ग को असाइन करें। नमूना फिर से तिरछा हो गया है और सटीकता फिर से 0.5 है, हालांकि लगभग पांच चयनित वर्गों में सभ्य सटीकता और पूर्णता (0.8 और उच्चतर) है। लेकिन परिणाम अभी भी प्रभावशाली नहीं है।

पांचवां प्रयास। हमें क्लस्टरिंग के सभी इन्स और बहिष्कार की आवश्यकता है। हम शीर्ष तीस समूहों के बजाय पूर्ण क्लस्टरिंग डेंड्रोग्राम प्राप्त करते हैं। हम इसे क्लाइंट विश्लेषकों के लिए सुलभ एक प्रारूप में सहेजते हैं और उन्हें मार्कअप बनाने में मदद करते हैं - हम कक्षाओं की सूची को स्केच करते हैं।

प्रत्येक संदेश के लिए, हम समूहों की एक श्रृंखला की गणना करते हैं, जिसमें प्रत्येक संदेश शामिल होता है, जो रूट से शुरू होता है। हम स्तंभों के साथ एक तालिका बनाते हैं: पाठ, श्रृंखला में पहले क्लस्टर की आईडी, श्रृंखला में दूसरे क्लस्टर की आईडी, ..., पाठ के अनुरूप क्लस्टर की आईडी। हम टेबल को csv / xls में सेव करते हैं। इसके साथ आगे आप कार्यालय उपकरण के साथ काम कर सकते हैं।

हम क्लाइंट को मार्कअप के लिए कक्षाओं की सूची का डेटा और एक स्केच देते हैं। ग्राहक विश्लेषकों ने ~ 10,000 पहले उपयोगकर्ता संदेशों को फिर से चिह्नित किया। हम, पहले से ही अनुभव से सिखाया जाता है, प्रत्येक संदेश को कम से कम दो बार चिह्नित करने के लिए कहा जाता है। और व्यर्थ में नहीं - इन 10,000 में से 4,000 को फेंक दिया जाना है, क्योंकि दोनों विश्लेषकों ने अलग-अलग चिह्नित किया है। शेष 6,000 में, हमने पहली परियोजना की सफलताओं को बहुत जल्दी दोहराया:

• आधारभूत: कोई छानने का कार्य - सटीकता 0.66।
• हम उन कक्षाओं को जोड़ते हैं जो ऑपरेटर के दृष्टिकोण से समान हैं। हमें 0.73 की सटीकता प्राप्त होती है।
• हम "अन्य" वर्ग को हटाते हैं - सटीकता 0.79 तक बढ़ जाती है।

मॉडल तैयार है, अब आपको एक स्क्रिप्ट ट्री बनाने की आवश्यकता है। उन कारणों के लिए जिन्हें हम समझा नहीं सकते, हमारे पास ऑपरेटर प्रतिक्रियाओं के लिए स्क्रिप्ट तक पहुंच नहीं है। हमें बर्खास्त नहीं किया गया था, उपयोगकर्ताओं के लिए नाटक किया गया था और क्षेत्र में कुछ घंटों के लिए हमने सभी अवसरों के लिए प्रतिक्रिया टेम्पलेट्स और स्पष्ट ऑपरेटर प्रश्न एकत्र किए। उन्होंने उन्हें एक पेड़ में सजाया, उन्हें एक बॉट में पैक किया और परीक्षण करने चले गए। ग्राहक ने मंजूरी दे दी

निष्कर्ष, या क्या अनुभव दिखाया गया है:

• आप मॉडल के हिस्सों (प्रीप्रोसेसिंग, वेक्टराइजेशन, वर्गीकरण, आदि) के साथ व्यक्तिगत रूप से प्रयोग कर सकते हैं।
• XGBoost अभी भी गेंद पर शासन करता है, हालांकि अगर आपको इसमें से कुछ असामान्य चाहिए, तो आपको समस्या है।
• उपयोगकर्ता अराजक इनपुट का एक परिधीय उपकरण है, इसलिए आपको उपयोगकर्ता डेटा को साफ करने की आवश्यकता है।
• Iterative संवर्धन शांत है, यद्यपि खतरनाक है।
• कभी-कभी यह मार्कअप के लिए ग्राहक को डेटा वापस देने के लायक है। लेकिन एक गुणवत्ता परिणाम प्राप्त करने में उसकी मदद करने के लिए मत भूलना।

संपन्न होना।