चैट बॉट के अंदर क्या है?

मेरा नाम इवान बोंडारेंको है। मैं 2005 के बाद से पाठ विश्लेषण और बोली जाने वाली भाषा के लिए मशीन लर्निंग एल्गोरिदम पर काम कर रहा हूं। अब मैं मास्को फिजटेक में बिजनेस सॉल्यूशंस लेबोरेटरी के एक प्रमुख वैज्ञानिक डेवलपर के रूप में एनटीआई कॉम्पिटीशन सेंटर फॉर आर्टिफिशियल इंटेलिजेंस एमआईपीटी के आधार पर और कंपनी डेटा मॉन्स्टर्स में काम करता हूं, जो उद्योग में विभिन्न समस्याओं को हल करने के लिए इंटरैक्टिव सिस्टम के व्यावहारिक विकास से संबंधित है। मैं हमारे विश्वविद्यालय में भी पढ़ाता हूँ। मेरी कहानी एक बॉट चैट के लिए समर्पित होगी, मानव-कंप्यूटर संचार को स्वचालित करने के लिए मशीन लर्निंग एल्गोरिदम और अन्य तरीकों का उपयोग कैसे किया जाता है और इसे कहां लागू किया जा सकता है।

"वैज्ञानिक कहानियों की रात" में मेरे भाषण का पूरा संस्करण वीडियो में देखा जा सकता है, और मैं नीचे दिए गए पाठ में संक्षिप्त सार दूंगा।

एल्गोरिथ्म क्षमताएँ

सबसे पहले, मानव संपर्क एल्गोरिदम का उपयोग कॉल सेंटरों में सफलतापूर्वक किया जाता है। एक कॉल सेंटर ऑपरेटर का काम बहुत मुश्किल और महंगा है। इसके अलावा, कई स्थितियों में मानव-कंप्यूटर संचार की समस्या को पूरी तरह से हल करना लगभग असंभव है। जब हम बैंक के साथ काम करते हैं तो यह एक बात होती है, जिसमें आमतौर पर कई हजार ग्राहक होते हैं। आप कॉल-सेंटर के कर्मचारियों की भर्ती कर सकते हैं, जो इन ग्राहकों की सेवा करेंगे और उनके साथ बात करेंगे। लेकिन जब हम अधिक महत्वाकांक्षी कार्यों को हल करते हैं (उदाहरण के लिए, हम स्मार्टफोन या कुछ अन्य उपभोक्ता इलेक्ट्रॉनिक्स का उत्पादन करते हैं), तो हमारे ग्राहक दुनिया भर में कई हजार नहीं, बल्कि कई लाखों हैं। और हम यह समझना चाहते हैं कि लोगों को हमारे उत्पादों से क्या समस्या है। उपयोगकर्ता, एक नियम के रूप में, मंचों में एक दूसरे के साथ जानकारी साझा करते हैं या स्मार्टफोन के निर्माता की समर्थन सेवा को लिखते हैं। लाइव ऑपरेटर एक विशाल ग्राहक आधार पर काम का सामना नहीं कर पाएंगे, और यहां एल्गोरिदम बचाव में आते हैं, जो बहु-चैनल मोड में काम कर सकते हैं, जो बड़ी संख्या में लोगों की सेवा करते हैं।

ऐसी समस्याओं को हल करने के लिए, संवाद प्रणालियों के लिए एल्गोरिदम का निर्माण करना जो किसी व्यक्ति के साथ बातचीत कर सकते हैं और अर्थ निकाल सकते हैं, मनमाने संदेशों से महत्वपूर्ण जानकारी, कंप्यूटर भाषा विज्ञान के क्षेत्र में एक पूरी दिशा है - प्राकृतिक भाषा में ग्रंथों का विश्लेषण। एक रोबोट को पढ़ने, समझने, सुनने, बोलने आदि में सक्षम होना चाहिए। यह क्षेत्र - प्राकृतिक भाषा प्रसंस्करण - कई भागों में टूट जाता है।

पाठ को समझना (प्राकृतिक भाषा समझ, NLU)।

जब एक बॉट किसी व्यक्ति के साथ संवाद करता है और एक व्यक्ति बॉट को कुछ लिखता है, तो आपको यह समझने की आवश्यकता है कि क्या लिखा गया है, उपयोगकर्ता क्या चाहता था, जिसका उसने अपने भाषण में उल्लेख किया था। उपयोगकर्ता के इरादों को समझना, तथाकथित इरादा - एक व्यक्ति क्या चाहता है: एक बैंक कार्ड जारी करें या पिज्जा ऑर्डर करें। और नामित संस्थाओं का आबंटन, अर्थात्, ऐसी चीजें जिनके बारे में उपयोगकर्ता विशेष रूप से बात करता है: यदि यह पिज्जा है, तो "मार्गरीटा" या "हवाईयन", यदि कार्ड, तो कौन सी प्रणाली - मास्टरकार्ड, वर्ल्ड और इसी तरह।



और अंत में, संदेश की टन की समझ - एक व्यक्ति किस भावनात्मक स्थिति में है। एल्गोरिथ्म को यह पता लगाने में सक्षम होना चाहिए कि संदेश किस कुंजी में लिखा गया है, या तो यह समाचार पाठ है, या यह संदेश उस व्यक्ति का है जो कुंजी को पर्याप्त रूप से प्रतिक्रिया देने के लिए हमारे बॉट के साथ संचार करता है।

पाठ की पीढ़ी (प्राकृतिक भाषा पीढ़ी) - एक ही मानव भाषा (प्राकृतिक) में एक मानव अनुरोध के लिए एक पर्याप्त प्रतिक्रिया, और एक जटिल प्लेट नहीं और औपचारिक वाक्यांश नहीं।

भाषण मान्यता और भाषण संश्लेषण (भाषण-से-पाठ और पाठ से भाषण)। यदि चैटबोट केवल व्यक्ति के साथ मेल नहीं खाता है, लेकिन बोलता है और सुनता है, तो आपको उसे बोली जाने वाली भाषा समझने, पाठ में ध्वनि कंपन को बदलने, फिर पाठ समझ मॉड्यूल के साथ इस पाठ का विश्लेषण करने और प्रतिक्रिया पाठ से ध्वनि कंपन उत्पन्न करने की आवश्यकता है। जो तब व्यक्ति, ग्राहक सुनेंगे।

चैट बॉट के प्रकार

चैटबॉट में कई प्रमुख आर्किटेक्चर शामिल हैं।

सबसे अक्सर पूछे जाने वाले प्रश्नों (एफएक्यू-चैटबॉट) का जवाब देने वाला चैटबॉट सबसे आसान विकल्प है। हम हमेशा मॉडल प्रश्नों का एक सेट तैयार कर सकते हैं जो लोग पूछते हैं। एक नियम के रूप में, तैयार भोजन के वितरण के लिए एक साइट के लिए, ये सवाल हैं: "डिलीवरी की लागत कितनी होगी", "क्या आप पेरोवामी जिले में वितरित करते हैं", आदि। आप उन्हें कई वर्गों, इरादों, उपयोगकर्ता के इरादों के अनुसार समूह बना सकते हैं। और प्रत्येक इरादे के लिए, विशिष्ट उत्तरों का चयन करें।

लक्षित बॉट (लक्ष्य उन्मुख बॉट)। यहां मैंने ऐसे चैटबॉट की वास्तुकला को दिखाने की कोशिश की, जिसे इपावलोव परियोजना में लागू किया गया है। iPavlov संवादी कृत्रिम बुद्धि बनाने के लिए एक परियोजना है। विशेष रूप से, एक केंद्रित चैटबोट उपयोगकर्ता को कुछ लक्ष्य प्राप्त करने में मदद करता है (उदाहरण के लिए, एक रेस्तरां में एक टेबल बुक करें या पिज्जा ऑर्डर करें, या बैंक में समस्याओं के बारे में कुछ सीखें)। यह सवाल के जवाब के बारे में नहीं है (सवाल-जवाब - बिना किसी संदर्भ के)। लक्षित चैटबॉट में पाठ को समझने के लिए एक मॉड्यूल, संवाद प्रबंधन और प्रतिक्रियाओं को उत्पन्न करने के लिए एक मॉड्यूल है।

सिस्टम जवाब देने वाले सिस्टम के सवाल का जवाब देने वाले चैट बॉट्स और सिर्फ "टॉकर्स" (चिट चैट बॉट)। यदि पिछले दो प्रकार के चैट बॉट या तो सबसे अक्सर पूछे जाने वाले प्रश्नों का उत्तर देते हैं या संवाद बॉक्स के माध्यम से उपयोगकर्ता का नेतृत्व करते हैं, अंत में, एक रेस्तरां बुक करने में मदद करते हैं, यह पता लगाते हैं कि उपयोगकर्ता क्या चाहता है, चीनी या इतालवी भोजन, आदि, तो सवाल-जवाब एक सिस्टम चैट बॉट का एक अन्य प्रकार है। इस तरह के चैट बॉट का लक्ष्य केवल संवाद के स्तंभ के साथ नहीं चलना है और न केवल उपयोगकर्ता के इरादों को वर्गीकृत करना है, बल्कि एक सूचना खोज प्रदान करना है - जो व्यक्ति के प्रश्न और दस्तावेज़ में उस स्थान से मेल खाती है जहां उत्तर निहित है, सबसे अधिक प्रासंगिक दस्तावेज़ ढूंढना है। उदाहरण के लिए, एक बड़े रिटेलर के कर्मचारी काम को नियंत्रित करने वाले निर्देशों को याद रखने के बजाय, या एक जवाब की तलाश में हैं जहां एक प्रकार का अनाज रखा जाए, इस तरह के चैटबॉट से सवाल-जवाब प्रणाली के आधार पर एक प्रश्न पूछें।

मशीन लर्निंग के प्रकार

इरादों की मान्यता, नामित संस्थाओं का आवंटन, दस्तावेजों में खोज और एक दस्तावेज में स्थानों की खोज जो एक प्रश्न के शब्दार्थ के अनुरूप है - यह सब मशीन सीखने के बिना, कुछ सांख्यिकीय विश्लेषण के बिना लागू करना असंभव है। इसलिए, आधुनिक चैट बॉट का आधार मशीन लर्निंग है - कार्य विधियाँ, कुछ छिपे हुए पैटर्न के सन्निकटन जो बड़े डेटा सेट और इन पैटर्नों की पहचान में मौजूद हैं। पैटर्न, कार्य होने पर इस दृष्टिकोण को लागू करने के लिए समझ में आता है, लेकिन इस पैटर्न का वर्णन करने के लिए एक सरल सूत्र, औपचारिकता के साथ आना असंभव है।

मशीन लर्निंग के कई प्रकार होते हैं: शिक्षक के बिना (पर्यवेक्षित शिक्षण), बिना शिक्षक (बिना पढ़े-लिखे), सुदृढीकरण (सुदृढीकरण सीखने) के साथ। हम मुख्य रूप से एक शिक्षक के साथ शिक्षण के कार्य में रुचि रखते हैं - जब शिक्षक के इनपुट चित्र और निर्देश (लेबल) और इन छवियों का वर्गीकरण होता है। या इनपुट भाषण संकेत और उनका वर्गीकरण। और हम एक शिक्षक के काम को पुन: पेश करने के लिए हमारे बॉट, हमारे एल्गोरिथ्म को सिखाते हैं।

ठीक है, सब कुछ अच्छा लग रहा है। और ग्रंथों को समझने के लिए कंप्यूटर को कैसे सिखाना है? पाठ एक जटिल वस्तु है, और पत्र संख्याओं में कैसे बदल जाते हैं और पाठ के वेक्टर विवरण के साथ आते हैं? सबसे सरल विकल्प है - "शब्दों का बैग।" हम पूरे सिस्टम का शब्दकोश पूछते हैं, उदाहरण के लिए, सभी शब्द जो रूसी भाषा में हैं, और शब्द आवृत्तियों के साथ ऐसे बहुत विरल वैक्टर तैयार करते हैं। यह विकल्प सरल प्रश्नों के लिए अच्छा है, लेकिन अधिक जटिल कार्यों के लिए यह उपयुक्त नहीं है।

2013 में, शब्दों और ग्रंथों के मॉडलिंग में एक तरह की क्रांति हुई। थॉमस मिकोलोव ने वितरण परिकल्पना के आधार पर शब्दों के प्रभावी वेक्टर प्रतिनिधित्व के लिए एक विशेष दृष्टिकोण का प्रस्ताव रखा। यदि एक ही संदर्भ में अलग-अलग शब्द पाए जाते हैं, तो उनके पास कुछ सामान्य है। उदाहरण के लिए: "वैज्ञानिकों ने एल्गोरिदम का विश्लेषण किया" और "वैज्ञानिकों ने एल्गोरिदम का एक अध्ययन किया।" तो, "विश्लेषण" और "अनुसंधान" समानार्थक शब्द हैं और इसका मतलब लगभग एक ही है। इसलिए, आप एक विशेष तंत्रिका नेटवर्क को संदर्भ से शब्द, या शब्द से संदर्भ की भविष्यवाणी करने के लिए सिखा सकते हैं।

अंत में, हम कैसे प्रशिक्षित करते हैं? इरादों, सच्चे इरादों को समझने के लिए बॉट को प्रशिक्षित करने के लिए, आपको विशेष कार्यक्रमों का उपयोग करके ग्रंथों का एक गुच्छा मैन्युअल रूप से चिह्नित करने की आवश्यकता है। बॉट को नामित संस्थाओं को समझने के लिए सिखाने के लिए - व्यक्ति का नाम, कंपनी का नाम, स्थान - आपको ग्रंथों को रखने की आवश्यकता है। तदनुसार, एक तरफ, शिक्षक के साथ सीखने का एल्गोरिथ्म सबसे प्रभावी है, यह आपको एक प्रभावी मान्यता प्रणाली बनाने की अनुमति देता है, लेकिन, दूसरी ओर, एक समस्या उत्पन्न होती है: आपको बड़े, लेबल किए गए डेटा सेट की आवश्यकता होती है, और यह महंगा और समय लेने वाला होता है। डेटा सेट को चिह्नित करने की प्रक्रिया में, मानव कारक के कारण त्रुटियां हो सकती हैं।

इस समस्या को हल करने के लिए, आधुनिक चैटबोट तथाकथित ट्रांसफर लर्निंग - ट्रांसफर लर्निंग का उपयोग करते हैं। जो लोग कई विदेशी भाषाओं को जानते हैं, उन्होंने शायद इतनी बारीकियों पर ध्यान दिया है कि पहले की तुलना में दूसरी विदेशी भाषा सीखना आसान है। दरअसल, जब आप कुछ नए कार्य का अध्ययन करते हैं, तो आप इसके लिए अपने पिछले अनुभव का उपयोग करने का प्रयास कर रहे हैं। इसलिए, स्थानांतरण सीखना इस सिद्धांत पर आधारित है: हम एल्गोरिथ्म को एक समस्या को हल करने के लिए सिखाते हैं, जिसके लिए हमारे पास एक बड़ा डेटा सेट है। और फिर यह प्रशिक्षित एल्गोरिथ्म (यानी, हम एल्गोरिथ्म को खरोंच से नहीं, बल्कि किसी अन्य समस्या को हल करने के लिए प्रशिक्षित करते हैं), हम अपनी समस्या को हल करने के लिए प्रशिक्षित करते हैं। इस प्रकार, हमें छोटी किस्म के डेटा का उपयोग करके एक प्रभावी समाधान मिलता है।

ऐसा ही एक मॉडल है एलमो (लैंग्वेज मॉडल्स से एंबेडिंग), जैसे तिल स्ट्रीट से एलमू। हम आवर्तक तंत्रिका नेटवर्क का उपयोग करते हैं, उनके पास मेमोरी होती है और अनुक्रम को संसाधित कर सकते हैं। उदाहरण के लिए: “प्रोग्रामर वास्या को बीयर पसंद है। हर शाम काम के बाद, वह जोनाथन के पास जाता है और एक गिलास या दो को याद करता है। " तो, वह कौन है? क्या वह आज शाम है, क्या वह एक बीयर है, या वह एक प्रोग्रामर वास्या है? एक तंत्रिका नेटवर्क जो शब्दों को एक अनुक्रम के तत्वों के रूप में संसाधित करता है, जिसे संदर्भ दिया जाता है, एक आवर्तक तंत्रिका नेटवर्क, रिश्तों को समझ सकता है, इस समस्या को हल कर सकता है, और कुछ प्रकार के शब्दार्थों को उजागर कर सकता है।

हम इस तरह के एक गहरे तंत्रिका नेटवर्क को ग्रंथों को प्रशिक्षित करते हैं। औपचारिक रूप से, यह एक शिक्षक के साथ सीखने का कार्य है, लेकिन शिक्षक स्वयं अनपेक्षित पाठ है। पाठ में अगला शब्द पिछले सभी के संबंध में एक शिक्षक है। इस प्रकार, हम गीगाबाइट्स का उपयोग कर सकते हैं, दर्जनों गीगाबाइट्स ग्रंथों को प्रभावी मॉडल प्रशिक्षित कर सकते हैं जो इन ग्रंथों में शब्दार्थ पर जोर देते हैं। और फिर, जब हम आउटपुट मोड में भाषा मॉडल (ELMo) से एंबेडिंग का उपयोग करते हैं, तो हम संदर्भ के आधार पर शब्द देते हैं। सिर्फ एक छड़ी नहीं है, लेकिन चलो छड़ी करते हैं। हम देखते हैं कि इस समय तंत्रिका नेटवर्क क्या उत्पन्न करता है, जो संकेत देता है। हम इन संकेतों को पूरा करते हैं और एक विशिष्ट पाठ में शब्द का एक वेक्टर प्रतिनिधित्व प्राप्त करते हैं, इसके विशिष्ट अर्थ संबंधी महत्व को ध्यान में रखते हुए।

ग्रंथों के विश्लेषण में एक और विशेषता है: जब मशीनी अनुवाद का कार्य हल किया जाता है, तो इसका अर्थ अंग्रेजी में एक शब्द और रूसी में एक और शब्द द्वारा व्यक्त किया जा सकता है। तदनुसार, कोई रेखीय तुलना नहीं है, और हमें एक ऐसे तंत्र की आवश्यकता है जो किसी अन्य भाषा में पर्याप्त रूप से अनुवाद करने के लिए पाठ के कुछ टुकड़ों पर ध्यान केंद्रित करे। प्रारंभ में, मशीन अनुवाद के लिए ध्यान का आविष्कार किया गया था - एक पाठ को पारंपरिक आवर्तक तंत्रिका प्रणालियों के साथ दूसरे में बदलने का कार्य। इसके लिए हम ध्यान की एक विशेष परत जोड़ते हैं, जो समय के प्रत्येक क्षण का मूल्यांकन करता है कि कौन सा शब्द हमारे लिए महत्वपूर्ण है।

लेकिन तब Google के लोगों ने सोचा, क्यों न आवर्ती तंत्रिका नेटवर्क पर ध्यान तंत्र का उपयोग किया जाए - बस ध्यान। और वे एक ट्रांसफार्मर (BERT (द्विदिशीय एनकोडर प्रतिनिधि ट्रांसफॉर्मर से)) नामक एक वास्तुकला के साथ आए।

इस तरह की वास्तुकला के आधार पर, जब केवल बहु-प्रमुख ध्यान होता है, तो विशेष एल्गोरिदम का आविष्कार किया गया था जो कि ग्रंथों में शब्दों के संबंध, एक-दूसरे के साथ ग्रंथों के संबंध का विश्लेषण भी कर सकते हैं - जैसा कि एलमू करता है, केवल अधिक चालाक। सबसे पहले, यह एक कूलर और अधिक जटिल नेटवर्क है। दूसरी बात, हम एक साथ दो समस्याओं को हल करते हैं, और एक नहीं, जैसा कि एलमो-भाषा मॉडलिंग, पूर्वानुमान के मामले में। हम पाठ में छिपे हुए शब्दों को पुन: स्थापित करने और ग्रंथों के बीच लिंक को पुनर्स्थापित करने का प्रयास कर रहे हैं। यह है, चलो कहते हैं: "प्रोग्रामर Vasya बियर प्यार करता है। हर रात वह बार में जाता है। ” दो ग्रंथ परस्पर जुड़े हुए हैं। “प्रोग्रामर वास्या को बीयर पसंद है। गिर में क्रेनें उड़ती हैं ”- ये दो असंबंधित ग्रंथ हैं। फिर, इस जानकारी को बिना पढ़े हुए पाठों से निकाला जा सकता है, BERT को प्रशिक्षित किया जा सकता है और बहुत अच्छे परिणाम प्राप्त कर सकते हैं।

यह पिछले नवंबर में प्रकाशित किया गया था लेख "ध्यान आप सभी की आवश्यकता है," जो मैं अत्यधिक पढ़ने की सलाह देता हूं। फिलहाल, विभिन्न समस्याओं को हल करने के लिए पाठ विश्लेषण के क्षेत्र में यह सबसे अच्छा परिणाम है: पाठ वर्गीकरण (टनटन की मान्यता, उपयोगकर्ता के इरादे) के लिए; प्रश्न और उत्तर प्रणालियों के लिए; नामित संस्थाओं आदि को पहचानने के लिए। आधुनिक संवाद प्रणाली उपयोगकर्ता को क्या चाहिए, यह समझने के लिए BERT, पूर्व-प्रशिक्षित प्रासंगिक एम्बेडिंग (ELMo या BERT) का उपयोग करती है। लेकिन संवाद प्रबंधन मॉड्यूल को अभी भी अक्सर नियमों के आधार पर डिज़ाइन किया जाता है, क्योंकि एक विशेष संवाद विषय पर या यहां तक ​​कि कार्य पर बहुत निर्भर हो सकता है।