भाषा बैरियर और एनएलपी। चैटबॉट हमें क्यों नहीं समझते हैं?

लोग लंबे समय से एक व्यक्ति को समझने के लिए एक मशीन सिखाना चाहते हैं। हालांकि, केवल अब हम विज्ञान कथा फिल्मों के भूखंडों के थोड़ा करीब हैं: हम ऐलिस को वॉल्यूम बंद करने के लिए कह सकते हैं, Google सहायक - टैक्सी या सिरी का आदेश दे सकते हैं - अलार्म सेट कर सकते हैं। आर्टिफिशियल इंटेलिजेंस के निर्माण से जुड़े घटनाक्रम में भाषा प्रसंस्करण प्रौद्योगिकियां मांग में हैं: खोज इंजनों में, तथ्यों को निकालने के लिए, पाठ की टोन, मशीन अनुवाद और संवाद का आकलन करें।


हम पिछले दो क्षेत्रों के बारे में बात करेंगे: उनका समृद्ध इतिहास है और भाषा प्रसंस्करण पर उनका महत्वपूर्ण प्रभाव पड़ा है। इसके अलावा, हम अपने पाठ्यक्रम एआई वीकेंड के अध्यक्ष , कंप्यूटर भाषाविद अन्ना वलसोवा के साथ चैट बॉट बनाते समय प्राकृतिक भाषा को संसाधित करने की बुनियादी संभावनाओं से निपटेंगे।

यह सब कैसे शुरू हुआ?

कंप्यूटर के साथ प्राकृतिक भाषा को संसाधित करने के बारे में पहली बात 20 वीं शताब्दी के 30 के दशक में आयर्स दार्शनिक तर्क के साथ शुरू हुई - उन्होंने एक बुद्धिमान व्यक्ति को एक अनुभवजन्य परीक्षण का उपयोग करके एक बुद्धिमान व्यक्ति से अलग करने का प्रस्ताव दिया। 1950 में, दार्शनिक पत्रिका माइंड में एलन ट्यूरिंग ने एक परीक्षण का प्रस्ताव दिया जहां न्यायाधीश को यह निर्धारित करना चाहिए कि वह किसके साथ बात कर रहा है: एक व्यक्ति या एक कंप्यूटर। परीक्षण का उपयोग करते हुए, कृत्रिम बुद्धि के काम का आकलन करने के लिए मानदंड निर्धारित किए गए थे, इसके निर्माण की संभावना पर सवाल नहीं उठाया गया था। परीक्षण की कई सीमाएं और नुकसान हैं, लेकिन चैट बॉट्स के विकास पर इसका महत्वपूर्ण प्रभाव पड़ा।
पहला क्षेत्र जहां भाषा प्रसंस्करण सफलतापूर्वक लागू किया गया था वह मशीन अनुवाद था। 1954 में, जॉर्ज टाउन विश्वविद्यालय ने आईबीएम के साथ मिलकर रूसी से अंग्रेजी में मशीन अनुवाद कार्यक्रम का प्रदर्शन किया, जिसमें 250 शब्दों के शब्दकोश और 6 व्याकरण के नियमों के आधार पर काम किया गया था। यह कार्यक्रम वास्तव में मशीनी अनुवाद कहा जा सकता है, और एक प्रदर्शन में 49 पूर्व चयनित प्रस्तावों का अनुवाद किया गया। 60 के दशक के मध्य तक, एक पूरी तरह से कार्यात्मक अनुवाद कार्यक्रम बनाने के लिए कई प्रयास किए गए थे, लेकिन 1966 में भाषा के स्वचालित प्रसंस्करण पर सलाहकार आयोग (ALPAC) ने मशीनी अनुवाद को एक निरर्थक दिशा घोषित कर दिया। कुछ समय के लिए राज्य सब्सिडी बंद हो गई, मशीन अनुवाद में सार्वजनिक रुचि कम हो गई, लेकिन अनुसंधान बंद नहीं हुआ।



पाठ का अनुवाद करने के लिए कंप्यूटर सिखाने के प्रयासों के समानांतर, वैज्ञानिक और पूरे विश्वविद्यालय एक ऐसा रोबोट बनाने की सोच रहे थे जो मानव भाषण व्यवहार की नकल कर सके। चैटबॉट का पहला सफल कार्यान्वयन एलिज़ा वर्चुअल इंटरलोक्यूटोर था, जो कि 1966 में जोसेफ वेइसनबाम द्वारा लिखा गया था। एलिजा ने मनोचिकित्सक के व्यवहार की पैरोडी की, इंटरकोकटर के वाक्यांश से महत्वपूर्ण शब्द निकाले और एक काउंटर प्रश्न पूछा। हम मान सकते हैं कि यह नियमों (नियम-आधारित बॉट) पर आधारित पहली चैट बॉट थी, और इसने इस तरह के सिस्टम की एक पूरी कक्षा की नींव रखी। 2014 में क्लीवरबोट, वीचैट ज़ियाओवी, यूजीन गोस्टमैन जैसे साक्षात्कारकर्ताओं ने औपचारिक रूप से ट्यूरिंग टेस्ट पास किया - और यहां तक ​​कि सिरी, जार्विस और एलेक्सा भी एलिजा के बिना दिखाई नहीं दिए।
1968 में, टेरी ग्रेप्स ने LISP में SHRDLU कार्यक्रम विकसित किया। वह साधारण वस्तुओं को कमांड पर ले गई: शंकु, क्यूब्स, गेंदें, और संदर्भ का समर्थन कर सकती हैं - वह समझती थी कि किस तत्व को स्थानांतरित करने की आवश्यकता है, अगर यह पहले उल्लेख किया गया था। चैट बॉट्स के विकास में अगला कदम एलिस कार्यक्रम था, जिसके लिए रिचर्ड वालेस ने एक विशेष मार्कअप भाषा - एआईएमएल (इंग्लिश आर्टिफिशियल इंटेलिजेंस मार्कअप लैंग्वेज) विकसित की। फिर, 1995 में, चैटबोट से अपेक्षाओं को कम कर दिया गया: उन्होंने सोचा कि एलिस एक व्यक्ति की तुलना में भी स्मार्ट होगा। बेशक, चैटबोट होशियार होने में सफल नहीं हुआ, और कुछ समय के लिए चैटबॉट में व्यापार निराश हो गया, और निवेशकों ने लंबे समय तक आभासी सहायकों के विषय को दरकिनार कर दिया।

भाषा मायने रखती है

आज चैटबॉट अभी भी नियमों और व्यवहार परिदृश्यों के एक सेट के आधार पर काम करते हैं, हालांकि, एक प्राकृतिक भाषा अस्पष्ट और अस्पष्ट है, एक विचार में प्रस्तुति के कई तरीके हो सकते हैं, इसलिए, संवाद प्रणालियों की व्यावसायिक सफलता भाषा प्रसंस्करण समस्याओं को हल करने पर निर्भर करती है। मशीन को आने वाले प्रश्नों की पूरी विविधता को स्पष्ट रूप से वर्गीकृत करने और उन्हें स्पष्ट रूप से व्याख्या करने के लिए सिखाया जाना चाहिए।
सभी भाषाओं को अलग तरीके से व्यवस्थित किया गया है, और यह पार्सिंग के लिए बहुत महत्वपूर्ण है। रूपात्मक रचना की दृष्टि से, शब्द के महत्वपूर्ण तत्व मूल रूप से मूल रूप से जुड़ सकते हैं, जैसे, उदाहरण के लिए, तुर्क भाषा में, या वे जड़ को तोड़ सकते हैं, जैसा कि अरबी और हिब्रू में है। वाक्य-विन्यास की दृष्टि से, कुछ भाषाएँ एक वाक्यांश में शब्दों के मुक्त क्रम की अनुमति देती हैं, जबकि अन्य को अधिक कठोरता से आयोजित किया जाता है। शास्त्रीय प्रणालियों में, शब्द क्रम एक आवश्यक भूमिका निभाता है। आधुनिक एनएलपी सांख्यिकीय विधियों के लिए, इसका ऐसा कोई मूल्य नहीं है, क्योंकि प्रसंस्करण शब्दों के स्तर पर नहीं, बल्कि पूरे वाक्यों में होता है।
बहुभाषी संचार के विकास के संबंध में चैट बॉट के विकास में अन्य कठिनाइयां उत्पन्न होती हैं। अब लोग अक्सर अपनी मूल भाषाओं में संवाद नहीं करते हैं, वे शब्दों का गलत इस्तेमाल करते हैं। उदाहरण के लिए, वाक्यांश में "मैंने दो दिन पहले भेज दिया है, लेकिन माल नहीं आया", शब्दावली के दृष्टिकोण से, हमें भौतिक वस्तुओं के वितरण के बारे में बात करनी चाहिए, उदाहरण के लिए, सामान, और इलेक्ट्रॉनिक पैसे के लेन-देन के बारे में नहीं, जो इन लोगों द्वारा उन शब्दों द्वारा वर्णित किया गया है जो नहीं बोलते हैं मूल भाषा में। लेकिन वास्तविक संचार में, एक व्यक्ति वार्ताकार को सही ढंग से समझेगा, और चैट बॉट में समस्याएं हो सकती हैं। कुछ विषयों, जैसे निवेश, बैंकिंग या आईटी में, लोग अक्सर अन्य भाषाओं में चले जाते हैं। लेकिन चैटबॉट को यह समझने की संभावना नहीं है कि दांव पर क्या है, क्योंकि यह एक भाषा में सबसे अधिक प्रशिक्षित है।

सफलता की कहानी: मशीन अनुवादक

वॉइस असिस्टेंट के आगमन और चैटबॉट्स के व्यापक प्रसार से पहले, मशीनी अनुवाद सबसे अधिक मांग वाला बौद्धिक कार्य था, जिसके लिए एक प्राकृतिक भाषा के प्रसंस्करण की आवश्यकता थी। तंत्रिका नेटवर्क और गहरी सीखने के बारे में बात करते हुए 90 के दशक में वापस चले गए, और पहला मार्क -1 न्यूरो कंप्यूटर 1958 में सामान्य रूप से दिखाई दिया। लेकिन हर जगह कंप्यूटर के कम प्रदर्शन और पर्याप्त भाषा कॉर्पस की कमी के कारण उनका उपयोग करना संभव नहीं था। केवल बड़ी शोध टीमें ही तंत्रिका नेटवर्क के क्षेत्र में अनुसंधान करने का जोखिम उठा सकती हैं।
20 वीं शताब्दी के मध्य में मशीन अनुवादक Google Translate और Yandex.Translator से बहुत दूर थे, लेकिन अनुवाद के विचारों की प्रत्येक नई पद्धति के साथ आए जो आज भी एक या किसी अन्य रूप में लागू किए गए हैं।
1970 नियम आधारित मशीन अनुवाद (RBMT) एक मशीन को अनुवाद करने के लिए सिखाने का पहला प्रयास था। एक शब्दकोश के साथ पांचवें ग्रेडर के रूप में अनुवाद प्राप्त किया गया था, लेकिन एक रूप या किसी अन्य में, मशीन अनुवादक या चैट बॉट के नियमों का अभी भी उपयोग किया जा रहा है।
1984 उदाहरण-आधारित मशीन अनुवाद (ईबीएमटी) उन भाषाओं का भी अनुवाद करने में सक्षम था जो एक-दूसरे से बिल्कुल अलग थीं, जहां किसी भी नियम को स्थापित करना बेकार था। सभी आधुनिक मशीन अनुवादक और चैट बॉट तैयार उदाहरण और पैटर्न का उपयोग करते हैं।
1990. इंटरनेट के विकास के युग में सांख्यिकीय मशीन अनुवाद (अंग्रेजी एसएमटी) ने न केवल तैयार भाषा कोर का उपयोग करना संभव बना दिया, बल्कि यहां तक ​​कि किताबें और स्वतंत्र रूप से अनुवादित लेख भी। अधिक डेटा उपलब्ध होने से अनुवाद की गुणवत्ता बढ़ गई। सांख्यिकीय तरीके अब भाषा प्रसंस्करण में सक्रिय रूप से उपयोग किए जाते हैं।

एनएलपी की सेवा में तंत्रिका नेटवर्क

प्राकृतिक भाषा प्रसंस्करण के विकास के साथ, कई समस्याओं को शास्त्रीय सांख्यिकीय विधियों और कई नियमों द्वारा हल किया गया था, लेकिन इससे भाषा में अस्पष्टता और अस्पष्टता की समस्या हल नहीं हुई। यदि हम बिना किसी संदर्भ के "धनुष" कहते हैं, तो एक जीवित वार्ताकार को यह समझने की संभावना नहीं है कि क्या कहा जा रहा है। पाठ में शब्द का शब्दार्थ पड़ोसी के शब्दों से निर्धारित होता है। लेकिन इसे एक मशीन को कैसे समझाया जाए अगर यह केवल एक संख्यात्मक प्रतिनिधित्व को समझता है? इस प्रकार सांख्यिकीय पाठ विश्लेषण विधि word2vec (वेक्टर के लिए अंग्रेजी शब्द) का जन्म हुआ।


वैक्टर bow_1 और bow_2 समानांतर हैं, इसलिए यह एक शब्द है, और bow_3 एक घर का नाम है।

नाम से विचार काफी स्पष्ट है: शब्द को वेक्टर के रूप में प्रस्तुत करने के लिए निर्देशांक (x ₁ , x ₂ , ..., x _n ) के साथ। गृहस्वामी का मुकाबला करने के लिए, वही शब्द टैग के साथ जुड़ते हैं: "bow_1", "bow_2" और इसी तरह। यदि वैक्टर धनुष_और धनुष_ समानांतर हैं, तो उन्हें एक शब्द माना जा सकता है। अन्यथा, ये शब्द समरूप हैं। आउटपुट पर, प्रत्येक शब्द का बहुआयामी अंतरिक्ष में अपना वेक्टर प्रतिनिधित्व होता है (वेक्टर अंतरिक्ष का आयाम 50 से 1000 तक भिन्न हो सकता है)।



यह सवाल बना हुआ है कि सशर्त चैट बॉट के प्रशिक्षण के लिए किस प्रकार के तंत्रिका नेटवर्क का उपयोग किया जाए। मानवीय भाषण में संगति महत्वपूर्ण है: हम निष्कर्ष निकालते हैं और पिछले वाक्य या यहां तक ​​कि पैराग्राफ में वर्णित के आधार पर निर्णय लेते हैं। एक आवर्तक तंत्रिका नेटवर्क (RNN) इन मानदंडों के लिए एकदम सही है, हालाँकि, जैसे-जैसे पाठ के जुड़े हिस्सों के बीच की दूरी बढ़ती जाती है, RNN के आकार को बढ़ाने की आवश्यकता होती है, जिसके परिणामस्वरूप सूचना प्रसंस्करण की गुणवत्ता में कमी आती है। यह समस्या LSTM नेटवर्क (अंग्रेजी दीर्घकालिक अल्पकालिक मेमोरी) द्वारा हल की गई है। इसकी एक महत्वपूर्ण विशेषता है - कोशिका की स्थिति, जो स्थिर रह सकती है, या यदि आवश्यक हो तो बदल सकती है। इस प्रकार, श्रृंखला में जानकारी खो नहीं जाती है, जो प्राकृतिक भाषा के प्रसंस्करण के लिए महत्वपूर्ण है।
आज प्राकृतिक भाषा के प्रसंस्करण के लिए बड़ी संख्या में पुस्तकालय हैं। यदि हम पायथन भाषा के बारे में बात करते हैं, जिसका उपयोग अक्सर डेटा विश्लेषण के लिए किया जाता है, तो ये एनएलटीके और स्पैसी हैं। बड़ी कंपनियां भी एनएलपी के लिए पुस्तकालयों को विकसित करने में भाग लेती हैं, जैसे कि इंटेल से एनएलपी आर्किटेक्ट या फेसबुक और उबर के शोधकर्ताओं से पाइटोरेक । भाषा प्रसंस्करण के तंत्रिका नेटवर्क के तरीकों में बड़े पैमाने पर कंपनियों में इतनी बड़ी रुचि के बावजूद, सुसंगत संवाद मुख्य रूप से शास्त्रीय विधियों के आधार पर बनाए जाते हैं, और तंत्रिका नेटवर्क भाषण पूर्व प्रसंस्करण और वर्गीकरण की समस्याओं को हल करने में सहायक भूमिका निभाता है।

व्यवसाय में एनएलपी का उपयोग कैसे किया जा सकता है?

प्राकृतिक भाषा प्रसंस्करण के लिए सबसे स्पष्ट अनुप्रयोगों में मशीन अनुवादक, चैट बॉट, और वॉयस असिस्टेंट शामिल हैं - कुछ जो हम हर दिन मुठभेड़ करते हैं। अधिकांश कॉल सेंटर के कर्मचारियों को आभासी सहायकों द्वारा प्रतिस्थापित किया जा सकता है, क्योंकि बैंकों के लगभग 80% ग्राहक अनुरोध काफी विशिष्ट मुद्दों से संबंधित हैं। चैटबोट भी शांति से उम्मीदवार के प्रारंभिक साक्षात्कार का सामना करेंगे और इसे "लाइव" बैठक में रिकॉर्ड करेंगे। अजीब तरह से पर्याप्त, न्यायशास्त्र काफी सटीक दिशा है, इसलिए यहां भी चैट बॉट एक सफल सलाहकार बन सकता है।



बी 2 सी दिशा केवल एक ही नहीं है जहां चैट बॉट का उपयोग किया जा सकता है। बड़ी कंपनियों में, कर्मचारी रोटेशन काफी सक्रिय है, इसलिए सभी को नए वातावरण को अपनाने में मदद करनी होगी। चूंकि नए कर्मचारी के प्रश्न काफी विशिष्ट हैं, इसलिए पूरी प्रक्रिया आसानी से स्वचालित है। किसी ऐसे व्यक्ति की तलाश करने की आवश्यकता नहीं है जो बताएगा कि प्रिंटर को कैसे फिर से भरना है, किसी भी मुद्दे पर किससे संपर्क करना है। कंपनी का इंटरनल चैट बॉट इसके साथ ठीक काम करेगा।

एनएलपी का उपयोग करके, आप इंटरनेट पर समीक्षाओं का विश्लेषण करके एक नए उत्पाद के साथ उपयोगकर्ता की संतुष्टि को सटीक रूप से माप सकते हैं। यदि कार्यक्रम ने समीक्षा को नकारात्मक के रूप में पहचाना है, तो रिपोर्ट स्वचालित रूप से उपयुक्त विभाग को भेज दी जाती है, जहां जीवित लोग पहले से ही इसके साथ काम कर रहे हैं।

भाषा प्रसंस्करण की संभावनाओं का केवल विस्तार होगा, और उनके साथ इसके अनुप्रयोग का दायरा भी होगा। यदि आपकी कंपनी के कॉल सेंटर में 40 लोग काम करते हैं, तो यह विचार करने योग्य है: शायद उन्हें प्रोग्रामर्स की टीम के साथ बदलना बेहतर होगा जो आपके लिए एक चैट बॉट डालेंगे?

आप हमारे एआई वीकेंड कोर्स पर भाषा प्रसंस्करण की संभावनाओं के बारे में अधिक जान सकते हैं, जहां अन्ना वल्सावा कृत्रिम बुद्धि के विषय के ढांचे में चैट बॉट के बारे में विस्तार से बात करेंगे।