रासा चैटबोट: समानताएं अनुभव

चैटबॉट उद्योग फलफूल रहा है। पहले तो वे काफी मूर्ख थे और उपयोगकर्ता के साथ एक संवाद कर सकते थे, जो प्रमुख था और संभावित उत्तर दे रहा था। तब बॉट्स थोड़े होशियार हो गए और जवाबों से कीवर्ड हासिल करने के लिए यूजर से टेक्स्ट इनपुट की मांग करने लगे। मशीन लर्निंग के विकास से वॉट के साथ आवाज में भी संवाद करने की क्षमता का उदय हुआ है। हालाँकि, अधिकांश समाधान संवाद ग्राफ के समान निर्माण और कीवर्ड द्वारा इसके नोड्स के बीच संक्रमण से बहुत दूर नहीं गए।

हाल ही में, समानताएं में, हमने कई आंतरिक प्रक्रियाओं का अनुकूलन करने और प्रयोग के रूप में अपनी आवश्यकताओं के लिए एक बॉट बनाने का फैसला किया। एक छोटी खोज के बाद, हमने RASA ओपन सोर्स प्रोजेक्ट पर अपनी किस्मत आजमाने का फैसला किया। डेवलपर्स के अनुसार, उन्होंने तीसरी पीढ़ी की चैट बॉट बनाई। यही है, यह बॉट केवल राज्य ग्राफ के आसपास नहीं जाता है, लेकिन पिछले संवाद के संदर्भ को बचाने और उपयोग करने में सक्षम है। आज तक, आधुनिक चैट बॉट के लिए सबसे अच्छा चित्रण कुछ इस तरह दिखता है:



अर्थात्, चैट बॉट ग्राफ़ के एक बिंदु से दूसरे बिंदु पर जाने के लिए सत्यापित नियमों का एक सेट है। यदि आप बाजार के दिग्गजों के मौजूदा समाधानों को देखते हैं, तो वास्तव में वहाँ नियमों के सेट से बहुत अलग नहीं है। मोटे तौर पर, यह सेट कुछ इस तरह दिखता है:

बिंदु XXX पर संवाद
यदि उपयोगकर्ता ने ['खरीदें', 'टिकट'] शब्दों के साथ एक प्रस्ताव दर्ज किया है, तो इस बिंदु पर जाएं "ASK WHERE"
यदि उपयोगकर्ता ने ['खरीदें', 'कटलेट' शब्दों के साथ एक प्रस्ताव दर्ज किया है, तो इस बिंदु पर जाएं "ASK FROM WHAT"

यह तुरंत स्पष्ट है कि यह यहाँ कचरा है, अगर उपयोगकर्ता ने प्रवेश किया: "मैं पोर्टो के लिए एक टिकट खरीदना चाहता हूं," वे अभी भी उससे पूछेंगे, "आप कहाँ जाना चाहते हैं?" संवाद को और अधिक मानवीय बनाने के लिए, आपको इस बात पर नए नियम जोड़ने होंगे कि यदि जगह का संकेत हो तो क्या करें।
फिर नियम जोड़ें कि क्या करना है अगर जगह और समय का संकेत है, और इसी तरह।

नियमों का यह सेट काफी तेजी से बढ़ेगा, लेकिन यह सबसे बुरी चीज नहीं है, सभी "सही" तरीकों का वर्णन, सुधार और पाला जा सकता है।

सबसे अप्रिय बात यह है कि एक व्यक्ति एक वनस्पति के विपरीत एक अप्रत्याशित प्राणी है, और किसी भी समय पूरी तरह से अलग पूछना शुरू कर सकता है। यही है, उस समय जब बॉट पहले से ही टिकट बुक करने के लिए तैयार है, एक व्यक्ति पूछ सकता है "वैसे, मौसम के बारे में क्या?" या "हालांकि नहीं, मैं अपनी कार में जाना चाहूंगा, सड़क को कितना समय लगता है?"

हालांकि, वह शहर चुनने के बाद भी इस समय पूछ सकता है, लेकिन प्रस्थान का समय चुनने से पहले या यहां तक ​​कि एक जगह का चयन करने के लिए जहां वह जाना चाहता है। राज्य मशीनों पर आधारित बॉट, जाम करेगा और इसके यांत्रिक स्यूडोपोड्स दुख की बात है, और उपयोगकर्ता निराश हो जाएगा।

यहां आप मशीन लर्निंग का उपयोग कर सकते हैं (और करना चाहिए)। लेकिन फिर नई समस्याएं पैदा होती हैं: उदाहरण के लिए, यदि आप ग्राफ पॉइंट्स में बदलाव की भविष्यवाणी करने के लिए सुदृढीकरण प्रशिक्षण का उपयोग करते हैं, तो सवाल उठता है: इस प्रशिक्षण के लिए डेटा कहां से मिलेगा, और उत्तरों की गुणवत्ता को कौन रेट करेगा?

उपयोगकर्ता आपके बॉट को पढ़ाने के लिए सहमत होने की संभावना नहीं रखते हैं, और, जैसा कि अभ्यास से पता चलता है, एक उपयोगकर्ता समुदाय एक बॉट को सिखा सकता है कि आप क्या चाहते हैं और समाज क्या सभ्य मानता है। इसके अलावा, प्रारंभिक चरण में बॉट पूरी तरह से जगह से बाहर का जवाब देगा, जो उपयोगकर्ताओं को नर्वस कर देगा और सिद्धांत में इस तरह के समर्थन के साथ गड़बड़ नहीं करेगा।

मौजूदा बॉट्स की सभी कमियों के बारे में विश्लेषण और सोचने के बाद, RASA डेवलपर्स ने समस्याओं को हल करने की कोशिश की:

• उपयोगकर्ता का कोई भी इनपुट "इरादे के निर्धारण" के माध्यम से जाता है, अर्थात, मशीन लर्निंग का उपयोग करके दर्ज किए गए पाठ को एक (या कई) इरादों के लिए मैप किया जाता है। इसके अलावा, यदि आवश्यक हो, संस्थाओं को पाठ से अलग किया जाता है और बॉट की मेमोरी में जोड़ा जाता है।
• यह प्रक्रिया अन्य बॉट्स के समान है, इरादे निर्धारण मॉडल के अपवाद के साथ।
• बॉट की अगली कार्रवाई का संदर्भ के आधार पर मशीन लर्निंग का उपयोग करके भविष्यवाणी की जाती है, यानी बॉट के पिछले कार्यों, इरादों और स्मृति की स्थिति।
• उसी समय, प्रारंभिक प्रशिक्षण के लिए बहुत अधिक डेटा की आवश्यकता नहीं होती है, और बॉट काफी भविष्यवाणी कर सकता है कि विशिष्ट उदाहरणों और नियमों के बिना भी क्या कार्रवाई की जाए।

काम के तंत्र पर अधिक विस्तार से विचार करें।

रासा एनएलयू

आइए पहले व्हेल के साथ शुरू करें, जिस पर बॉट आराम करता है। यह एक प्राकृतिक भाषा की समझ है, जिसमें दो मुख्य भाग होते हैं: इरादों का निर्धारण और संस्थाओं की मान्यता।

आशय का पता लगाना
आशय का निर्धारण एक संशोधित एल्गोरिथ्म पर आधारित है जिसे फेसबुक से स्टारस्पेस कहा जाता है, जिसे टेंसरफ्लो पर लागू किया गया है। इस मामले में, शब्दों के वेक्टर प्रतिनिधित्व के पूर्व-प्रशिक्षित मॉडल का उपयोग नहीं किया जाता है, जो आपको इन अभ्यावेदन की सीमाओं को दरकिनार करने की अनुमति देता है।

उदाहरण के लिए, आरएएसए एल्गोरिदम में इरादे का निर्धारण किसी भी भाषा के साथ-साथ प्रशिक्षण के उदाहरणों में आपके द्वारा निर्दिष्ट किसी भी विशिष्ट शब्द के लिए अच्छी तरह से काम करेगा। जब ग्लोव या वर्ड 2 वीसी जैसे पूर्व-प्रशिक्षित वेक्टर अभ्यावेदन के माध्यम से कार्यान्वित किया जाता है, तो बॉट का स्थानीयकरण और अत्यधिक विशिष्ट क्षेत्रों में इसका आवेदन पर्याप्त सिरदर्द लाएगा।

एल्गोरिथ्म शब्दों के बैग और उनके "समानता" की तुलना के माध्यम से वाक्यों के वेक्टराइजेशन के आधार पर काम करता है। इरादों और इरादों के उदाहरणों को शब्दों के बैग का उपयोग करके वैक्टर में बदल दिया जाता है और इसी तंत्रिका नेटवर्क के इनपुट को खिलाया जाता है। तंत्रिका नेटवर्क के आउटपुट में, शब्दों के इस विशेष सेट (समान एम्बेडिंग) के लिए एक वेक्टर प्राप्त किया जाता है।

प्रशिक्षण इस तरह से होता है कि दो समान वैक्टर और के-डिसिमिलर वाले के बीच जोड़ीदार दूरी (या तो कॉशन या वेक्टर उत्पादों) के योग के रूप में नुकसान फ़ंक्शन को कम करने के लिए। इस प्रकार, प्रशिक्षण के बाद, एक निश्चित वेक्टर प्रत्येक इरादे से जुड़ा होगा।

उपयोगकर्ता इनपुट प्राप्त होने पर, प्रस्ताव समान रूप से प्रशिक्षित हो जाता है और प्रशिक्षित मॉडल के माध्यम से चलता है। उसके बाद, परिणामी वेक्टर से सभी इरादों वाले वैक्टर की दूरी की गणना की जाती है। परिणाम को रैंक किया गया है, सबसे अधिक संभावित इरादों को उजागर करना और नकारात्मक मूल्यों को काट देना, अर्थात, पूरी तरह से मतभेद।

उपरोक्त बन्स के अलावा, यह दृष्टिकोण आपको प्रस्ताव से एक से अधिक इरादों को स्वचालित रूप से अलग करने की अनुमति देता है। उदाहरण के लिए: “हाँ, मैं समझ गया था कि। लेकिन अब मुझे घर कैसे मिलेगा? ” "आशय_कानूनी + आशय_खोज_दो_ड्राइव" के रूप में मान्यता प्राप्त है, जो आपको बॉट के साथ अधिक मानवीय संवाद बनाने की अनुमति देता है।

वैसे, प्रशिक्षण से पहले, आप प्रशिक्षण के उदाहरणों की संख्या बढ़ाने के लिए मौजूदा लोगों को मिलाकर उदाहरणों से कृत्रिम वाक्य बना सकते हैं।

रासा इकाई मान्यता

एनएलयू का दूसरा भाग पाठ से संस्थाओं का निष्कर्षण है। उदाहरण के लिए, एक उपयोगकर्ता लिखता है, "मैं दो दोस्तों के साथ एक चीनी रेस्तरां में जाना चाहता हूं," बॉट न केवल इरादे को उजागर करना चाहिए, बल्कि इसके अनुरूप डेटा भी होना चाहिए। यही है, अपनी स्मृति में भरें कि रेस्तरां में व्यंजन चीनी होना चाहिए, और आगंतुकों की संख्या तीन है।

इसके लिए, सशर्त रैंडम फ़ील्ड्स पर आधारित एक दृष्टिकोण का उपयोग किया जाता है, जो कि पहले से ही कहीं-कहीं हेबेरा पर वर्णित था, इसलिए मैंने इसे दोहराया नहीं। जो लोग इस एल्गोरिथ्म के बारे में स्टैनफोर्ड वेबसाइट पर पढ़ सकते हैं।

इसके अलावा, मैं ध्यान देता हूं कि आप टेम्प्लेट, ग्रंथों (उदाहरण के लिए, शहर के नाम) के आधार पर पाठ से इकाइयां प्राप्त कर सकते हैं, साथ ही एक अलग फेसबुक डकलिंग सेवा से जुड़ सकते हैं, जो किसी दिन के बारे में लिखना भी अच्छा होगा।

रासा कहानियां

दूसरी ब्लू व्हेल जिस पर RASA Core आधारित है, कहानियां हैं। कहानियों का सामान्य सार बॉट के साथ वास्तविक बातचीत के उदाहरण हैं, जिन्हें इरादे-प्रतिक्रिया के रूप में स्वरूपित किया गया है। इन कहानियों के आधार पर, एक आवर्तक तंत्रिका नेटवर्क (LSTM) को प्रशिक्षित किया जाता है, जो पिछले संदेश के इतिहास को वांछित कार्रवाई के लिए मैप करता है। यह आपको संवादों के ग्राफ़ को कठोरता से सेट करने की अनुमति नहीं देता है, साथ ही उनके बीच सभी संभावित राज्यों और संक्रमणों को निर्धारित करने के लिए नहीं।

पर्याप्त संख्या में उदाहरणों के साथ, नेटवर्क एक विशिष्ट उदाहरण की उपस्थिति की परवाह किए बिना, संक्रमण के लिए अगली स्थिति की पर्याप्त रूप से भविष्यवाणी करेगा। दुर्भाग्य से, इसके लिए कहानियों की सटीक संख्या अज्ञात है, और जो भी निर्देशित किया जा सकता है वह डेवलपर्स का वाक्यांश है: "जितना अधिक, उतना बेहतर।"

सिस्टम को प्रशिक्षित करने के लिए, न केवल कुछ आविष्कृत संवादों को रिकॉर्ड करना, आप इंटरैक्टिव प्रशिक्षण का उपयोग कर सकते हैं।

दो विकल्प हैं:
1. कई अभियंताओं को बॉट के साथ बातचीत में संलग्न करें, गलत भविष्यवाणियों को सही करें, संस्थाओं की गलत परिभाषा और कहानियों के साथ भविष्यवाणी की कार्रवाई के साथ प्लग करें।

2. डेटाबेस के लिए वार्तालाप सहेजें और फिर उन संवादों को देखने के लिए विशेष रूप से प्रशिक्षित इंजीनियरों का उपयोग करना जारी रखें जहां उपयोगकर्ता अपनी समस्या को हल नहीं कर सकता था, अर्थात, किसी व्यक्ति पर स्विच किया गया था, या बॉट ने अपनी असहायता स्वीकार की और जवाब नहीं दे सका।

कहानियों के तंत्र को समझने के लिए, कुछ सरल उदाहरणों को पार्स करना सबसे आसान है। बता दें कि एक रेस्तरां में एक टेबल आरक्षण है, उदाहरण के लिए स्रोत कोड उदाहरण अनुभाग में डेवलपर्स द्वारा प्रदान किया गया है। पहले हम अपने इरादे निर्धारित करेंगे, और फिर हम एक दो कहानियाँ बनायेंगे।

इरादे और उनके उदाहरण:

Intent_hello

• हाय
• नमस्ते
• अलोहा
• सुप्रभात

...
Intent_thanks

• धन्यवाद
• अच्छा
• आपका धन्यवाद

...
Intent_request

• बाय बाय स्किप

Intent_inform

• बाय बाय स्किप

अगला, आपको बॉट की मेमोरी बनाने की आवश्यकता है, अर्थात, उन स्लॉट्स को निर्धारित करें जिसमें उपयोगकर्ता की आवश्यकता है जिसे रिकॉर्ड किया जाएगा। स्लॉट परिभाषित करें:

भोजन:
प्रकार: अपरिष्कृत
ऑटो_फिल: असत्य
NUM_PEOPLE:
प्रकार: अपरिष्कृत
ऑटो_फिल: असत्य

और अब हम ऊपर छोड़े गए इरादों के लिए उदाहरण (एक छोटा सा हिस्सा) दिखाएंगे। उदाहरणों में कोष्ठक प्रारूप [इकाई] (भंडारण के लिए चर नाम: जिसे हम संग्रहीत करते हैं) में Ner_CRF के प्रशिक्षण के लिए डेटा हैं।

intent_request_restaurant

• मैं एक रेस्तरां की तलाश कर रहा हूँ
• क्या मैं सनी [भोजन] (छह लोगों के लिए भोजन) प्राप्त कर सकता हूं (अंक_ लोग: 6)
• एक रेस्तरां जो [कैरेबियन] (भोजन) भोजन परोसता है
• आईडी एक रेस्तरां की तरह
• im एक रेस्तरां है कि भोजन [भोजन] (भोजन) की सेवा के लिए देख रहे हैं

intent_inform

• [२] (अंक_ लोग)
• [तीन] (num_people: 3) लोगों के लिए
• बस [एक] (अंक_ व्यक्ति: 1) व्यक्ति
• कैसे मुक्केबाज़ी [एशियाई प्राच्य] (भोजन)
• [भारतीय] (भोजन) भोजन के बारे में क्या
• उह कैसे [तुर्की] (भोजन) भोजन के प्रकार के बारे में
• उम [अंग्रेजी] (भोजन)

अब हम मुख्य पथ का इतिहास निर्धारित करते हैं:

* नमस्कार
- utter_greet
* इंटेंट_रेक्वेस्ट
- restaurant_form
- फॉर्म {"नाम": "रेस्तरां_फॉर्म"}
- फॉर्म {"नाम": अशक्त}
- action_book_restaurant
* थैंक्यू
- utter_noworries

यह एक संपूर्ण दुनिया के लिए संपूर्ण आदर्श बॉट है। यदि उपयोगकर्ता ने पहले वाक्य में सभी आवश्यक डेटा को तुरंत इंगित किया, तो एक तालिका आरक्षित होगी। उदाहरण के लिए, वह लिखते हैं "मैं पाँच लोगों के लिए स्पेनिश रेस्तरां में टेबल बुक करना चाहता हूं।" इस मामले में, अंक_ लोग 5 होंगे, और भोजन - स्पेनिश, जो आरक्षण पर आगे की कार्रवाई के लिए बॉट के लिए पर्याप्त है।

हालांकि, यदि आप उदाहरणों को देखते हैं, तो आप देख सकते हैं कि डेटा हमेशा आवश्यक मात्रा में मौजूद नहीं है, और कभी-कभी वे बिल्कुल भी नहीं होते हैं। तो गैर-कोर संवाद दिखाई देते हैं।

मान लीजिए कि अनुरोध में रसोई के बारे में कोई डेटा नहीं है, अर्थात्, यह कुछ इस तरह का संवाद है:
नमस्ते
हाय
मैं पांच लोगों के लिए रेस्तरां बुक करना चाहता हूं
...

इसे सही ढंग से पूरा करने के लिए, आपको निम्नलिखित फॉर्म का इतिहास निर्धारित करने की आवश्यकता है:
* नमस्कार
- utter_greet
* इंटेंट_रेक्वेस्ट
- restaurant_form
- फॉर्म {"नाम": "रेस्तरां_फॉर्म"}
- स्लॉट {"request_slot": "num_people"}
- utter_ask_coven
* फार्म: सूचित {"व्यंजन": "मैक्सिकन"}
- स्लॉट {"व्यंजन": "मैक्सिकन"}
- फ़ॉर्म: रेस्तरां_फॉर्म
...

और सबसे अच्छी बात यह है कि यदि आप कई रसोई के लिए कहानियां बनाते हैं, तो, एक अपरिचित से मिलने पर, बॉट अपने दम पर अगली कार्रवाई की भविष्यवाणी करेगा, हालांकि यह बहुत निश्चित नहीं होगा। उसी समय, यदि आप एक समान कहानी बनाते हैं, लेकिन जहां "व्यंजन" स्लॉट भरा हुआ है, न कि "num_people" स्लॉट, तो बॉट बिल्कुल ध्यान नहीं देगा कि टेबल आरक्षण मापदंडों पर जानकारी किस क्रम में प्रदान की जाएगी।

सही तरीके से बॉट का नेतृत्व करने के लिए किसी भी प्रयास को रोकने के दो तरीके हैं: "कुछ भी नहीं" के बारे में बात करने के लिए संभव कहानियों की पहचान करने के लिए, या इस तरह की बातचीत शुरू करने के सभी प्रयासों के लिए - यह जवाब देने के लिए कि यह व्यापार के लिए वापस आ रहा है।

चूँकि हमारी कंपनी चैटबॉट्स की दुनिया में एक अद्भुत यात्रा की शुरुआत में है, इसलिए एक मौका है कि हमने जो रेक एकत्र किया और जो हमने किया उसके बारे में नए लेख होंगे। देखते रहो!