दीपपावलोव पुस्तकालय का उपयोग करते हुए ऐलिस के लिए एक कौशल में अक्सर पूछे जाने वाले सवालों के जवाब स्वचालित करें

एक साल से अधिक समय से, MIPT में न्यूरल सिस्टम और डीप लर्निंग की प्रयोगशाला डीपपावलोव बना रही है - जो इंटरैक्टिव सिस्टम बनाने के लिए एक खुली लाइब्रेरी है। इसमें भाषा विश्लेषण के लिए प्रशिक्षित घटकों का एक सेट होता है, जिसके साथ आप व्यावसायिक समस्याओं को प्रभावी ढंग से हल कर सकते हैं।

उदाहरण के लिए, ग्राहकों के अक्सर पूछे जाने वाले प्रश्नों के उत्तर व्यवस्थित करें। कॉल सेंटर के माध्यम से ऐसा करने के लिए, वेबसाइट पर एक विजेट या कर्मचारियों को काम पर रखने से एक सामाजिक नेटवर्क एक साधारण मामला है। तत्काल कार्य प्रक्रिया को अनुकूलित करना है ताकि यह न्यूनतम त्रुटियों के साथ, और एक सुविधाजनक उपयोगकर्ता इंटरफ़ेस में स्वचालित रूप से किया जाए। उदाहरण के लिए, "यैंडेक्स" से आवाज सहायक "ऐलिस" में।

इस लेख में हम यह बताना चाहते हैं कि प्राकृतिक भाषा प्रसंस्करण का उपयोग करके एफएक्यू का जवाब देने की समस्या को प्रभावी ढंग से कैसे हल किया जाए और समाधान को ऐलिस में कैसे एकीकृत किया जाए।



ग्रंथों का वर्गीकरण और इसे कैसे करना है
दीपपावलोव पुस्तकालय पर आधारित प्रश्न-उत्तर कौशल बनाना
डीपपावलोव लाइब्रेरी स्थापित करें
ऐलिस पर एक कौशल चल रहा है
निष्कर्ष

ग्रंथों का वर्गीकरण और इसे कैसे करना है

समाप्त सेट से पूछे गए प्रश्न के करीब एक "सवाल-जवाब" जोड़ी खोजने की समस्या को सिमेंटिक निकटता / पाठ वर्गीकरण का निर्धारण करने के लिए एल्गोरिदम द्वारा हल किया जाता है।

इस समस्या को "उत्पादन में" हल करने के लिए, दो तरीके हैं: आप राज्य में एक एनएलपी विशेषज्ञ को रख सकते हैं, या आप समाधान को आउटसोर्स कर सकते हैं।

दोनों विकल्पों के विपक्ष: 1) डेटा संग्रह की आवश्यकता, 2) मॉडल प्रशिक्षण के अंतहीन पुनरावृत्तियों और गुणवत्ता माप, 3) डेवलपर्स की योग्यता के लिए गंभीर आवश्यकताएं। यहां तक ​​कि एक तैयार भाषा प्रसंस्करण समाधान की एकीकरण प्रक्रिया एक आसान काम नहीं है, इसे खरोंच से बनाने का उल्लेख नहीं करना है। विदेशी क्लाउड समाधान (Google सहायक या Microsoft Cortana) पाठ वर्गीकरण (DialogFlow, Azure Bot Service) की समस्या के लिए एक व्यापक समाधान प्रदान करते हैं, लेकिन अभी भी स्केलिंग के साथ समस्याएं हैं, पेड एपीआई सेवाओं और रूसी भाषा के लिए समर्थन को लिंक करना।

लेकिन चीयर्स - एक विकल्प है: आप ओपन सॉफ़्टवेयर लाइब्रेरी का उपयोग कर सकते हैं, जो रूसी में एफएक्यू का जवाब देने के लिए एक समाधान के निर्माण को सरल करता है और आवाज सहायक में इसका एकीकरण करता है।

दीपपावलोव पुस्तकालय पर आधारित प्रश्न-उत्तर कौशल बनाना

दीपपावलोव ऐसा ही एक पुस्तकालय है। इसमें भाषा विश्लेषण के लिए प्रशिक्षित घटकों का एक समूह शामिल है, जिसमें पाठ वर्गीकरण घटक शामिल हैं। आप सहायता में दीपपावलोव के विभिन्न घटकों के बारे में अधिक पढ़ सकते हैं।

दीपपावलोव के साथ काम करने के लिए डेवलपर से विशेष कौशल की आवश्यकता नहीं होती है, पुस्तकालय मुक्त है और ठीक-ट्यूनिंग के लिए पर्याप्त अवसर प्रदान करता है।

आप इस ट्यूटोरियल में ज्ञान के आधार पर एक कौशल बनाने के लिए सभी निर्देश पा सकते हैं। हम अनुशंसा करते हैं कि आप एक अलग स्क्रिप्ट में ट्यूटोरियल से कोड को फिर से लिखें और स्क्रिप्ट से कौशल चलाएं।

डीपपावलोव लाइब्रेरी स्थापित करें

आरंभ करने के लिए, पायथन 3.6 स्थापित करें और विकास पर्यावरण को सक्रिय करें। फिर डीपपावलोव स्थापित करें।

source activate py36 pip install -q deeppavlov 

कौशल विकास

दीपपावलोव में कौशल (कौशल) एक इकाई है, जो कार्यक्षमता की परवाह किए बिना ( पाठ वर्गीकरण , ओपन-डोमेन सवाल जवाब , आदि) एक एकीकृत इनपुट और आउटपुट प्रारूप है। कौशल इसलिए बनाए जाते हैं ताकि उन्हें एक साधारण संवाद प्रणाली के एकल ढेर में जोड़ा जा सके, जो अनुरोध प्राप्त होने पर, कौशल से उत्तर को उच्चतम विश्वास के साथ लेता है।

समानतामंचनशील श्रेणी का एक ऑब्जेक्ट बनाएं जो अक्सर पूछे जाने वाले प्रश्नों की सूची के आधार पर उपयोगकर्ता के अनुरोध पर प्रतिक्रिया करता है।

 from deeppavlov.contrib.skills.similarity_matching_skill import SimilarityMatchingSkill faq = SimilarityMatchingSkill(data_path = 'http://files.deeppavlov.ai/faq/dataset_ru.csv', x_col_name = 'Question', y_col_name = 'Answer', save_load_path = './model', config_type = 'tfidf_autofaq', edit_dict = {}, train = True) 

समानतामैचिंगस्किल क्लास के ऑब्जेक्ट में निम्नलिखित पैरामीटर हैं:

• डेटा_पथ - सीएसवी डेटा फ़ाइल का पथ (अल्पविराम सीमांकक)
• x_col_name - csv फ़ाइल में प्रश्नों के साथ कॉलम का नाम (प्रश्न, डिफ़ॉल्ट)
• y_col_name - csv फ़ाइल में उत्तर वाले कॉलम का नाम (उत्तर, डिफ़ॉल्ट)
• config_type उस कॉन्फ़िगरेशन का नाम है जिसे आप वर्गीकरण के लिए उपयोग करना चाहते हैं। सभी कॉन्फ़िगरेशन की सूची।
• edit_dict - एक विशिष्ट config_type के कॉन्फ़िगरेशन में फिर से लिखे जाने के लिए मापदंडों के साथ `ताना`
• save_load_path - वह पथ जहां प्रशिक्षित मॉडल को सहेजना है
• ट्रेन - मॉडल को प्रशिक्षित करना है या नहीं

मॉडल का उपयोग शुरू करने के लिए, प्रशिक्षण के बाद इसे निम्न कमांड के साथ लोड करने के लिए पर्याप्त है:

 faq = SimilarityMatchingSkill(save_load_path='./model')`. 

समानतामैचिंगस्किल वर्ग पाठ वर्गीकरण घटकों तक पहुंच को सरल करता है। लेकिन अगर कॉन्फ़िगरेशन का एक हिस्सा है जिसे आप बदलना चाहते हैं, तो आप edit_dict पैरामीटर को परिभाषित करके ऐसा कर सकते हैं। समानतामंचिंगस्किल वर्ग (किसी भी कौशल की तरह) की एक वस्तु एक इनपुट के रूप में तीन मापदंडों को लेती है: वर्गीकरण के लिए ऑफ़र की एक सूची, क्वेरी इतिहास की एक सूची और राज्यों की एक सूची (समानता के मामले में, पिछले दो खाली सूची हो सकती है)।

 faq(['  ?'],[],[]) 

एक सामान्य संवाद प्रणाली में आमतौर पर कई कौशल होते हैं। कई कौशल के साथ काम करने का प्रदर्शन करने के लिए, हम PatternMatchingSkill वर्ग के कई कौशल बनाएंगे।

 from deeppavlov.skills.pattern_matching_skill import PatternMatchingSkill hello = PatternMatchingSkill(responses=['', ''], patterns=['', '']) bye = PatternMatchingSkill(responses=['', ' '], patterns=['', ' ']) fallback = PatternMatchingSkill(responses=[' '], default_confidence = 0.3) 

PatternMatchingSkill एक सरल कौशल वर्ग है जिसे तब कहा जाता है जब उपयोगकर्ता अनुरोध पैटर्न सूची के तत्वों में से एक से मेल खाता है और डिफ़ॉल्ट सूची के डिफ़ॉल्ट विश्वास के साथ प्रतिक्रिया सूची के यादृच्छिक तत्वों पर प्रतिक्रिया करता है। आप कौशल प्रतिक्रियाओं को प्राथमिकता देने के लिए default_confidence पैरामीटर को मैन्युअल रूप से कॉन्फ़िगर कर सकते हैं।

अंतिम चरण कौशल को एक एजेंट में संयोजित करना और कौशल चयन पैरामीटर को कॉन्फ़िगर करना है। पैरामीटर `HighestConfidenceSelector` निर्धारित करता है कि कौशल उच्चतम आत्मविश्वास के साथ कहा जाएगा।

 from deeppavlov.agents.default_agent.default_agent import DefaultAgent from deeppavlov.agents.processors.highest_confidence_selector import HighestConfidenceSelector agent = DefaultAgent([hello, bye, faq, fallback], skills_selector=HighestConfidenceSelector()) 

अगला, सर्वर को 'समापन बिंदु' 'faq`` अनुरोधों और कनेक्शन पोर्ट `पोर्ट = 5000` के लिए पथ से शुरू करें

 from deeppavlov.utils.alice import start_agent_server start_agent_server(agent, host='0.0.0.0', port=5000, endpoint='/faq') 

कृपया ध्यान दें कि Yandex.Dialogs को बाहरी IP पते के साथ सर्वर की आवश्यकता होती है और https के माध्यम से एक Webhook URL के रूप में उपयोग किया जाता है। त्वरित प्रोटोटाइप के लिए, आप Ngrok का उपयोग कर सकते हैं - यह आपको स्थानीय नेटवर्क पर दीपपावलोव से अपने सर्वर तक पहुंचने के लिए एक सुरंग बनाने की अनुमति देता है। ऐसा करने के लिए, भागो

 ngrok http 5000 

DeepPavlov के साथ अपने सर्वर पर। इसके जवाब में, दो सुरंगें बनाई जाएंगी, एक http और https प्रोटोकॉल के लिए। Https के लिए सुरंग के पते की प्रतिलिपि बनाएँ, लिंक के लिए समापन बिंदु / faq जोड़ें, अंतिम लिंक हमारे Yandex.Dialog के लिए Webhook URL होगा।

ऐलिस पर एक कौशल चल रहा है

Yandex.Dialogs प्लेटफ़ॉर्म के साथ सहभागिता का परीक्षण करने के लिए, Dialyyandex.ru/developer पर जाएं और एक नया संवाद बनाएं। एक अद्वितीय नाम और सक्रियण नाम सेट करें। Webhook URL के लिए, पहले प्राप्त लिंक को निर्दिष्ट करें। परिवर्तन सहेजें। कौशल के साथ बातचीत करने के लिए, टेस्ट टैब पर जाएं।

निष्कर्ष

ठीक है, अब आप जानते हैं कि दीपपावलोव पुस्तकालय से पाठ वर्गीकरण मॉडल का उपयोग कैसे करें, सवाल-जवाब बॉट बनाने के लिए, दीपपावलोव का उपयोग करके प्रोटोटाइप कौशल को जल्दी से कैसे करें और उन्हें ऐलिस से कनेक्ट करें।

वैसे, अमेज़ॅन एलेक्सा और माइक्रोसॉफ्ट बॉट फ्रेमवर्क से जुड़ने के लिए इंटरफेस भी हमारे पुस्तकालय में लागू किए गए हैं।

हम टिप्पणियों में प्रतिक्रिया का स्वागत करते हैं। और आप हमारे मंच पर दीपपावलोव के बारे में कोई प्रश्न छोड़ सकते हैं।