अजगर में एक साधारण वार्तालाप चैटबोट बनाना

क्या आपको लगता है कि पायथन में अपनी चैटबोट लिखना मुश्किल है जो बातचीत का समर्थन कर सकती है? यदि आप एक अच्छा डेटा सेट पाते हैं तो यह बहुत आसान हो गया है। इसके अलावा, यह तंत्रिका नेटवर्क के बिना भी किया जा सकता है, हालांकि कुछ गणितीय जादू की अभी भी आवश्यकता होगी।

हम छोटे चरणों में जाएंगे: सबसे पहले, याद रखें कि पायथन में डेटा को कैसे लोड किया जाए, फिर शब्दों को गिनना सीखें, धीरे-धीरे रैखिक बीजगणित और सिद्धांत को कनेक्ट करें, और अंत में हम परिणामस्वरूप चैट एल्गोरिथ्म से टेलीग्राम के लिए एक बॉट बनाते हैं।

यह ट्यूटोरियल उन लोगों के लिए उपयुक्त है जो पहले से ही पायथन को थोड़ा छू चुके हैं, लेकिन मशीन सीखने से विशेष रूप से परिचित नहीं हैं। मैंने जानबूझकर किसी भी nlp-sh पुस्तकालयों का उपयोग यह दिखाने के लिए नहीं किया कि कुछ काम नंगे स्केलेर पर इकट्ठा किए जा सकते हैं।

संवाद डेटासेट में उत्तर की खोज करें

एक साल पहले, मुझे उन लोगों को दिखाने के लिए कहा गया था जो पहले डेटा विश्लेषण में नहीं लगे थे कुछ प्रेरणादायक मशीन सीखने के अनुप्रयोग जो आप अपने दम पर बना सकते हैं। मैंने उनके साथ एक बॉट-टॉकर लाने की कोशिश की, और हमने वास्तव में एक शाम में किया। हमें प्रक्रिया और परिणाम पसंद आया, और इसके बारे में अपने ब्लॉग पर लिखा। और अब मुझे लगा कि हैबर दिलचस्प होगा।

तो यहाँ हम चलते हैं। हमारा कार्य एक एल्गोरिथ्म बनाना है जो किसी भी वाक्यांश का उचित उत्तर देगा। उदाहरण के लिए, "आप कैसे हैं?" उत्तर "उत्कृष्ट, और आप?"। इसे प्राप्त करने का सबसे आसान तरीका प्रश्नों और उत्तरों के लिए तैयार डेटाबेस को खोजना है। उदाहरण के लिए, बड़ी संख्या में फिल्मों से उपशीर्षक लें।

हालाँकि, मैं और भी धोखेबाज़ी का कार्य करूँगा, और Yandex.Algorithm 2018 प्रतियोगिता के डेटा ले लूंगा - ये फिल्मों के वही संवाद हैं, जिसके लिए टॉलोका के कर्मचारियों ने अच्छे और बुरे सीक्वेल को चिह्नित नहीं किया। यैंडेक्स ने एलिस को प्रशिक्षित करने के लिए यह डेटा एकत्र किया (उसके हिम्मत 1 , 2 , 3 पर लेख)। दरअसल, मैं एलिस से प्रेरित था जब मैं इस बॉट के साथ आया था। यांडेक्स की तालिका अंतिम तीन वाक्यांशों और उन्हें (उत्तर) का उत्तर दिखाती है, लेकिन हम केवल सबसे हाल ही में उपयोग करेंगे (संदर्भ_0)।

संवादों का ऐसा डेटाबेस होने पर, आप उपयोगकर्ता की प्रत्येक प्रतिकृति के लिए बस उसमें खोज कर सकते हैं, और उस पर एक तैयार उत्तर दे सकते हैं (यदि ऐसे कई प्रतिकृति हैं, तो बेतरतीब ढंग से चुनें)। "आप कैसे हैं?" यह संलग्न स्क्रीनशॉट द्वारा स्पष्ट रूप से महान निकला। यह, अगर कुछ भी है, तो पाइथन 3 में एक ज्यूपिटर नोटबुक है। यदि आप इसे स्वयं दोहराना चाहते हैं, तो सबसे आसान तरीका एनाकोंडा को स्थापित करना है - इसमें पायथन और इसके लिए उपयोगी पैकेज का एक गुच्छा शामिल है। या आप कुछ भी स्थापित नहीं कर सकते हैं, लेकिन Google क्लाउड में नोटबुक चला सकते हैं।



वर्बिटिम खोजों के साथ समस्या यह है कि इसमें कम कवरेज है। वाक्यांश के लिए "आप कैसे हैं?" 40 हजार उत्तरों के डेटाबेस में कोई सटीक मिलान नहीं था, हालांकि इसका एक ही अर्थ है। इसलिए, अगले भाग में, हम एक अनुमानित खोज को लागू करने के लिए अलग-अलग गणित का उपयोग करके अपने कोड को पूरक करेंगे। और इससे पहले, आप पांडा लाइब्रेरी के बारे में पढ़ सकते हैं और पता लगा सकते हैं कि उपरोक्त कोड की 6 पंक्तियों में से प्रत्येक क्या करता है।

पाठ वैश्वीकरण

अब हम उनके बारे में अनुमानित खोज करने के लिए ग्रंथों को संख्यात्मक वैक्टर में बदलने की बात कर रहे हैं।

हम पहले ही पायथन में पंडों के पुस्तकालय के साथ मिल चुके हैं - यह आपको टेबल लोड करने, उनमें खोज करने आदि की अनुमति देता है। अब आइए scikit-learn (sklearn) लाइब्रेरी पर स्पर्श करें, जो पेचीदा डेटा हेरफेर के लिए अनुमति देता है - जिसे मशीन लर्निंग कहा जाता है। इसका मतलब यह है कि किसी भी एल्गोरिथम को पहले डेटा (फिट) दिखाना होगा ताकि यह उनके बारे में कुछ महत्वपूर्ण सीख सके। नतीजतन, एल्गोरिथ्म इस डेटा के साथ कुछ उपयोगी करने के लिए "सीखता है" - इसे बदलना (बदलना), या यहां तक ​​कि अज्ञात मूल्यों की भविष्यवाणी करना (भविष्यवाणी)।

इस मामले में, हम ग्रंथों ("प्रश्नों") को संख्यात्मक वैक्टर में बदलना चाहते हैं। यह आवश्यक है ताकि उन ग्रंथों को खोजना संभव हो जो दूरी की गणितीय अवधारणा का उपयोग करके एक-दूसरे के "करीब" हैं। दो बिंदुओं के बीच की दूरी पाइथागोरस प्रमेय द्वारा गणना की जा सकती है - उनके निर्देशांक के अंतर के वर्गों के योग के मूल के रूप में। गणित में, इसे यूक्लिडियन मीट्रिक कहा जाता है। यदि हम ग्रंथों को उन वस्तुओं में बदल सकते हैं जिनमें निर्देशांक हैं, तो हम यूक्लिडियन मीट्रिक की गणना कर सकते हैं और, उदाहरण के लिए, डेटाबेस में एक प्रश्न खोजें जो सबसे निकट से मिलता-जुलता है "आप क्या सोच रहे हैं?"।

पाठ के निर्देशांक को निर्दिष्ट करने का सबसे आसान तरीका भाषा के सभी शब्दों को क्रमबद्ध करना है, और कहते हैं कि पाठ का i-th समन्वय इसमें i- वें शब्द की घटनाओं की संख्या के बराबर है। उदाहरण के लिए, पाठ के लिए "मैं रोने में मदद नहीं कर सकता" शब्द का समन्वय "नहीं" 2 है, "I", "कर सकते हैं" और "रो" शब्दों के समन्वय 1 हैं, और अन्य सभी शब्दों के समन्वय (दसियों हज़ारों जिनमें से) 0. यह प्रतिनिधित्व है। शब्द क्रम के बारे में जानकारी खो देता है, लेकिन फिर भी बहुत अच्छी तरह से काम करता है।

समस्या यह है कि अक्सर पाए जाने वाले शब्दों के लिए (उदाहरण के लिए, कण "और" और "ए"), निर्देशांक असमान रूप से बड़े होंगे, हालांकि वे बहुत कम जानकारी रखते हैं। इस समस्या को कम करने के लिए, प्रत्येक शब्द के समन्वय को उन ग्रंथों की संख्या के लघुगणक द्वारा विभाजित किया जा सकता है जहां ऐसा शब्द होता है - इसे tf-idf कहा जाता है और यह अच्छी तरह से काम भी करता है।



केवल एक ही समस्या है: हमारे 60 हजार पाठात्मक "प्रश्नों" के डेटाबेस में, जिसमें 14 हजार अलग-अलग शब्द हैं। यदि आप सभी प्रश्नों को वैक्टर में बदल देते हैं, तो आपको 60k * 14k का एक मैट्रिक्स प्राप्त होता है। इसके साथ काम करने के लिए यह बहुत अच्छा नहीं है, इसलिए हम बाद में आयाम को कम करने के बारे में बात करेंगे।

आयामी कमी

हमने इसके प्रशिक्षण के लिए पहले से ही चैट चैटबॉट, डाउनलोड और वेक्टर किए गए डेटा बनाने का कार्य निर्धारित किया है। अब हमारे पास उपयोगकर्ता प्रतिकृति का प्रतिनिधित्व करने वाला एक संख्यात्मक मैट्रिक्स है। इसमें 60 हजार पंक्तियाँ हैं (संवादों के डेटाबेस में बहुत सारी प्रतिकृतियां थीं) और 14 हजार कॉलम थे (उनमें बहुत सारे अलग-अलग शब्द थे)। हमारा काम अब इसे छोटा करना है। उदाहरण के लिए, प्रत्येक पाठ को 14123-आयामी नहीं, बल्कि केवल 300-आयामी वेक्टर के रूप में प्रस्तुत करना।

यह आकार के हमारे मैट्रिक्स को 60049x14123 से गुणा करके प्राप्त किया जा सकता है, आकार के 14123x300 के प्रक्षेपण के विशेष रूप से चयनित मैट्रिक्स द्वारा, परिणाम के रूप में हमें 60049x300 मिलता है। पीसीए एल्गोरिथ्म ( प्रमुख घटक विधि ) प्रक्षेपण मैट्रिक्स का चयन करता है ताकि मूल मैट्रिक्स को फिर से सबसे छोटी मानक त्रुटि के साथ फिर से संगठित किया जा सके। हमारे मामले में, मूल मैट्रिक्स के लगभग 44% को बनाए रखना संभव था, हालांकि आयाम लगभग 50 गुना कम हो गया था।



क्या इस तरह के प्रभावी संपीड़न संभव बनाता है? याद रखें कि मूल मैट्रिक्स में ग्रंथों में अलग-अलग शब्दों का उल्लेख करने के लिए काउंटर हैं। लेकिन शब्द, एक नियम के रूप में, एक-दूसरे के स्वतंत्र रूप से नहीं, बल्कि संदर्भ में उपयोग किए जाते हैं। उदाहरण के लिए, समाचार के पाठ में "ब्लॉकिंग" शब्द जितना अधिक बार होता है, उतना ही अधिक बार, शब्द "टेलीग्राम" भी इस पाठ में पाया जाता है। लेकिन "ब्लॉकिंग" शब्द का सहसंबंध, उदाहरण के लिए, "कॉफ़टन" शब्द नकारात्मक है - वे विभिन्न संदर्भों में पाए जाते हैं।

तो, यह पता चला है कि प्रमुख घटकों की विधि सभी 14 हजार शब्दों को याद नहीं करती है, लेकिन 300 विशिष्ट संदर्भ हैं जिनके द्वारा इन शब्दों को फिर से स्थापित करने की कोशिश की जा सकती है। समान शब्द के समान प्रक्षेपण मैट्रिक्स के कॉलम आमतौर पर एक दूसरे के समान होते हैं क्योंकि ये शब्द अक्सर एक ही संदर्भ में पाए जाते हैं। इसका मतलब यह है कि अनौपचारिकता को खोने के बिना निरर्थक माप को कम करना संभव है।

कई आधुनिक अनुप्रयोगों में, प्रोजेक्शन मैट्रिक्स शब्द तंत्रिका नेटवर्क (जैसे word2vec ) द्वारा गणना की जाती है। लेकिन वास्तव में, सरल रैखिक बीजगणित पहले से ही व्यावहारिक रूप से उपयोगी परिणाम के लिए पर्याप्त है। प्रिंसिपल घटकों की विधि को एसवीडी के लिए कम्प्यूटेशनल रूप से कम किया जाता है, और यह मैट्रिक्स के आइजेनवेक्टर और ईजेन्यूवल की गणना करना है। हालाँकि, यह बिना विवरण के भी प्रोग्राम किया जा सकता है।

आस-पास के पड़ोसियों की तलाश करें

पिछले अनुभागों में, हमने डायलॉग बॉक्स को अजगर पर अपलोड किया, इसे वेक्टर किया, और आयाम को कम किया, और अब हम अंत में सीखना चाहते हैं कि हमारे 300-आयामी अंतरिक्ष में अपने निकटतम पड़ोसियों की खोज कैसे करें और अंत में सवालों का सार्थक उत्तर दें।

चूंकि हमने सीखा कि बहुत उच्च आयाम के यूक्लिडियन स्थान पर प्रश्नों का नक्शा कैसे बनाया जा सकता है, इसलिए पड़ोसियों के लिए खोज को बहुत तेज़ी से पूरा किया जा सकता है। हम तैयार किए गए बॉलट्री पड़ोसी खोज एल्गोरिदम का उपयोग करेंगे। लेकिन हम अपने रैपर मॉडल को लिखेंगे, जो कि निकटतम पड़ोसियों में से एक का चयन करेगा, और पड़ोसी के करीब, उसकी पसंद की संभावना जितनी अधिक होगी। हमेशा के लिए निकटतम पड़ोसियों में से एक उबाऊ है, लेकिन सभी के समान नहीं होना खतरनाक है।

इसलिए, हम इन ग्रंथों को चुनने की संभावना में क्वेरी से संदर्भ ग्रंथों में मिली दूरियों को मोड़ना चाहते हैं। ऐसा करने के लिए, आप सॉफ्टमैक्स फ़ंक्शन का उपयोग कर सकते हैं, जो अक्सर अभी भी तंत्रिका नेटवर्क से बाहर निकलता है। वह अपने तर्कों को गैर-नकारात्मक संख्याओं के एक समूह में बदल देती है, जिसका योग 1 है - बस हमें जो चाहिए। इसके अलावा, हम उत्तर के यादृच्छिक विकल्प के लिए प्राप्त "संभावनाओं" का उपयोग कर सकते हैं।



उपयोगकर्ता द्वारा दर्ज किए जाने वाले वाक्यांशों को सभी तीन एल्गोरिदम - सदिशाइज़र, प्रमुख घटक विधि और प्रतिक्रिया चयन एल्गोरिदम के माध्यम से पारित किया जाना चाहिए। कम कोड लिखने के लिए, आप एल्गोरिदम को क्रमिक रूप से लागू करते हुए, उन्हें एक श्रृंखला (पाइपलाइन) में जोड़ सकते हैं।

नतीजतन, हमें एक एल्गोरिथ्म मिला, जो उपयोगकर्ता के प्रश्न पर, इसके समान एक प्रश्न खोजने में सक्षम है और इसका उत्तर देता है। और कभी-कभी ये उत्तर लगभग सार्थक भी लगते हैं।

टेलीग्राम पर एक बॉट का प्रकाशन

हमने पहले ही पता लगा लिया है कि चैटबॉट चैट रूम कैसे बनाया जाए जो उपयोगकर्ता के अनुरोधों के बारे में लगभग प्रासंगिक उत्तर दे। अब मैं आपको दिखा रहा हूं कि इस तरह के चैटबॉट को टेलीग्राम पर कैसे जारी किया जाए।

इसका उपयोग करने का सबसे आसान तरीका अजगर के लिए रेडी-मेड रैपर टेलीग्राम एपीआई है - उदाहरण के लिए, pytelegrambotbi । तो, कदम से कदम निर्देश:

1. @Botfather के साथ अपने भविष्य के बॉट को पंजीकृत करें और एक एक्सेस टोकन प्राप्त करें, जिसे आपको अपने कोड में सम्मिलित करना होगा।
2. इंस्टालेशन कमांड को एक बार चलाएं - कमांड लाइन पर (या (सीधे नोटपैड में)) पर pytelegrambotapi इंस्टॉल करें।
3. स्क्रीनशॉट की तरह कोड को रन करें। सेल निष्पादन मोड (*) में जाएगा, और जब यह इस मोड में है, तो आप अपने बॉट के साथ जितना चाहें उतना संवाद कर सकते हैं। बॉट को रोकने के लिए, Ctrl + C दबाएं। दुखद, लेकिन महत्वपूर्ण सच्चाई: यदि आप रूस में हैं, तो सबसे अधिक संभावना है, इस सेल को शुरू करने से पहले, आपको वीपीएन चालू करना होगा, ताकि टेलीग्राम से कनेक्ट होने पर त्रुटि न हो। वीपीएन का एक सरल विकल्प यह है कि आप अपने स्थानीय कंप्यूटर पर सभी कोड न लिखें, लेकिन Google कोलाब ( ऐसा कुछ )।
4. यदि आप बॉट को स्थायी रूप से काम करना चाहते हैं, तो आपको इसके कोड को कुछ क्लाउड सेवा पर रखने की आवश्यकता है - उदाहरण के लिए, AWS, Heroku, now.sh या Yandex.Cloud। आप इन सेवाओं की साइटों पर या Habré पर लेखों में सबसे छोटे विवरणों में उन्हें कैसे चला सकते हैं, इसके बारे में जान सकते हैं। उदाहरण के लिए, एक छोटा उदाहरण बॉट का एक छोटा सा उदाहरण है जो हरोकू पर चल रहा है और मोंगोडब में लॉग डालता है।

मैं जानबूझकर लेख के लिए पूर्ण कोड अपलोड नहीं करता हूं - जब आप इसे स्वयं प्रिंट करते हैं और अपने स्वयं के प्रयासों के परिणामस्वरूप एक कामकाजी बॉट प्राप्त करते हैं तो आपको बहुत अधिक खुशी और उपयोगी अनुभव मिलेगा। ठीक है, या यदि आप ऐसा करने के लिए बहुत आलसी हैं, तो आप मेरे बॉट के संस्करण के साथ चैट कर सकते हैं।