डेवलपर्स के लिए डीपपावलोव: # 1 एनएलपी टूल और चैटबॉट बनाएं

सभी को नमस्कार! हम प्राकृतिक भाषा प्रसंस्करण (या सिर्फ एनएलपी) से संबंधित व्यावहारिक समस्याओं को हल करने के लिए समर्पित लेखों की एक श्रृंखला खोल रहे हैं और ओपन-सोर्स लाइब्रेरी दीपपावलोव का उपयोग करके इंटरएक्टिव एजेंट (चैट बॉट) बना रहे हैं , जो कि हमारी प्रयोगशाला की न्यूरल सिस्टम और डीप लर्निंग की टीम द्वारा विकसित की गई है। MIPT। चक्र का मुख्य लक्ष्य दीपपावलोव के साथ डेवलपर्स के एक विस्तृत सर्कल को परिचित करना है और यह दिखाना है कि मशीन लर्निंग और गणित में पीएचडी में गहन ज्ञान के बिना लागू एनएलपी समस्याओं को हल करना कैसे संभव है।

एनएलपी कार्यों में पाठ की टन क्षमता निर्धारित करना, नामित संस्थाओं को पार्स करना, यह निर्धारित करना कि अन्य व्यक्ति आपके बॉट से क्या चाहता है: पिज्जा ऑर्डर करें या सहायता जानकारी प्राप्त करें और बहुत कुछ। आप एनएलपी कार्यों और विधियों के बारे में अधिक पढ़ सकते हैं।

इस अनुच्छेद में, हम आपको बताएंगे कि पूर्व-प्रशिक्षित एनएलपी मॉडल के साथ रीस्ट नॉर्थ को कैसे चलाया जाए जो बिना किसी अतिरिक्त कॉन्फ़िगरेशन या प्रशिक्षण के उपयोग के लिए तैयार हैं।

चक्र के सभी लेख:
1. डेवलपर्स के लिए डीपपावलोव: # 1 एनएलपी टूल और चैट बॉट बनाएं
2. डेवलपर्स के लिए दीपपावलोव: # 2 सेटअप और तैनाती

डीपपावलोव स्थापित करें

इसके बाद, लिनक्स के लिए निर्देश दिए जाएंगे। विंडोज के लिए, हमारे दस्तावेज देखें ।

• पायथन के वर्तमान समर्थित संस्करण के साथ एक आभासी वातावरण बनाएं और सक्रिय करें:
  
  

  virtualelnv env -p python3.7 source env/bin/activate 

• दीपपावलोव को एक आभासी वातावरण में स्थापित करें:
  
  

   pip install deeppavlov 

DeepPavlov मॉडल के साथ एक REST सर्वर चलाना

इससे पहले कि हम पहली बार डीपपावलोव मॉडल के साथ सर्वर लॉन्च करें, लाइब्रेरी आर्किटेक्चर की कुछ विशेषताओं के बारे में बात करना उपयोगी होगा।

डीपी में किसी भी मॉडल के होते हैं:

• पायथन कोड;
• डाउनलोड करने योग्य घटक - विशिष्ट डेटा पर अनुक्रमित सीखने के परिणाम (एम्बेडिंग, तंत्रिका नेटवर्क भार, आदि);
  
• एक कॉन्फ़िगरेशन फ़ाइल (बाद में इसे विन्यास के रूप में संदर्भित किया जाता है), जिसमें मॉडल द्वारा उपयोग की जाने वाली कक्षाओं, डाउनलोड किए गए घटकों के URL, पायथन निर्भरता और अधिक के बारे में जानकारी होती है।

हम आपको निम्नलिखित लेखों में दीपपावलोव के हुड के बारे में अधिक बताएंगे, अभी हमें केवल यह जानना है:

• दीपपावलोव में किसी भी मॉडल को उसके विन्यास के नाम से पहचाना जाता है;
  
• मॉडल को चलाने के लिए, आपको दीपपावलोव सर्वर से इसके घटकों को डाउनलोड करने की आवश्यकता है;
  
• इसके अलावा, मॉडल को चलाने के लिए, आपको इसके द्वारा उपयोग किए गए पायथन पुस्तकालयों को स्थापित करना होगा।
  

पहला मॉडल जो हम लॉन्च करेंगे, वह बहुभाषी नामांकित पहचान (एनईआर) होगा। मॉडल नामित शब्द के प्रकार के अनुसार पाठ शब्दों को वर्गीकृत करता है, जिससे वे संबंधित हैं (उचित नाम, भौगोलिक नाम, मुद्रा नाम और अन्य)। एनईआर के सबसे हाल के संस्करण के लिए विन्यास का नाम:

 ner_ontonotes_bert_mult 

हम मॉडल के साथ REST सर्वर शुरू करते हैं:

1. सक्रिय वर्चुअल वातावरण में इसके कॉन्फ़िगरेशन में निर्दिष्ट मॉडल निर्भरताएं स्थापित करें:
   
   

    python -m deeppavlov install ner_ontonotes_bert_mult 

2. DeepPavlov सर्वर से क्रमबद्ध मॉडल घटक डाउनलोड करें:
   
   

    python -m deeppavlov download ner_ontonotes_bert_mult 

   
   सीरियल घटकों को दीपपावलोव घर निर्देशिका में डाउनलोड किया जाएगा, जो डिफ़ॉल्ट रूप से स्थित है

    ~/.deeppavlov 

   डाउनलोड करते समय, पहले से डाउनलोड किए गए घटकों के हैश को सर्वर पर स्थित घटकों की हैश के खिलाफ जांच की जाती है। एक मैच के मामले में, डाउनलोड छोड़ दिया जाता है और मौजूदा फ़ाइलों का उपयोग किया जाता है। डाउनलोड किए गए घटकों का आकार औसतन 0.5 से 8 जीबी तक भिन्न हो सकता है, कुछ मामलों में अनज़िप करने के बाद 20 जीबी तक पहुंच जाता है।
3. हम मॉडल के साथ REST सर्वर शुरू करते हैं:
   
   

    python -m deeppavlov riseapi ner_ontonotes_bert_mult -p 5005 

इस कमांड के परिणामस्वरूप, होस्ट मशीन के 5005 पोर्ट पर एक मॉडल वाला REST सर्वर लॉन्च किया जाएगा (डिफ़ॉल्ट पोर्ट 5000 है)।

मॉडल को शुरू करने के बाद, एपीआई प्रलेखन के साथ स्वैगर और परीक्षण करने की क्षमता URL http: http://127.0.0.1:5005 पर देखी जा सकती है। हम निम्नलिखित JSON सामग्री के साथ http: //127.0.0.1►005/model POST अनुरोध के साथ एक समापन बिंदु भेजकर मॉडल का परीक्षण करेंगे:

 { "x": [ "        .", " -      15 " ] } 

जवाब में, हमें यह JSON मिलना चाहिए:

 [ [ ["", "", "", "", "", "", "", "", "", "."], ["O", "B-FAC", "O", "O", "O", "O", "O", "B-FAC", "I-FAC", "O"] ], [ ["", "", "-", "", "", "", "", "", "", "15", ""], ["O", "B-LOC", "I-LOC", "I-LOC", "I-LOC", "O", "O", "O", "O", "B-MONEY", "I-MONEY"] ] ] 

इन उदाहरणों के लिए, हम REST API DeepPavlov का विश्लेषण करेंगे।

एपीआई दीपपावलोव

प्रत्येक दीपपावलोव मॉडल में कम से कम एक इनपुट तर्क है। REST API में, तर्कों का नाम दिया गया है, उनके नाम आने वाले शब्दकोश की कुंजी हैं। ज्यादातर मामलों में, एक तर्क वह पाठ होता है जिसे संसाधित करने की आवश्यकता होती है। आप DeepPavlov प्रलेखन के मॉडल अनुभाग में मॉडल द्वारा दिए गए तर्कों और मूल्यों के बारे में अधिक जान सकते हैं ।

उदाहरण में, तर्क एक्स के लिए दो लाइनों की एक सूची दी गई थी, जिनमें से प्रत्येक को एक अलग मार्कअप दिया गया था। दीपपावलोव में, सभी मॉडल स्वतंत्र रूप से संसाधित होने वाले मूल्यों की एक सूची (बैच) इनपुट के रूप में स्वीकार करते हैं।

शब्द "बैच" मशीन सीखने के क्षेत्र को संदर्भित करता है और एक ही समय में एक एल्गोरिथ्म या तंत्रिका नेटवर्क द्वारा संसाधित स्वतंत्र इनपुट मूल्यों के एक पैकेज को संदर्भित करता है। यह दृष्टिकोण आपको इनपुट के अलग-अलग एक ही मूल्य की तुलना में बैच के एक तत्व के मॉडल प्रसंस्करण समय (अक्सर - काफी) को कम करने की अनुमति देता है। लेकिन प्रसंस्करण का परिणाम सभी तत्वों को संसाधित करने के बाद ही जारी किया जाता है। इसलिए, आने वाले बैच का गठन करते समय, मॉडल की गति और इसके प्रत्येक व्यक्तिगत तत्वों के लिए आवश्यक प्रसंस्करण समय को ध्यान में रखना आवश्यक होगा।

यदि दीपपावलोव मॉडल के कई तर्क हैं, तो उनमें से प्रत्येक का अपना मान बैच है, और आउटपुट में मॉडल हमेशा एक उत्तर बैच देता है। निवर्तमान बैचों के तत्व एक ही सूचकांक के साथ आने वाले बैचों के प्रसंस्करण तत्वों के परिणाम हैं।

उपरोक्त उदाहरण में, मॉडल का परिणाम टोकन (शब्द और विराम चिह्न) में प्रत्येक पंक्ति का टूटना था और एक नामित इकाई (संगठन का नाम, मुद्रा) के सापेक्ष टोकन का वर्गीकरण जो इसे दर्शाता है। फिलहाल, ner_ontonotes_bert_mult मॉडल 18 प्रकार की नामित संस्थाओं को पहचानने में सक्षम है, एक विस्तृत विवरण यहां पाया जा सकता है ।

दीपपावलोव के अन्य आउट-ऑफ-द-बॉक्स मॉडल

दीपपावलोव में एनईआर के अलावा, निम्नलिखित आउट-ऑफ-द-बॉक्स मॉडल लेखन के समय उपलब्ध हैं:

पाठ प्रश्न उत्तर देना

पाठ के प्रश्न का उत्तर इस पाठ का एक टुकड़ा है। मॉडल विन्यास : स्क्वाड_रू_बर्ट_इनफर

अनुरोध उदाहरण:

 { "context_raw": [ "DeepPavlov   .", " -      15 ." ], "question_raw": [ "  DeepPavlov?", "     ?" ] } 

परिणाम:

 [ [" ", 27, 31042.484375], ["15 ", 39, 1049.598876953125] ] 

अपमान का पता लगाना

उस व्यक्ति की अपमान की उपस्थिति की पहचान करना जिसे पाठ संबोधित किया गया है (लेखन के समय, केवल अंग्रेजी के लिए)। मॉडल कॉन्फ़िगरेशन: insults_kaggle_conv_bert

अनुरोध उदाहरण:

 { "x": [ "Money talks, bullshit walks.", "You are not the brightest one." ] } 

परिणाम:

 [ ["Not Insult"], ["Insult"] ] 

वाक्य विश्लेषण

पाठ की सकारात्मकता का वर्गीकरण (सकारात्मक, तटस्थ, नकारात्मक)। मॉडल विन्यास : rusentiment_elmo_twitter_cnn

अनुरोध उदाहरण:

 { "x": [ "   DeepPavlov.", "    DeepPavlov.", "    ." ] } 

परिणाम:

 [ ["positive"], ["neutral"], ["negative"] ] 

Paraphrase का पता लगाने

यह निर्धारित करना कि क्या दो अलग-अलग ग्रंथों का एक ही अर्थ है। मॉडल विन्यास : stand_paraphraser_ru

प्रश्न:

 { "text_a": [ "   ,  .", "      ." ], "text_b": [ " ,     ,   .", "       ." ] } 

परिणाम:

 [ [1], [0] ] 

सभी आउट-ऑफ-द-बॉक्स दीपपावलोव मॉडल की वर्तमान सूची हमेशा यहां पाई जा सकती है ।

निष्कर्ष

इस लेख में, हमने दीपपावलोव एपीआई और पुस्तकालय से बाहर उपलब्ध कराई गई लाइब्रेरी की कुछ टेक्स्ट प्रोसेसिंग क्षमताओं को पेश किया। यह ध्यान में रखा जाना चाहिए कि किसी भी एनएलपी कार्य के लिए, कार्य के विषय डोमेन (डोमेन) के अनुरूप डेटा सेट पर मॉडल को प्रशिक्षित करते समय सबसे अच्छा परिणाम प्राप्त किया जाएगा। इसके अलावा, सिद्धांत में और भी मॉडल सभी अवसरों के लिए प्रशिक्षित नहीं किए जा सकते हैं।

निम्नलिखित लेखों में, हम अतिरिक्त पुस्तकालय सेटिंग्स पर विचार करेंगे, डॉकर से दीपपावलोव लॉन्च करेंगे, और उसके बाद हम शिक्षण मॉडल पर आगे बढ़ेंगे। और यह मत भूलो कि दीपपावलोव के पास एक मंच है - पुस्तकालय और मॉडल के बारे में अपने प्रश्न पूछें। आपका ध्यान के लिए धन्यवाद!