NLP। मूल बातें। प्रौद्योगिकी। व्यक्तिगत विकास। भाग 1

नमस्ते! मेरा नाम इवान स्मुरोव है, और मैं एबीबीवाई में एनएलपी अनुसंधान समूह का नेतृत्व करता हूं। आप यहां पढ़ सकते हैं कि हमारा समूह यहां क्या कर रहा है । मैंने हाल ही में स्कूल ऑफ डीप लर्निंग में नेचुरल लैंग्वेज प्रोसेसिंग (एनएलपी) पर एक व्याख्यान दिया - यह प्रोग्रामिंग और गणित में रुचि रखने वाले वरिष्ठ छात्रों के लिए MIPT के PhysTech स्कूल ऑफ एप्लाइड मैथमेटिक्स एंड कंप्यूटर साइंस में एक समूह है। शायद मेरे व्याख्यान का अंश किसी के लिए उपयोगी होगा, इसलिए मैं उन्हें हैबर के साथ साझा करूंगा।

चूँकि सब कुछ एक बार में नहीं समझा जा सकता है, हम लेख को दो भागों में विभाजित करेंगे। आज मैं बात करूंगा कि एनएलपी में तंत्रिका नेटवर्क (या गहन सीखने) का उपयोग कैसे किया जाता है। लेख के दूसरे भाग में, हम सबसे आम एनएलपी कार्यों में से एक पर ध्यान केंद्रित करेंगे - नामित संस्थाओं को निकालने का कार्य (नाम-इकाई मान्यता, एनईआर) और इसके समाधानों की वास्तुकला का विस्तार से विश्लेषण करेंगे।

एनएलपी क्या है?

यह एक प्राकृतिक भाषा में ग्रंथों के प्रसंस्करण के लिए कार्यों की एक विस्तृत श्रृंखला है (यानी, वह भाषा जिसे लोग बोलते और लिखते हैं)। क्लासिक एनएलपी कार्यों का एक सेट है, जिसका समाधान व्यावहारिक उपयोग का है।

• पहला और सबसे महत्वपूर्ण ऐतिहासिक कार्य मशीनी अनुवाद है। यह बहुत लंबे समय से अभ्यास किया गया है, और जबरदस्त प्रगति है। लेकिन उच्च गुणवत्ता (FAHQMT) का पूरी तरह से स्वचालित अनुवाद प्राप्त करने का कार्य अनसुलझा है। एक तरह से, यह एनएलपी इंजन है, जो आप कर सकते हैं सबसे बड़े कार्यों में से एक है।
  
  
  
• दूसरा कार्य ग्रंथों का वर्गीकरण है। ग्रंथों का एक समूह दिया गया है, और कार्य इन ग्रंथों को श्रेणियों में वर्गीकृत करना है। कौन सा? यह वाहिनी के लिए एक सवाल है।
  
  व्यावहारिक दृष्टिकोण से इसे लागू करने के सबसे पहले और सबसे व्यावहारिक तरीकों में से एक है स्पैम और बोअर (स्पैम नहीं) में अक्षरों का वर्गीकरण।
  
  एक और क्लासिक विकल्प समाचारों को श्रेणियों (रूब्रिकेशन) में वर्गीकृत करना है - विदेश नीति, खेल, बड़ा शीर्ष, या, कहें, तो आपको पत्र प्राप्त होते हैं और आप एयरलाइन टिकट और होटल आरक्षण से ऑनलाइन स्टोर से अलग ऑर्डर करना चाहते हैं।
  
  पाठ वर्गीकरण समस्या का तीसरा क्लासिक अनुप्रयोग भावुक विश्लेषण है। उदाहरण के लिए, सकारात्मक, नकारात्मक और तटस्थ के रूप में समीक्षाओं का वर्गीकरण।
  
  
  
  
  चूंकि बहुत सारी संभावित श्रेणियां हैं जिन्हें आप ग्रंथों में विभाजित कर सकते हैं, पाठ वर्गीकरण एनएलपी के सबसे लोकप्रिय व्यावहारिक कार्यों में से एक है।
• तीसरा कार्य एनईआर नामक संस्थाओं को पुनः प्राप्त करना है। हम उन पाठ अनुभागों में चयन करते हैं जो संस्थाओं के एक पूर्व-चयनित सेट के अनुरूप हैं, उदाहरण के लिए, आपको पाठ में सभी स्थानों, व्यक्तियों और संगठनों को खोजने की आवश्यकता है। पाठ "ओस्टैप बेंडर -" हॉर्न्स एंड होव्स "कार्यालय के निदेशक" आपको यह समझना चाहिए कि ओस्टैप बेंडर एक व्यक्ति है, और "हॉर्न्स एंड होव्स" एक संगठन है। अभ्यास में इस कार्य की आवश्यकता क्यों है और इसे कैसे हल किया जाए, हम अपने लेख के दूसरे भाग में बात करेंगे।
• चौथा कार्य तीसरे के साथ जुड़ा हुआ है - तथ्यों और संबंधों को निकालने का कार्य (संबंध निष्कर्षण)। उदाहरण के लिए, कार्य (व्यवसाय) का एक दृष्टिकोण है। "ओस्टैप बेंडर -" हॉर्न्स एंड होव्स "कार्यालय के निदेशक के लेख से यह स्पष्ट है कि हमारा हीरो" हॉर्न्स और होव्स "के साथ व्यावसायिक संबंधों से जुड़ा हुआ है। यही बात कई अन्य तरीकों से भी कही जा सकती है: "ओस्टाप बेंडर कार्यालय" हॉर्न्स एंड होव्स "कार्यालय की अगुवाई में है, या" ओस्टाप बेंडर लेफ्टिनेंट श्मिट के साधारण बेटे से "हॉर्न्स एंड होव्स" कार्यालय के प्रमुख के लिए गया है। " ये वाक्य न केवल विधेय में, बल्कि संरचना में भी भिन्न हैं।
  
  अन्य संबंधों के उदाहरण जिन्हें अक्सर हाइलाइट किया जाता है, खरीद और बिक्री, स्वामित्व, तिथि, स्थान आदि जैसे गुणों के साथ जन्म का तथ्य (जन्म) और कुछ अन्य।
  
  लगता है कि कार्य का कोई स्पष्ट व्यावहारिक अनुप्रयोग नहीं है, लेकिन फिर भी, इसका उपयोग असंरचित जानकारी की संरचना में किया जाता है। इसके अलावा, खोज इंजन में प्रश्न-उत्तर और संवाद प्रणालियों में यह महत्वपूर्ण है - हमेशा जब आपको किसी प्रश्न का विश्लेषण करने और समझने की आवश्यकता होती है कि यह किस प्रकार से संबंधित है, साथ ही उत्तर पर क्या प्रतिबंध हैं।
  
  
  
• अगले दो कार्य संभवतः सबसे अधिक प्रचार हैं। ये सवाल-जवाब और संवाद प्रणाली (चैट बॉट) हैं। अमेज़ॅन एलेक्सा, ऐलिस संवादी प्रणालियों के क्लासिक उदाहरण हैं। उनके लिए ठीक से काम करने के लिए, कई एनएलपी कार्यों को हल करना होगा। उदाहरण के लिए, पाठ वर्गीकरण यह निर्धारित करने में मदद करता है कि क्या हम लक्ष्य-उन्मुख चैटबॉट परिदृश्यों में से एक में आते हैं। मान लीजिए, "विनिमय दरों का सवाल।" स्क्रिप्ट टेम्प्लेट के लिए प्लेसहोल्डर्स की पहचान करने के लिए रिलेशन एक्सट्रैक्शन की आवश्यकता होती है, और कॉमन टॉपिक्स ("टॉकर्स") पर संवाद आयोजित करने का कार्य हमें उस स्थिति में मदद करेगा, जहां हम किसी भी परिदृश्य में नहीं गिरे हैं।
  
  प्रश्न-उत्तर प्रणाली भी एक समझने योग्य और उपयोगी चीज है। आप एक कार से एक प्रश्न पूछते हैं, कार एक डेटाबेस या टेक्स्ट बॉडी में इसका उत्तर ढूंढ रही है। इस तरह के सिस्टम के उदाहरण आईबीएम वाटसन या वोल्फ्राम अल्फा हैं।
• क्लासिक एनएलपी समस्या का एक और उदाहरण है संकरण। समस्या का कथन सरल है - इनपुट सिस्टम बड़े पाठ को स्वीकार करता है, और आउटपुट एक छोटा पाठ है, जो किसी बड़े की सामग्री को दर्शाता है। उदाहरण के लिए, किसी पाठ की रीटेलिंग, उसका नाम या एनोटेशन उत्पन्न करने के लिए मशीन की आवश्यकता होती है।
  
  
  
• एक अन्य लोकप्रिय कार्य तर्क खनन है, पाठ में औचित्य की खोज। आपको एक तथ्य और एक पाठ दिया जाता है, आपको पाठ में इस तथ्य का औचित्य खोजने की आवश्यकता है।

यह किसी भी तरह से एनएलपी कार्यों की पूरी सूची नहीं है। इनमें से दर्जनों हैं। द्वारा और बड़े रूप में, एक प्राकृतिक भाषा में पाठ के साथ किया जा सकता है सब कुछ एनएलपी के कार्यों के लिए जिम्मेदार ठहराया जा सकता है, बस सूचीबद्ध विषय कान से होते हैं, और उनके पास सबसे स्पष्ट व्यावहारिक अनुप्रयोग हैं।

एनएलपी कार्यों को हल करना क्यों मुश्किल है?

कार्यों का शब्दांकन बहुत जटिल नहीं है, लेकिन कार्य स्वयं सरल नहीं हैं, क्योंकि हम प्राकृतिक भाषा के साथ काम करते हैं। पोलीसिम की घटना (बहुवचन शब्दों का एक सामान्य प्रारंभिक अर्थ है) और समरूपता (अलग-अलग अर्थों वाले शब्दों का उच्चारण और एक ही लिखा जाता है) किसी भी प्राकृतिक भाषा की विशेषता है। और अगर रूसी का एक देशी वक्ता यह अच्छी तरह से समझता है कि लड़ाई तकनीक के साथ गर्म स्वागत बहुत कम है, एक तरफ और गर्म बियर , दूसरी तरफ, स्वचालित प्रणाली को लंबे समय तक यह सीखना है। उबाऊ " जारी रखने के लिए " प्रेस स्पेस बार का अनुवाद करने के लिए बेहतर क्यों है " जारी रखने के लिए, स्पेसबार दबाएं " की तुलना में " स्पेस प्रेस बार काम करना जारी रखेगा ।"

• Polysemy: स्टॉप (प्रोसेस या बिल्डिंग), टेबल (संगठन या वस्तु), कठफोड़वा (पक्षी या व्यक्ति)।
• घर का नाम: कुंजी, धनुष, ताला, स्टोव।
  
  
  
• भाषा की जटिलता का एक और क्लासिक उदाहरण सर्वनाम अनाहार है। उदाहरण के लिए, हमें पाठ " दो घंटे की बर्फबारी, वह असंतुष्ट था ।" सर्वनाम "वह" चौकीदार और बर्फ दोनों को संदर्भित कर सकता है। संदर्भ से, हम आसानी से समझते हैं कि वह एक चौकीदार है, बर्फ नहीं। लेकिन यह हासिल करने के लिए कि कंप्यूटर भी आसानी से समझ गया यह आसान नहीं है। सर्वनाम अनाथ की समस्या अभी भी बहुत अच्छी तरह से हल नहीं हुई है, निर्णयों की गुणवत्ता में सुधार के सक्रिय प्रयास जारी हैं।
• एक और जोड़ा जटिलता दीर्घवृत्त है। उदाहरण के लिए, " पेट्या ने एक हरा सेब खाया, और माशा ने एक लाल खाया ।" हम समझते हैं कि माशा ने लाल सेब खाया था। हालाँकि, इसे समझने के लिए मशीन प्राप्त करना भी आसान नहीं है। अब छोटे मामलों (कई सौ वाक्य) पर दीर्घवृत्त को बहाल करने का कार्य किया जा रहा है, और उन पर पूर्ण बहाली की गुणवत्ता स्पष्ट रूप से कमजोर है (0.5 के क्रम में)। यह स्पष्ट है कि व्यावहारिक अनुप्रयोगों के लिए ऐसी गुणवत्ता अच्छी नहीं है।

वैसे, इस वर्ष संवाद सम्मेलन में, पटरियों को रूसी भाषा के लिए अनाफोरा और गैपिंग (एक प्रकार का दीर्घवृत्त) दोनों पर आयोजित किया जाएगा। दोनों कार्यों के लिए, मामलों को मौजूदा इमारतों की मात्राओं से कई गुना अधिक मात्रा में इकट्ठा किया गया (वर्तमान में, गैपिंग के लिए, मामले की मात्रा मामलों की मात्रा से अधिक परिमाण का एक आदेश है, न केवल रूसी के लिए, बल्कि सभी भाषाओं में सामान्य रूप से)। यदि आप इन इमारतों में प्रतियोगिताओं में भाग लेना चाहते हैं, तो यहां क्लिक करें (पंजीकरण के साथ, लेकिन एसएमएस के बिना) ।

कैसे एनएलपी कार्य हल किए जाते हैं

छवि प्रसंस्करण के विपरीत, आप अभी भी एनएलपी पर लेख पा सकते हैं जो उन समाधानों का वर्णन करते हैं जो एसवीएम या एक्सगबॉस्ट जैसे क्लासिक एल्गोरिदम का उपयोग करते हैं, न कि तंत्रिका नेटवर्क, और जो ऐसे परिणाम दिखाते हैं जो अत्याधुनिक समाधानों से बहुत कम नहीं हैं।

हालांकि, कई साल पहले, तंत्रिका नेटवर्क ने क्लासिक मॉडल को हराना शुरू कर दिया था। यह ध्यान रखना महत्वपूर्ण है कि अधिकांश कार्यों के लिए, शास्त्रीय विधियों पर आधारित समाधान अद्वितीय थे, एक नियम के रूप में, वास्तुकला में और अन्य तरीकों से दोनों तरह की समस्याओं को हल करने के समान नहीं है।

हालांकि, तंत्रिका नेटवर्क आर्किटेक्चर बहुत अधिक सामान्य हैं। नेटवर्क की वास्तुकला, सबसे अधिक संभावना है, यह भी अलग है, लेकिन बहुत छोटा है, पूर्ण सार्वभौमिकरण की दिशा में एक प्रवृत्ति है। हालांकि, हम किन विशेषताओं और कैसे काम करते हैं, यह पहले से ही अधिकांश एनएलपी कार्यों के लिए लगभग समान है। केवल तंत्रिका नेटवर्क की अंतिम परतें भिन्न होती हैं। इस प्रकार, हम मान सकते हैं कि एक एकल एनएलपी पाइपलाइन का गठन किया गया है। यह कैसे व्यवस्थित किया जाता है, इसके बारे में अब हम आपको और बताएंगे।

पाइपलाइन nlp

संकेतों के साथ काम करने का यह तरीका, जो कमोबेश सभी कार्यों के लिए समान है।

जब भाषा की बात आती है, तो मूल इकाई जिसके साथ हम काम करते हैं वह शब्द है। या अधिक औपचारिक रूप से "टोकन"। हम इस शब्द का उपयोग करते हैं क्योंकि यह बहुत स्पष्ट नहीं है कि 2128506 क्या है - यह एक शब्द है या नहीं? उत्तर स्पष्ट नहीं है। टोकन आमतौर पर रिक्त स्थान या विराम चिह्नों द्वारा अन्य टोकन से अलग किया जाता है। और जैसा कि आप ऊपर वर्णित कठिनाइयों से समझ सकते हैं, प्रत्येक टोकन का संदर्भ बहुत महत्वपूर्ण है। अलग-अलग दृष्टिकोण हैं, लेकिन 95% मामलों में, मॉडल के काम के दौरान माना जाने वाला संदर्भ एक प्रस्ताव है जिसमें प्रारंभिक टोकन शामिल है।

कई कार्य आमतौर पर प्रस्ताव स्तर पर हल किए जाते हैं। उदाहरण के लिए, मशीनी अनुवाद। अधिक बार नहीं, हम बस एक वाक्य का अनुवाद करते हैं और एक व्यापक संदर्भ का उपयोग नहीं करते हैं। ऐसे कार्य हैं जहां यह मामला नहीं है, उदाहरण के लिए, संवाद प्रणाली। यह याद रखना महत्वपूर्ण है कि सिस्टम के बारे में पहले क्या पूछा गया था ताकि वह सवालों के जवाब दे सके। हालाँकि, प्रस्ताव भी मुख्य इकाई है जिसके साथ हम काम करते हैं।

इसलिए, पाइप लाइन के पहले दो चरण जो लगभग किसी भी कार्य को हल करने के लिए किए जाते हैं वे हैं विभाजन (वाक्यों में पाठ को विभाजित करना) और टोकेनाइजेशन (वाक्यों को टोकन में विभाजित करना, अर्थात् व्यक्तिगत शब्द)। यह सरल एल्गोरिदम के साथ किया जाता है।

अगला, आपको प्रत्येक टोकन की विशेषताओं की गणना करने की आवश्यकता है। एक नियम के रूप में, यह दो चरणों में होता है। पहला संदर्भ-स्वतंत्र टोकन विशेषताओं की गणना करना है। यह संकेतों का एक सेट है जो किसी भी तरह से हमारे टोकन के आसपास के अन्य शब्दों पर निर्भर नहीं करता है। सामान्य संदर्भ-स्वतंत्र विशेषताएँ हैं:

• embeddingi
• प्रतीकात्मक संकेत
• किसी विशेष कार्य या भाषा के लिए अतिरिक्त सुविधाएँ

हम नीचे और अधिक विस्तार से एम्बेडिंग और प्रतीकात्मक संकेतों के बारे में बात करेंगे (प्रतीकात्मक संकेतों के बारे में - आज नहीं, लेकिन हमारे लेख के दूसरे भाग में), लेकिन अब हम अतिरिक्त संकेतों के संभावित उदाहरण देते हैं।

सबसे अधिक इस्तेमाल की जाने वाली सुविधाओं में से एक भाषण या पीओएस टैग (भाषण का हिस्सा) का हिस्सा है। इस तरह की विशेषताएं कई समस्याओं को हल करने के लिए महत्वपूर्ण हो सकती हैं, उदाहरण के लिए, पार्सिंग कार्य। जटिल आकारिकी वाली भाषाओं के लिए, जैसे कि रूसी भाषा, रूपात्मक चरित्र भी महत्वपूर्ण हैं: उदाहरण के लिए, किस मामले में संज्ञा है, किस प्रकार का विशेषण है। इससे हम प्रस्ताव की संरचना के बारे में विभिन्न निष्कर्ष निकाल सकते हैं। इसके अलावा, लेमेटाइजेशन (प्रारंभिक रूपों में शब्दों की कमी) के लिए आकृति विज्ञान की आवश्यकता होती है, जिसकी मदद से हम विशेषता स्थान के आयाम को कम कर सकते हैं, और इसलिए अधिकांश एनएलपी समस्याओं के लिए रूपात्मक विश्लेषण का सक्रिय रूप से उपयोग किया जाता है।

जब हम एक समस्या को हल करते हैं, जहां विभिन्न वस्तुओं के बीच बातचीत महत्वपूर्ण है (उदाहरण के लिए, संबंध निष्कर्षण कार्य में या प्रश्न-उत्तर प्रणाली बनाते समय), तो हमें प्रस्ताव की संरचना के बारे में बहुत कुछ जानना होगा। इसके लिए पार्सिंग की आवश्यकता होती है। स्कूल में, हर किसी ने एक विषय के लिए एक वाक्य की भविष्यवाणी की, विधेय, जोड़, आदि। वाक्य विश्लेषण इस भावना में कुछ है, लेकिन अधिक जटिल है।

अतिरिक्त सुविधा का एक अन्य उदाहरण पाठ में टोकन की स्थिति है। हम एक प्राथमिकता जान सकते हैं कि कुछ इकाई पाठ की शुरुआत में अधिक बार पाई जाती है या अंत में इसके विपरीत।

सभी एक साथ - एम्बेडिंग, प्रतीकात्मक और अतिरिक्त संकेत - एक टोकन टोकन संकेतों का निर्माण करते हैं जो संदर्भ पर निर्भर नहीं करते हैं।

प्रसंग-संवेदनशील विशेषताएँ

प्रसंग-संवेदी टोकन संकेत, संकेतों का एक समूह है जिसमें न केवल स्वयं टोकन के बारे में जानकारी होती है, बल्कि इसके पड़ोसियों के बारे में भी जानकारी होती है। इन लक्षणों की गणना करने के विभिन्न तरीके हैं। शास्त्रीय एल्गोरिदम में, लोग अक्सर "खिड़की" से चलते थे: उन्होंने कई (उदाहरण के लिए, तीन) टोकन मूल और कई टोकन के बाद लिए, और फिर ऐसी खिड़की में सभी संकेतों की गणना की। यह दृष्टिकोण अविश्वसनीय है, क्योंकि विश्लेषण के लिए महत्वपूर्ण जानकारी क्रमशः खिड़की से अधिक दूरी पर हो सकती है, हम कुछ याद कर सकते हैं।

इसलिए, अब सभी संदर्भ-संवेदी सुविधाओं को मानक स्तर पर प्रस्ताव स्तर पर गणना की जाती है: दो तरफा आवर्तक तंत्रिका नेटवर्क LSTM या GRU का उपयोग करना। संदर्भ-स्वतंत्र से संदर्भ-संवेदनशील टोकन विशेषताओं को प्राप्त करने के लिए, सभी प्रस्ताव टोकन के संदर्भ-स्वतंत्र विशेषताओं को बिडायरेक्शनल आरएनएन (सिंगल या मल्टी-लेयर) में सबमिट किया जाता है। समय पर i-th क्षण में द्विदिश RNN का आउटपुट i-token का एक संदर्भ-संवेदनशील संकेत है, जिसमें दोनों पिछले टोकन के बारे में जानकारी शामिल है (चूंकि यह जानकारी प्रत्यक्ष INN के i-th मान में निहित है), और बाद वाले (टी के बारे में) .k यह जानकारी व्युत्क्रम RNN के संगत मान में निहित है)।

इसके अलावा, प्रत्येक व्यक्तिगत कार्य के लिए, हम कुछ अलग करते हैं, लेकिन पहली कुछ परतें - बिडायरेक्शनल आरएनएन तक, लगभग किसी भी कार्य के लिए उपयोग की जा सकती हैं।

सुविधाओं को प्राप्त करने की इस विधि को एनएलपी पाइपलाइन कहा जाता है।



यह ध्यान देने योग्य है कि पिछले 2 वर्षों में, शोधकर्ता सक्रिय रूप से एनएलपी पाइपलाइन को बेहतर बनाने की कोशिश कर रहे हैं - दोनों गति के मामले में (उदाहरण के लिए, ट्रांसफार्मर - एक आत्म-ध्यान-आधारित वास्तुकला जिसमें आरएनएन शामिल नहीं है और इसलिए तेजी से सीखने और लागू करने में सक्षम है), और साथ उपयोग किए गए संकेतों के दृष्टिकोण (अब वे सक्रिय रूप से पूर्व-प्रशिक्षित भाषा मॉडल के आधार पर संकेतों का उपयोग कर रहे हैं, उदाहरण के लिए, एलिमो , या वे पूर्व-प्रशिक्षित भाषा मॉडल की पहली परतों का उपयोग कर रहे हैं और कार्य के लिए उपलब्ध मामले में उन्हें वापस ले सकते हैं - ULMFit , BERT )।

शब्द-रूप एम्बेडिंग

चलो एम्बेडिंग क्या है पर एक करीब से देखो। मोटे तौर पर, एम्बेडिंग एक शब्द के संदर्भ का संक्षिप्त प्रतिनिधित्व है। किसी शब्द के संदर्भ को जानना क्यों महत्वपूर्ण है? क्योंकि हम एक वितरण परिकल्पना में विश्वास करते हैं - जो कि अर्थ में समान शब्द समान संदर्भों में उपयोग किए जाते हैं।

आइए अब हम एम्बेडिंग की एक कठोर परिभाषा देने की कोशिश करते हैं। एंबेडिंग एक पूर्वनिर्धारित आयाम के साथ एक सतत वेक्टर में वर्गीकृत विशेषताओं के असतत वेक्टर से एक मानचित्रण है।

एम्बेडिंग का एक विहित उदाहरण शब्द एम्बेडिंग (शब्द-रूप एम्बेडिंग) है।

आमतौर पर असतत फीचर वेक्टर के रूप में क्या कार्य करता है? एक निश्चित श्रेणी के सभी संभावित मूल्यों (उदाहरण के लिए, भाषण के सभी संभावित भागों या कुछ सीमित शब्दकोश से सभी संभव शब्द) के अनुरूप एक बूलियन वेक्टर।

शब्द-प्रपत्र एम्बेडिंग के लिए, यह श्रेणी आमतौर पर शब्दकोष में शब्द का सूचकांक है। मान लीजिए कि एक शब्दकोष है जिसमें 100 हजार का आयाम है। तदनुसार, प्रत्येक शब्द में संकेतों का एक असतत वेक्टर होता है - 100 हजार आयाम का बूलियन वेक्टर, जहां एक स्थान पर (हमारे शब्दकोश में शब्द का सूचकांक) एक है, और बाकी शून्य हैं।

हम निरंतर दिए गए आयामों के लिए हमारे असतत फ़ीचर वैक्टर को क्यों मैप करना चाहते हैं? क्योंकि 100 हजार के आयाम वाले वैक्टर गणना के लिए उपयोग करने के लिए बहुत सुविधाजनक नहीं हैं, लेकिन 100, 200 या, उदाहरण के लिए, 300 के पूर्णांक के वैक्टर, बहुत अधिक सुविधाजनक हैं।

सिद्धांत रूप में, हम इस तरह के मानचित्रण पर कोई अतिरिक्त प्रतिबंध लगाने का प्रयास नहीं कर सकते हैं। लेकिन जब से हम इस तरह के मानचित्रण का निर्माण कर रहे हैं, आइए हम यह सुनिश्चित करने का प्रयास करें कि इसी तरह के सार्थक शब्दों के वैक्टर भी कुछ अर्थों में करीब हैं। यह एक साधारण फीड-फॉरवर्ड न्यूरल नेटवर्क का उपयोग करके किया जाता है।

प्रशिक्षण एम्बेड करना

एंबेडिंग कैसे प्रशिक्षित हैं? हम संदर्भ द्वारा एक शब्द को बहाल करने की समस्या को हल करने की कोशिश कर रहे हैं (या इसके विपरीत, शब्द द्वारा एक संदर्भ को पुनर्स्थापित करना)। सबसे सरल मामले में, हम एक इनपुट के रूप में पिछले शब्द (शब्द आयाम के बूलियन वेक्टर) के शब्दकोश में सूचकांक प्राप्त करते हैं और हमारे शब्द के शब्दकोश में सूचकांक को निर्धारित करने का प्रयास करते हैं। यह एक अत्यंत साधारण वास्तुकला के साथ एक ग्रिड का उपयोग करके किया जाता है: दो पूरी तरह से जुड़ा हुआ परतें। पहले शब्दकोश के आयाम के बूलियन वेक्टर से पूरी तरह से जुड़ी हुई परत आती है, जिसमें एम्बेडिंग के आयाम की छिपी हुई परत (यानी वांछित आयाम के मैट्रिक्स द्वारा बूलियन वेक्टर को गुणा करना) है। और फिर इसके विपरीत, एक पूरी तरह से जुड़ा हुआ परत सॉफ्टमेक्स के साथ आयाम की एक छिपी हुई परत से एक शब्दकोश आयाम वेक्टर में एम्बेडिंग है। सॉफ्टमैक्स सक्रियण फ़ंक्शन के लिए धन्यवाद, हमें हमारे शब्द का संभाव्यता वितरण मिलता है और सबसे अधिक संभावना वाला विकल्प चुन सकते हैं।


Ith शब्द का एम्बेडिंग केवल ट्रांज़िशन मैट्रिक्स W में ith पंक्ति है।

व्यवहार में उपयोग किए जाने वाले मॉडल में, वास्तुकला अधिक जटिल है, लेकिन बहुत अधिक नहीं है। मुख्य अंतर यह है कि हम अपने शब्द को परिभाषित करने के लिए संदर्भ से एक वेक्टर का उपयोग नहीं करते हैं, लेकिन कई (उदाहरण के लिए, आकार 3 की विंडो में सब कुछ)। थोड़ा अधिक लोकप्रिय विकल्प वह है जब हम किसी शब्द को संदर्भ से नहीं, बल्कि शब्द से संदर्भ की भविष्यवाणी करने की कोशिश करते हैं। इस दृष्टिकोण को स्किप-ग्राम कहा जाता है।

आइए एक कार्य के आवेदन का एक उदाहरण देते हैं जो एम्बेडिंग के प्रशिक्षण के दौरान हल किया जाता है (संदर्भ के द्वारा CBOW संस्करण, शब्द भविष्यवाणियों में)। उदाहरण के लिए, मान लीजिए कि एक टोकन संदर्भ में 2 पिछले शब्द हैं।यदि हमने आधुनिक रूसी साहित्य के संदर्भ में ग्रंथों के कोष पर अध्ययन किया और संदर्भ में "कवि मरीना" शब्द शामिल हैं, तो सबसे अधिक संभावना है कि अगले शब्द "त्सेवतेवा" शब्द होगा।

हम एक बार फिर जोर देते हैं, एम्बेडिंग केवल संदर्भ (या शब्द के आधार पर संदर्भ) द्वारा किसी शब्द की भविष्यवाणी के कार्य पर प्रशिक्षित होते हैं, और उनका उपयोग किसी भी स्थिति में किया जा सकता है जहां हमें टोकन विशेषता की गणना करने की आवश्यकता होती है।

हम जो भी विकल्प चुनते हैं, एम्बेडिंग की वास्तुकला बहुत सरल है, और उनका बड़ा प्लस यह है कि उन्हें बिना चिह्नित डेटा पर प्रशिक्षित किया जा सकता है (वास्तव में, हम अपने टोकन के पड़ोसियों के बारे में केवल जानकारी का उपयोग करते हैं, और उन्हें निर्धारित करने के लिए केवल पाठ की आवश्यकता होती है)। परिणामी एम्बेडिंग केवल ऐसे कॉर्पस के लिए एक औसत संदर्भ है।

एक नियम के रूप में एंबेडेड शब्द रूप, प्रशिक्षण के लिए सबसे बड़े और सबसे सुलभ वाहिनी पर प्रशिक्षित किए जाते हैं। आम तौर पर यह भाषा में संपूर्ण विकिपीडिया है, क्योंकि आप इसे सभी को समाप्त कर सकते हैं, और किसी भी अन्य मामले जो आपको मिल सकते हैं।

उपरोक्त वर्णित आधुनिक आर्किटेक्चर के लिए पूर्व-प्रशिक्षण में इसी तरह के विचारों का उपयोग किया जाता है - एलोमो, यूएलएमएफआईटी, बीईआरटी। वे प्रशिक्षण के लिए अनलिस्टेड डेटा का भी उपयोग करते हैं, और इसलिए वे सबसे बड़ी संभव उपलब्ध इमारत पर सीखते हैं (हालांकि आर्किटेक्चर खुद, निश्चित रूप से शास्त्रीय एम्बेडिंग की तुलना में अधिक जटिल हैं)।

क्यों एम्बेड कर रहे हैं?

जैसा कि पहले ही उल्लेख किया गया है, एम्बेडिंग का उपयोग करने के 2 मुख्य कारण हैं।

• -, , , - 100 . – : , , .
• -, . -. . . , , . , , . . , , .

, . , , , , , . , , , , .

NER. , , . , , , , .