क्यों विट्गेन्स्टाइन के सिद्धांत सभी आधुनिक एनएलपी की नींव हैं

शब्दों का वेक्टर प्रतिनिधित्व संभवतः कृत्रिम बुद्धि के इतिहास में सबसे सुंदर और रोमांटिक विचारों में से एक है। भाषा का दर्शन, दर्शन की एक शाखा है जो भाषा और वास्तविकता के बीच के संबंधों की पड़ताल करती है और भाषण को सार्थक और समझने का तरीका बनाती है। आधुनिक प्राकृतिक भाषा प्रसंस्करण (एनएलपी) में शब्दों का एक वेक्टर प्रतिनिधित्व एक बहुत ही विशिष्ट तरीका है। एक अर्थ में, यह लुडविग विट्गेन्स्टाइन के सिद्धांतों का एक अनुभवजन्य साक्ष्य है, जो पिछली शताब्दी के सबसे प्रासंगिक दार्शनिकों में से एक है। विट्गेन्स्टाइन के लिए, शब्दों का उपयोग एक सामाजिक भाषा के खेल में एक कदम है जो समुदाय के सदस्यों द्वारा खेला जाता है जो एक दूसरे को समझते हैं। एक शब्द का अर्थ केवल एक संदर्भ में इसकी उपयोगिता पर निर्भर करता है; यह वास्तविक दुनिया से एक वस्तु के साथ एक से मेल नहीं खाता है।

उन मामलों के एक बड़े वर्ग के लिए जिनमें हम "अर्थ" शब्द का उपयोग करते हैं, इसे परिभाषित किया जा सकता है क्योंकि शब्द का अर्थ भाषा में इसका उपयोग है ।

बेशक, किसी शब्द का सही अर्थ समझना बहुत मुश्किल है। विचार करने के कई पहलू हैं:

• शब्द किस वस्तु को संदर्भित कर सकता है;
• भाषण का क्या हिस्सा है;
• चाहे वह एक मुहावरेदार अभिव्यक्ति हो;
• अर्थ के सभी रंगों;
• और इसी तरह।

इन सभी पहलुओं, अंत में, एक चीज के लिए नीचे आते हैं: शब्द का उपयोग कैसे करें, यह जानने के लिए।

अर्थ की अवधारणा और वर्णों के एक क्रमबद्ध सेट का भाषा में एक निश्चित अर्थ है, न केवल एक दार्शनिक प्रश्न है, बल्कि शायद सबसे बड़ी समस्या है जो एनएलपी के साथ काम करने वाले एआई विशेषज्ञों को निपटना है। यह एक रूसी-बोलने वाले व्यक्ति के लिए काफी स्पष्ट है कि एक "कुत्ता" एक "जानवर" है, और यह "डॉल्फिन" की तुलना में "बिल्ली" की तरह दिखता है, लेकिन यह कार्य एक व्यवस्थित समाधान के लिए सरल से बहुत दूर है।

विट्गेन्स्टाइन के सिद्धांतों को थोड़ा दुरुस्त करने के बाद, हम कह सकते हैं कि कुत्ते बिल्लियों की तरह दिखते हैं क्योंकि वे अक्सर एक ही संदर्भ में दिखाई देते हैं: आप शायद "घर" और "बगीचे" शब्दों के साथ जुड़े कुत्तों और बिल्लियों को "समुद्र" शब्द से पा सकते हैं। और "सागर"। यह अंतर्ज्ञान है जो वर्ड 2 वीईसी को रेखांकित करता है , जो शब्दों के वेक्टर प्रतिनिधित्व के सबसे प्रसिद्ध और सफल कार्यान्वयन में से एक है। आज, मशीनें लंबे ग्रंथों और मार्ग की वास्तविक समझ से बहुत दूर हैं, लेकिन शब्दों का वेक्टर प्रतिनिधित्व निस्संदेह एकमात्र तरीका है जिसने हमें पिछले एक दशक में इस दिशा में सबसे बड़ा कदम उठाने की अनुमति दी है।

BoW से Word2Vec तक

कई कंप्यूटर समस्याओं में, पहली समस्या डेटा को संख्यात्मक रूप में प्रस्तुत करना है; शब्द और वाक्य शायद इस रूप में कल्पना करना सबसे कठिन है। हमारे सेटअप में डी शब्द शब्दकोश से चुने गए हैं, और प्रत्येक शब्द को एक संख्यात्मक सूचकांक i सौंपा जा सकता है।

कई दशकों से, प्रत्येक शब्द का प्रतिनिधित्व करने के लिए एक क्लासिक दृष्टिकोण लिया गया है, जो कि सभी शून्य के संख्यात्मक डी-आयामी वेक्टर के रूप में है। एक उदाहरण के रूप में, तीन शब्दों के शब्दकोश पर विचार करें: "कुत्ता", "बिल्ली" और "डॉल्फिन" (डी = 3)। प्रत्येक शब्द को तीन-आयामी वेक्टर के रूप में दर्शाया जा सकता है: "कुत्ता" [1,0,0], "बिल्ली" से [0,1,0], और "डॉल्फ़िन" से मेल खाता है, जाहिर है, [0,0,1]। दस्तावेज़ को डी-आयामी वेक्टर के रूप में दर्शाया जा सकता है, जहां प्रत्येक तत्व दस्तावेज़ में आई-वें शब्द की घटनाओं को गिनता है। इस मॉडल को बैग-ऑफ-वर्ड्स (BoW) कहा जाता है, और इसका उपयोग दशकों से किया जा रहा है।

90 के दशक में अपनी सफलता के बावजूद, BoW के पास शब्दों के एकमात्र दिलचस्प कार्य का अभाव था: उनका अर्थ। हम जानते हैं कि दो बहुत भिन्न शब्दों के अर्थ समान हो सकते हैं, भले ही वे वर्तनी की दृष्टि से पूरी तरह भिन्न हों। "बिल्ली" और "कुत्ता" दोनों घरेलू जानवर हैं, "राजा" और "रानी" एक दूसरे के करीब हैं, "सेब" और "सिगरेट" पूरी तरह से असंबंधित हैं। हम यह जानते हैं , लेकिन BoW मॉडल में, ये सभी शब्द वेक्टर अंतरिक्ष में समान दूरी पर हैं: 1।

दस्तावेज़ों पर भी यही समस्या लागू होती है: BoW का उपयोग करके, हम यह निष्कर्ष निकाल सकते हैं कि दस्तावेज़ समान होते हैं यदि उनमें एक ही शब्द एक निश्चित संख्या में होता है। और यहाँ Word2Vec आता है, जो कि 60 साल पहले अपने दार्शनिक अध्ययन में विट्गेन्स्टाइन ने कई दार्शनिक प्रश्नों को सीखने वाली मशीन के संदर्भ में पेश किया था।

आकार डी के एक शब्दकोश में, जहां शब्द को इसके सूचकांक द्वारा पहचाना जाता है, लक्ष्य है कि एन << डी के लिए प्रत्येक शब्द के एन-आयामी वेक्टर प्रतिनिधित्व की गणना करें। आदर्श रूप में, हम चाहते हैं कि यह एक सघन वेक्टर हो, जो अर्थ के कुछ विशेष रूप से विशिष्ट पहलुओं का प्रतिनिधित्व करता हो। उदाहरण के लिए, हम आदर्श रूप से "कुत्ते" और "बिल्ली" चाहते हैं कि समान प्रतिनिधित्व हो, और "सेब" और "सिगरेट" वेक्टर अंतरिक्ष में बहुत दूर हैं।

हम वैक्टर पर कुछ बुनियादी बीजीय संचालन करना चाहते हैं, जैसे कि +−= । मैं "राजकुमार" और "राजकुमारी" के बीच की दूरी के साथ काफी हद तक वैक्टर "अभिनेता" और "अभिनेत्री" के बीच की दूरी चाहता हूं। हालांकि ये परिणाम बहुत ही यूटोपियन हैं, प्रयोगों से पता चलता है कि Word2Vec वैक्टर इन के बहुत करीब गुण प्रदर्शित करते हैं।

Word2Vec इससे सीधे विचार नहीं सीखता है, लेकिन उन्हें बिना शिक्षक के वर्गीकरण के उप-उत्पाद के रूप में प्राप्त करता है। औसत एनएलपी शब्द कॉर्पस डेटासेट में वाक्यों का एक सेट होता है; एक वाक्य में प्रत्येक शब्द आसपास के शब्दों के संदर्भ में प्रकट होता है। क्लासिफायर का उद्देश्य संदर्भ शब्दों को इनपुट के रूप में देखते हुए लक्ष्य शब्द की भविष्यवाणी करना है। वाक्य के लिए "भूरे रंग का कुत्ता बगीचे में खेलता है" शब्द [भूरा, खेलता है, बगीचे में] इनपुट के रूप में मॉडल को प्रदान किया जाता है, और उसे "कुत्ते" शब्द की भविष्यवाणी करनी चाहिए। इस कार्य को शिक्षक के बिना सीखने के रूप में माना जाता है, क्योंकि कॉर्पस को सत्य के बाहरी स्रोत के साथ चिह्नित करने की आवश्यकता नहीं है: यदि आपके पास वाक्यों का एक सेट है, तो आप हमेशा सकारात्मक और नकारात्मक उदाहरण बना सकते हैं। "बगीचे में खेलने वाले भूरे कुत्ते" को एक सकारात्मक उदाहरण के रूप में देखते हुए, हम कई नकारात्मक पैटर्न बना सकते हैं, जैसे "बगीचे में खेलने वाले भूरे रंग के विमान" या "बगीचे में खेलने वाले भूरे रंग के अंगूर", डेटा सेट से यादृच्छिक शब्दों के साथ लक्ष्य शब्द "कुत्ते" की जगह।

और अब विट्गेन्स्टाइन के सिद्धांतों का आवेदन पूरी तरह से स्पष्ट है: संदर्भ शब्दों के सदिश प्रतिनिधित्व के लिए महत्वपूर्ण है, क्योंकि यह उनके सिद्धांतों में शब्द के अर्थ को जोड़ना महत्वपूर्ण है। यदि दो शब्दों के समान अर्थ हैं, तो उनके समान प्रतिनिधित्व (एन-आयामी अंतरिक्ष में एक छोटी दूरी) केवल इसलिए होगा क्योंकि वे अक्सर समान संदर्भों में दिखाई देते हैं। इस प्रकार, "बिल्ली" और "कुत्ते" के पास अंततः वैक्टर होंगे क्योंकि वे अक्सर एक ही संदर्भ में दिखाई देते हैं: यह मॉडल के लिए उनके लिए समान वेक्टर अभ्यावेदन का उपयोग करने के लिए उपयोगी है, क्योंकि यह सबसे सुविधाजनक चीज है जो वह कर सकती है, उनके संदर्भों के आधार पर दो शब्दों की भविष्यवाणी करने में बेहतर परिणाम प्राप्त करने के लिए।

मूल लेख दो अलग आर्किटेक्चर प्रदान करता है: CBOW और स्किप-ग्राम। दोनों ही मामलों में, मौखिक प्रतिनिधित्व एक विशिष्ट वर्गीकरण कार्य के साथ सिखाया जाता है, जो मॉडल प्रदर्शन को अधिकतम करने वाले शब्दों का सर्वोत्तम संभव वेक्टर प्रतिनिधित्व प्रदान करता है।


चित्रा 1. CBOW और स्किप-ग्राम आर्किटेक्चर की तुलना

CBOW का अर्थ कंटीन्यूअस बैग ऑफ वर्ड्स है और इसका कार्य इनपुट के रूप में मन में संदर्भ के साथ एक शब्द का अनुमान लगाना है। इनपुट्स और आउटपुट को डी-डायमेंशनल वैक्टर के रूप में दर्शाया जाता है, जिसे एन-डायमेंशनल स्पेस में आम वेट के साथ पेश किया जाता है। हम केवल प्रक्षेपण भार की तलाश कर रहे हैं। वास्तव में, शब्दों का वेक्टर प्रतिनिधित्व डी × एन मेट्रिसेस है, जहां प्रत्येक पंक्ति एक शब्दकोश शब्द का प्रतिनिधित्व करती है। सभी संदर्भ शब्द एक स्थिति में अनुमानित हैं, और उनके वेक्टर प्रतिनिधित्व औसत हैं; इसलिए, शब्द क्रम परिणाम को प्रभावित नहीं करता है।

स्किप-ग्राम एक ही काम करता है, लेकिन इसके विपरीत: यह संदर्भ शब्द सी की भविष्यवाणी करने की कोशिश करता है , लक्ष्य शब्द को इनपुट के रूप में लेता है। कई प्रासंगिक शब्दों की भविष्यवाणी करने का कार्य स्वतंत्र द्विआधारी वर्गीकरण समस्याओं के एक सेट में सुधार किया जा सकता है, और अब लक्ष्य प्रासंगिक शब्दों की उपस्थिति (या अनुपस्थिति) की भविष्यवाणी करना है।

एक नियम के रूप में, स्किप-ग्राम को प्रशिक्षण के लिए अधिक समय की आवश्यकता होती है और अक्सर थोड़ा बेहतर परिणाम देता है, लेकिन, हमेशा की तरह, विभिन्न अनुप्रयोगों की अलग-अलग आवश्यकताएं होती हैं, और अग्रिम में भविष्यवाणी करना मुश्किल होता है कि कौन सा सबसे अच्छा परिणाम दिखाएगा। अवधारणा की सादगी के बावजूद, इस तरह की वास्तुकला सीखना डेटा की मात्रा और वजन को अनुकूलित करने के लिए आवश्यक प्रसंस्करण शक्ति के कारण एक वास्तविक दुःस्वप्न है। सौभाग्य से, इंटरनेट पर आप शब्दों के कुछ पूर्व-प्रशिक्षित वेक्टर प्रतिनिधित्व पा सकते हैं, और आप पायथन कोड की कुछ पंक्तियों के साथ - सबसे दिलचस्प - वेक्टर अंतरिक्ष का अध्ययन कर सकते हैं।

संभावित सुधार: ग्लोव और फास्टटेक्स्ट

हाल के वर्षों में क्लासिक वर्ड 2 वीईसी पर कई संभावित सुधार प्रस्तावित किए गए हैं। दो सबसे दिलचस्प और आमतौर पर इस्तेमाल किए जाने वाले ग्लोव (स्टैनफोर्ड यूनिवर्सिटी) और फास्टटैक् (फेसबुक द्वारा विकसित) हैं। वे मूल एल्गोरिथ्म की सीमाओं को पहचानने और दूर करने की कोशिश कर रहे हैं।

एक मूल वैज्ञानिक लेख में , ग्लोवी लेखक जोर देते हैं कि एक अलग स्थानीय संदर्भ पर मॉडल प्रशिक्षण वैश्विक कॉर्पस आंकड़ों का खराब उपयोग करता है। इस सीमा को पार करने के लिए पहला कदम एक वैश्विक मैट्रिक्स X बनाना है, जहां प्रत्येक तत्व i, j शब्द के संदर्भ में j शब्द के संदर्भ की संख्या को गिना जाता है। इस दस्तावेज़ का दूसरा महत्वपूर्ण विचार यह समझ है कि मूल्यों की विश्वसनीय भविष्यवाणी के लिए केवल संभावनाएं ही पर्याप्त नहीं हैं, और एक सह-घटना मैट्रिक्स की भी आवश्यकता है, जिसमें से मूल्यों के कुछ पहलुओं को सीधे निकाला जा सकता है।

दो शब्दों पर विचार करें i और j जो विशेष रुचि के हैं। संक्षिप्तता के लिए, मान लें कि हम एक थर्मोडायनामिक राज्य की अवधारणा में रुचि रखते हैं, जिसके लिए हम i = और j = ले सकते हैं। इन शब्दों के संबंध की जाँच अलग-अलग लगने वाले शब्दों का उपयोग करके संयुक्त घटना की उनकी संभावनाओं के अनुपात का अध्ययन करके की जा सकती है। बर्फ से संबंधित शब्दों के लिए, लेकिन भाप नहीं, k = [ठोस, पदार्थ की स्थिति] के लिए, हम उम्मीद करते हैं कि Pik / Pjk का अनुपात अधिक होगा। इसी तरह, भाप से जुड़े शब्द k के लिए, लेकिन बर्फ के साथ नहीं, k = , अनुपात छोटा होना चाहिए। "पानी" या "फैशन" जैसे शब्दों के लिए, जो या तो समान रूप से बर्फ और भाप से संबंधित हैं, या उनसे कोई संबंध नहीं है, यह अनुपात एकता के करीब होना चाहिए।

संभावनाओं का यह अनुपात शब्दों के वेक्टर प्रतिनिधित्व का अध्ययन करने के लिए शुरुआती बिंदु बन जाता है। हम वैक्टर की गणना करने में सक्षम होना चाहते हैं, जो एक विशिष्ट फ़ंक्शन एफ के संयोजन में , इस अनुपात को वेक्टर प्रतिनिधित्व स्थान में स्थिर रखता है।


चित्रा 2. ग्लोव मॉडल में शब्दों के वेक्टर प्रतिनिधित्व के लिए सबसे सामान्य सूत्र

फ़ंक्शन F और शब्द k पर निर्भरता को घातीय और निश्चित ऑफसेट को बदलकर सरल बनाया जा सकता है, जो कम से कम वर्गों विधि द्वारा त्रुटियों को कम करने का कार्य देता है J :


चित्रा 3. ग्लोव मॉडल में शब्दों के वेक्टर प्रतिनिधित्व की गणना का अंतिम कार्य

फंक्शन एफ एक काउंटिंग फंक्शन है जो बहुत बार और दुर्लभ मैचों को बोझ नहीं बनाने की कोशिश करता है, जबकि फ़ंक्शन की समरूपता को बहाल करने के लिए द्वि और बीजे ऑफ़सेट हैं। लेख के अंतिम पैराग्राफों में यह दिखाया गया है कि अंत में इस मॉडल का प्रशिक्षण शास्त्रीय स्किप-ग्राम मॉडल के प्रशिक्षण से बहुत अलग नहीं है, हालांकि अनुभवजन्य परीक्षणों में शब्दवी 2ईसी कार्यान्वयन के लिए ग्लोवी दोनों से बेहतर है।

दूसरी ओर, FastText Word2Vec के एक पूरी तरह से अलग दोष को ठीक करता है: यदि मॉडल प्रशिक्षण एक डी-आयामी वेक्टर के प्रत्यक्ष कोडिंग के साथ शुरू होता है, तो शब्दों की आंतरिक संरचना को अनदेखा किया जाता है। मौखिक अभ्यावेदन सीखने वाले शब्दों के कोडिंग को सीधे एन्कोडिंग करने के बजाय, फास्टटेक्स्ट एन-ग्राम वर्णों के योग के रूप में एन-ग्राम वर्णों का अध्ययन करने और शब्दों का प्रतिनिधित्व करने की पेशकश करता है। उदाहरण के लिए, N = 3 के साथ, "फूल" शब्द 6 अलग 3-ग्रामों के रूप में एन्कोड किया गया है [<fl, flo, low, Debt, wer, er>] प्लस एक विशेष अनुक्रम <फूल>। ध्यान दें कि किसी शब्द की शुरुआत और अंत को इंगित करने के लिए कोण कोष्ठक का उपयोग कैसे किया जाता है। इस प्रकार, यह शब्द शब्दों के शब्दकोश में इसके सूचकांक द्वारा दर्शाया गया है और इसमें एन-ग्राम का सेट है, जिसमें हैश फ़ंक्शन का उपयोग करके पूर्णांकों को मैप किया गया है। यह सरल सुधार आपको शब्दों के बीच एन-ग्राम अभ्यावेदन को विभाजित करने और उन शब्दों के सदिश निरूपण की गणना करने की अनुमति देता है जो सीखने के मामले में नहीं थे।

प्रयोग और संभव अनुप्रयोग

जैसा कि हमने पहले ही कहा था, इन सदिश अभ्यावेदन का उपयोग करने के लिए आपको पायथन कोड की केवल कुछ पंक्तियों की आवश्यकता है। मैंने 50-आयामी GloVe मॉडल के साथ कई प्रयोग किए, विकिपीडिया के वाक्यों से 6 बिलियन शब्दों पर प्रशिक्षित, साथ ही 300-आयामी फास्टटेक्स्ट मॉडल के साथ, कॉमन क्रॉल (जिसने 600 बिलियन टोकन दिए) पर प्रशिक्षित किया । यह खंड केवल अवधारणाओं को साबित करने और विषय की सामान्य समझ देने के लिए दोनों प्रयोगों के परिणामों के लिंक प्रदान करता है।

सबसे पहले, मैं शब्दों की कुछ बुनियादी समानताएं, उनके वेक्टर प्रतिनिधित्व की सबसे सरल लेकिन महत्वपूर्ण विशेषता की जांच करना चाहता था। जैसा कि अपेक्षित था, "कुत्ते" शब्द के साथ सबसे समान शब्द "बिल्ली" (0.92), "कुत्ते" (0.85), "घोड़ा" (0.79), "पिल्ला" (0.78) और "पालतू" (0.77) थे। ध्यान दें कि बहुवचन रूप का लगभग एक ही अर्थ है कि एकवचन। फिर, यह कहना हमारे लिए काफी मामूली है, लेकिन कार के लिए यह पूरी तरह से एक तथ्य नहीं है। अब भोजन: "पिज्जा" के लिए सबसे समान शब्द "सैंडविच" (0.87), "सैंडविच" (0.86), "स्नैक" (0.81), "बेक्ड माल" (0.79), "फ्राइज़" (0.79) और "बर्गर" (हैं) 0.78)। यह समझ में आता है, परिणाम संतोषजनक हैं, और मॉडल बहुत अच्छा व्यवहार करता है।

अगला कदम वेक्टर अंतरिक्ष में कुछ बुनियादी गणना करना है और यह जांचना है कि मॉडल ने कुछ महत्वपूर्ण गुणों का सही तरीके से अधिग्रहण किया है। दरअसल, +- वैक्टर की गणना के परिणामस्वरूप, परिणाम "अभिनेत्री" (0.94) है, और +- की गणना के परिणामस्वरूप, "राजा" (0.86) शब्द प्राप्त होता है। सामान्यतया, यदि मान a:b=c:d , तो d शब्द को d=b-a+c रूप में प्राप्त किया जाना चाहिए। अगले स्तर पर चलते हुए, यह कल्पना करना असंभव है कि ये वेक्टर ऑपरेशन भौगोलिक पहलुओं का भी वर्णन कैसे करते हैं: हम जानते हैं कि रोम इटली की राजधानी है, क्योंकि बर्लिन जर्मनी की राजधानी है, वास्तव में +-= (0.88) , और +-= (0.83) ।

और अब मज़ेदार हिस्से के लिए। उसी विचार के बाद, हम अवधारणाओं को जोड़ने और घटाने की कोशिश करेंगे। उदाहरण के लिए, इटालियंस के लिए अमेरिकी पिज्जा के बराबर क्या है? +-= (0.60) , फिर (0.59) । जब से मैं हॉलैंड चला गया, मैं हमेशा कहता हूं कि यह देश तीन चीजों का मिश्रण है: थोड़ा सा अमेरिकी पूंजीवाद, स्वीडिश ठंड और जीवन की गुणवत्ता, और अंत में, नियति बहुतायत की एक चुटकी। प्रारंभिक प्रमेय को थोड़ा बदलकर, स्विस परिशुद्धता का एक सा हटाकर, हम हॉलैंड (0.68) को ++- के परिणाम के रूप में प्राप्त करते हैं: ईमानदार होने के लिए काफी प्रभावशाली।


चित्रा 4. सभी डच पाठकों के लिए: इसे प्रशंसा के रूप में लें, ठीक है?

इन पूर्व प्रशिक्षित वेक्टर अभ्यावेदन का उपयोग करने के लिए अच्छे व्यावहारिक संसाधन यहां और यहां पाए जा सकते हैं। गेंसिम एक सरल और पूर्ण पायथन लाइब्रेरी है जिसमें कुछ रेडी-टू- यूज़ बीजीय और समान कार्य हैं। इन पूर्व-प्रशिक्षित वेक्टर अभ्यावेदन का उपयोग विभिन्न (और उपयोगी) तरीकों से किया जा सकता है, उदाहरण के लिए, मूड विश्लेषक या भाषा मॉडल के प्रदर्शन को बेहतर बनाने के लिए। जो भी कार्य, एन-आयामी वैक्टर का उपयोग करते हुए सीधे कोडिंग की तुलना में मॉडल की दक्षता में काफी सुधार होगा। बेशक, एक विशिष्ट क्षेत्र में वेक्टर अभ्यावेदन में प्रशिक्षण परिणाम को और बेहतर बनाएगा, लेकिन इसके लिए, शायद, अत्यधिक प्रयास और समय की आवश्यकता हो सकती है।