खोज में सियामी तंत्रिका नेटवर्क का उपयोग

सभी को नमस्कार! इस पोस्ट में मैं आपको बताऊँगा कि ग्रंथों की तुलना करने के लिए Mail.ru सर्च में हम किन दृष्टिकोणों का उपयोग करते हैं। यह किस लिए है? जैसे ही हम सीखते हैं कि विभिन्न ग्रंथों की एक-दूसरे के साथ अच्छी तरह से तुलना कैसे की जाती है, खोज इंजन उपयोगकर्ता के अनुरोधों को बेहतर ढंग से समझने में सक्षम होगा।

इसके लिए हमें क्या चाहिए? शुरू करने के लिए, कड़ाई से कार्य निर्धारित करें। आपको अपने लिए यह निर्धारित करने की आवश्यकता है कि हम किन ग्रंथों के समान मानते हैं और जिन्हें हम नहीं मानते हैं, और फिर समानता को स्वचालित रूप से निर्धारित करने के लिए एक रणनीति तैयार करते हैं। हमारे मामले में, दस्तावेजों के ग्रंथों के साथ उपयोगकर्ता प्रश्नों के ग्रंथों की तुलना की जाएगी।

पाठ प्रासंगिकता निर्धारित करने के कार्य में तीन चरण होते हैं। सबसे पहले, सबसे सरल: दो ग्रंथों में शब्दों के मेल की तलाश करें और परिणामों के आधार पर समानता के बारे में निष्कर्ष निकालें। अगला, अधिक कठिन कार्य विभिन्न शब्दों के बीच संबंध के लिए खोज करना है, समानार्थक समझना। और अंत में, तीसरा चरण: पूरे वाक्य / पाठ का विश्लेषण, अर्थ को अलग करना और अर्थ / वाक्यों की तुलना करना।



इस समस्या को हल करने का एक तरीका यह है कि टेक्स्ट स्पेस से कुछ मैपिंग को कुछ सरल करने के लिए। उदाहरण के लिए, आप ग्रंथों को वेक्टर स्थान में अनुवाद कर सकते हैं और वैक्टर की तुलना कर सकते हैं।

आइए शुरुआत में वापस जाएं और सबसे सरल दृष्टिकोण पर विचार करें: प्रश्नों और दस्तावेजों में मिलान शब्द ढूंढना। अपने आप में ऐसा कार्य पहले से ही काफी जटिल है: इस तरह से अच्छा करने के लिए, हमें यह सीखने की जरूरत है कि शब्दों के सामान्य रूप को कैसे प्राप्त किया जाए, जो कि अपने आप में अनैतिक है।


प्रत्यक्ष मानचित्रण मॉडल में बहुत सुधार किया जा सकता है। एक समाधान सशर्त समानार्थी शब्द से मेल खाना है। उदाहरण के लिए, आप ग्रंथों में शब्दों के वितरण पर संभाव्य मान्यताओं को दर्ज कर सकते हैं। आप वेक्टर अभ्यावेदन के साथ काम कर सकते हैं और बेमेल शब्दों के बीच कनेक्शन को अलग कर सकते हैं, और इसे स्वचालित रूप से कर सकते हैं।

चूंकि हम खोज में लगे हुए हैं, इसलिए हमारे पास कुछ प्रश्नों के जवाब में कुछ दस्तावेज़ प्राप्त करते समय उपयोगकर्ताओं के व्यवहार के बारे में बहुत अधिक डेटा होता है। इन आंकड़ों के आधार पर, हम विभिन्न शब्दों के बीच संबंध के बारे में निष्कर्ष निकाल सकते हैं।

चलो दो वाक्य लेते हैं:



प्रत्येक शब्द को क्वेरी से और शीर्षक से कुछ भार असाइन करें, जिसका अर्थ होगा कि पहला शब्द दूसरे के साथ कितना जुड़ा हुआ है। हम इन भारों के योग के सिग्मोइडल परिवर्तन के रूप में क्लिक की भविष्यवाणी करेंगे। यही है, हम लॉजिस्टिक रिग्रेशन का कार्य निर्धारित करते हैं, जिसमें विशेषताओं को फ़ॉर्म के जोड़े (क्वेरी से शब्द, दस्तावेज़ के शीर्षक / पाठ से शब्द) द्वारा दर्शाया जाता है। यदि हम इस तरह के मॉडल को प्रशिक्षित कर सकते हैं, तो हम समझेंगे कि कौन से शब्द समानार्थक हैं, अधिक सटीक रूप से, कनेक्ट किया जा सकता है, और जो सबसे अधिक संभावना नहीं है।

$$

$$\ textbf {संभाव्यता पर क्लिक करें} = \ sigma \ left (\ sum \ varphi _ {i} \ right) \ textbf {, जहां} \ \ varphi _ {i} \ textbf {- कुछ शब्दों का वजन (क्वेरी शब्द, दस्तावेज़ शब्द) }$$

अब आपको एक अच्छा डेटासेट बनाने की आवश्यकता है। यह पता चला है कि उपयोगकर्ताओं के क्लिक इतिहास को लेना, नकारात्मक उदाहरण जोड़ना पर्याप्त है। नकारात्मक उदाहरणों में कैसे मिश्रण करें? उन्हें 1: 1 के अनुपात में डेटासेट में जोड़ना सबसे अच्छा है। इसके अलावा, प्रशिक्षण के पहले चरण में उदाहरण खुद बेतरतीब ढंग से किए जा सकते हैं: एक क्वेरी-दस्तावेज़ जोड़ी के लिए, हम एक और यादृच्छिक दस्तावेज़ पाते हैं, और हम इस तरह के जोड़े को एक नकारात्मक मानते हैं। प्रशिक्षण के बाद के चरणों में, अधिक जटिल उदाहरण देना फायदेमंद है: जिनके पास चौराहे हैं, साथ ही यादृच्छिक उदाहरण हैं जो मॉडल समान (कठिन नकारात्मक खनन) मानता है।

उदाहरण: शब्द "त्रिकोण" के लिए समानार्थी।


इस स्तर पर, आप पहले से ही शब्दों से मेल खाने वाले अच्छे फ़ंक्शन को अलग कर सकते हैं, लेकिन यह वह नहीं है जिसके लिए हम प्रयास कर रहे हैं। यह फ़ंक्शन आपको अप्रत्यक्ष शब्द मिलान करने की अनुमति देता है, और हम पूरे वाक्यों का मिलान करना चाहते हैं।

यहां तंत्रिका नेटवर्क हमारी मदद करेंगे। चलो एक एनकोडर बनाते हैं जो पाठ (एक अनुरोध या एक दस्तावेज) को स्वीकार करता है और एक वेक्टर प्रतिनिधित्व का उत्पादन करता है जैसे कि समान पाठों में वैक्टर होते हैं जो करीब और दूर के वैक्टर होते हैं। उदाहरण के लिए, आप समानता की माप के रूप में कॉशन दूरी का उपयोग कर सकते हैं।

यहां हम स्याम देश के नेटवर्क के उपकरण का उपयोग करेंगे, क्योंकि वे प्रशिक्षित करने में बहुत आसान हैं। स्याम देश के नेटवर्क में एक एनकोडर होता है, जो दो या दो से अधिक परिवारों और एक तुलना ऑपरेशन (उदाहरण के लिए, कोसाइन दूरी) से नमूना डेटा पर लागू होता है। विभिन्न परिवारों से तत्वों को एनकोडर को लागू करते समय, एक ही वजन का उपयोग किया जाता है; यह अपने आप में एक अच्छा नियमितीकरण देता है और प्रशिक्षण के लिए आवश्यक कारकों की संख्या को बहुत कम कर देता है।

एनकोडर ग्रंथों से वेक्टर अभ्यावेदन का उत्पादन करता है और सीखता है ताकि समान ग्रंथों के अभ्यावेदन के बीच कोसाइन अधिकतम हो, और असंतुष्टों के प्रतिनिधित्व के बीच न्यूनतम हो।


गहरी अर्थ जटिलता का एक नेटवर्क DSSM हमारे कार्य के लिए उपयुक्त है। हम इसे मामूली बदलाव के साथ उपयोग करते हैं, जिसके बारे में मैं नीचे चर्चा करूंगा।

क्लासिक डीएसएमएस कैसे काम करता है: ट्रिगर्स के बैग के रूप में प्रश्न और दस्तावेज प्रस्तुत किए जाते हैं, जिसमें से एक मानक वेक्टर प्रतिनिधित्व प्राप्त होता है। इसे कई पूरी तरह से जुड़े परतों के माध्यम से पारित किया जाता है, और नेटवर्क को इस तरह से प्रशिक्षित किया जाता है कि अनुरोध पर दस्तावेज़ की सशर्त संभावना को अधिकतम किया जा सके, जो नेटवर्क के माध्यम से पूर्ण मार्ग द्वारा प्राप्त वेक्टर प्रतिनिधित्व के बीच कोसाइन दूरी को अधिकतम करने के बराबर है।


पो-सेन हुआंग शियाओदोंग हे जियानफेंग गा ली डेंग एलेक्स एकेरो लैरी हेक। 2013 लर्निंग डीप स्ट्रक्चर्ड सेमेटिक मॉडल फॉर वेब सर्च फॉर क्लिकथ्रू डेटा का उपयोग कर

हम लगभग वैसे ही चले गए। अर्थात्, क्वेरी में प्रत्येक शब्द को ट्रिग्राम के वेक्टर के रूप में दर्शाया गया है, और टेक्स्ट को शब्दों के वेक्टर के रूप में दर्शाया गया है, इस प्रकार यह जानकारी छोड़ दी जाती है कि कौन सा शब्द कहाँ खड़ा है। इसके बाद, हम शब्दों के अंदर एक आयामी संकल्पों का उपयोग करते हैं, इनमें से प्रतिनिधित्व को सुचारू करते हैं, और एक साधारण वेक्टर प्रतिनिधित्व में वाक्य के बारे में जानकारी एकत्र करने के लिए वैश्विक अधिकतम पुलिंग ऑपरेशन।



जो डेटासेट हम प्रशिक्षण के लिए इस्तेमाल करते हैं, वह रैखिक मॉडल के लिए उपयोग किए जाने वाले सार के साथ पूरी तरह से मेल खाता है।

हम वहीं नहीं रुके। सबसे पहले, वे एक पूर्व प्रशिक्षण मोड के साथ आए। हम दस्तावेज़ के लिए प्रश्नों की एक सूची लेते हैं, जिसमें प्रवेश करते हुए उपयोगकर्ता इस दस्तावेज़ के साथ बातचीत करते हैं, और इस तरह के जोड़े को बंद करने के लिए तंत्रिका नेटवर्क को प्रशिक्षित करते हैं। चूंकि ये जोड़े एक ही परिवार से हैं, ऐसे नेटवर्क को सीखना आसान है। इसके अलावा, अनुरोधों और दस्तावेजों की तुलना करने पर इसका मुकाबला उदाहरणों पर फिर से करना आसान है।

उदाहरण: उपयोगकर्ता अनुरोधों के साथ e.mail.ru/login पर जाते हैं: ईमेल, ईमेल इनपुट, ईमेल पता, ...


अंत में, अंतिम कठिन हिस्सा, जिसके साथ हम अभी भी संघर्ष कर रहे हैं और जिसमें हमने लगभग सफलता प्राप्त कर ली है, कुछ लंबे दस्तावेज़ के साथ अनुरोध की तुलना करने का कार्य है। यह कार्य अधिक कठिन क्यों है? यहां, सियामी नेटवर्क की मशीनरी पहले से ही बदतर अनुकूल है, क्योंकि अनुरोध और लंबे दस्तावेज़ वस्तुओं के विभिन्न परिवारों से संबंधित हैं। फिर भी, हम वास्तुकला को मुश्किल से बदल सकते हैं। केवल शब्दों द्वारा भी दृढ़ संकल्प जोड़ना आवश्यक है, जो पाठ के अंतिम वेक्टर प्रतिनिधित्व के लिए प्रत्येक शब्द के संदर्भ के बारे में अधिक जानकारी बचाएगा।



फिलहाल, हम आर्किटेक्चर को संशोधित करके और डेटा स्रोतों और नमूना तंत्र के साथ प्रयोग करके अपने मॉडल की गुणवत्ता में सुधार करना जारी रखते हैं।