जिस फिल्म में मिट्टी थी। यैंडेक्स अनुसंधान और अर्थ द्वारा खोज का संक्षिप्त इतिहास

कभी-कभी लोग एक फिल्म खोजने के लिए यैंडेक्स की ओर रुख करते हैं, जिसका नाम उनके सिर से निकला है। वे कथानक, यादगार दृश्यों, विशद विवरणों का वर्णन करते हैं: उदाहरण के लिए, [उस फिल्म का नाम जहां आदमी लाल या नीले रंग की गोली चुनता है]। हमने भूली हुई फिल्मों के विवरणों का अध्ययन करने और यह पता लगाने का निर्णय लिया कि फिल्मों में लोगों को सबसे ज्यादा क्या याद है।

आज हम न केवल अपने अनुसंधान के लिए एक लिंक साझा करेंगे, बल्कि संक्षेप में यह भी बात करेंगे कि यैंडेक्स की अर्थ खोज कैसे विकसित हुई। आप सीखेंगे कि कौन सी प्रौद्योगिकियां उत्तर खोजने में सहायता करती हैं, तब भी जब सटीक अनुरोध तैयार करना केवल असंभव हो।

और हमने वास्तविक लोगों के अनुरोधों के उदाहरणों के साथ पहेली स्लाइडर को भी जोड़ा - एक खोज इंजन की तरह महसूस करें और उत्तर का अनुमान लगाने का प्रयास करें।


सभी खोज इंजन एक शब्द खोज के साथ शुरू हुए। शुरुआत में पहले से ही यैंडेक्स रूसी भाषा की आकृति विज्ञान को ध्यान में रखने में सक्षम था, लेकिन यह अभी भी नेटवर्क पर पृष्ठों पर एक क्वेरी से शब्दों के लिए एक ही खोज थी। हमने प्रत्येक शब्द के लिए सभी ज्ञात पृष्ठों की सूचियाँ रखीं। यदि अनुरोध में एक वाक्यांश होता है, तो यह शब्द सूचियों को पार करने के लिए पर्याप्त था - यहां जवाब है। उन दिनों में यह बहुत अच्छा था जब कुछ साइटें थीं, और रैंकिंग का सवाल अभी तक इतना तीव्र नहीं था।

रनवे विकसित हुआ, साइटें अधिक से अधिक बन गईं। शब्द पार करने वाले कारक में दो और कारक जोड़े गए। एक तरफ, उपयोगकर्ताओं ने खुद हमारी मदद की। हम इस बात पर विचार करने लगे कि कौन सी साइटें और उनके लिए कौन-कौन से प्रश्न चुने गए हैं। शब्दों का कोई सटीक मेल नहीं है, लेकिन क्या साइट मानव समस्या को हल करती है? यह एक उपयोगी संकेत है। दूसरी ओर, साइटों के बीच के लिंक जो पृष्ठों के महत्व का मूल्यांकन करने में मदद करते हैं, बचाव में आए।

तीन कारक बहुत कम हैं। खासकर जब वे अक्सर बहुत प्रतिभाशाली खोज इंजन ऑप्टिमाइज़र द्वारा कोशिश की जाती हैं। लेकिन हाथ से अधिक पचाना मुश्किल था। और यहां मशीन सीखने का युग शुरू हुआ। 2009 में, हम ग्रेडिएंट बूस्टिंग पर आधारित मैट्रिक्स का परिचय देते हैं (बाद में इस तकनीक ने अधिक उन्नत ओपन सोर्स लाइब्रेरी कैटबॉस्ट का आधार बनाया )।

तब से, अधिक से अधिक कारक हो गए हैं, क्योंकि अब हमें मैन्युअल रूप से उनके बीच संबंधों की तलाश नहीं करनी है। एक कार ने हमारे लिए किया।

खोज में सभी बाद के परिवर्तनों की कहानी के लिए, न केवल पद, बल्कि पुस्तकें भी पर्याप्त होंगी, इसलिए हम सबसे महत्वपूर्ण लोगों पर ध्यान केंद्रित करने की कोशिश करेंगे।


रैंकिंग न केवल लंबे समय के लिए क्वेरी शब्द और पृष्ठ की तुलना है। दो उदाहरण।

2014 में वापस, हमने विशेषता प्रश्नों के साथ दस्तावेज़ एनोटेशन की तकनीक पेश की। मान लीजिए कि अतीत में एक अनुरोध था [ब्राजील से मांस राजा के बारे में एक श्रृंखला], जिसके लिए एक अच्छा जवाब पहले से ही ज्ञात है। फिर एक अन्य उपयोगकर्ता एक क्वेरी [ब्राज़ीलियाई श्रृंखला जिसमें एक मांस राजा और एक दूध राजा था] में प्रवेश करता है, जिसके लिए मशीन को अभी तक जवाब नहीं पता है। लेकिन इन प्रश्नों में कई सामान्य शब्द हैं। यह एक संकेत है कि पहले अनुरोध पर पाया गया पृष्ठ दूसरे पर प्रासंगिक हो सकता है।

एक और उदाहरण। आइए पूछताछ करें [ब्राजील की श्रृंखला जिसमें एक मांस राजा और एक दूध राजा थे] और [एक सीरियल घातक विरासत]। कुल में से, उनके पास केवल एक शब्द है - "श्रृंखला", और यह अनुरोधों के स्पष्ट मिलान के लिए पर्याप्त नहीं है। इस मामले में, हमने खोज के इतिहास को ध्यान में रखना शुरू किया। यदि दो डिसिमिलर अनुरोध जारी करने में समान साइटों की मांग करते हैं, तो हम मान सकते हैं कि अनुरोध विनिमेय हैं। यह उपयोगी है क्योंकि अब हम अधिक उपयोगी पृष्ठों को खोजने के लिए खोज करने के लिए दोनों प्रश्नों के पाठ का उपयोग करेंगे। लेकिन यह केवल दोहराया अनुरोधों के लिए काम करता है जब पहले से ही कम से कम कुछ आँकड़े हैं। नए अनुरोधों के साथ क्या करना है?

सामग्री के विश्लेषण से आँकड़ों की कमी की भरपाई की जा सकती है। और सजातीय डेटा (पाठ, आवाज, चित्र) के विश्लेषण में तंत्रिका नेटवर्क खुद को सबसे अच्छा दिखाते हैं। 2016 में, हमने पहली बार हैबर समुदाय को पालेख तकनीक के बारे में बताया, जो खोज में तंत्रिका नेटवर्क के व्यापक उपयोग के लिए शुरुआती बिंदु बन गया।

हमने अनुरोध पाठ और पृष्ठ शीर्षक की शब्दार्थ (शब्दार्थ) निकटता की तुलना करने के लिए तंत्रिका नेटवर्क को प्रशिक्षित करना शुरू किया। दो ग्रंथों का प्रतिनिधित्व वैक्टर के रूप में बहुआयामी स्थान पर किया जाता है ताकि उनके बीच के कोण का कोसाइन एक पृष्ठ चुनने वाले व्यक्ति की संभावना की भविष्यवाणी करता है, और इसलिए शब्दार्थ निकटता। यह आपको उन ग्रंथों के अर्थों की निकटता का मूल्यांकन करने की अनुमति देता है जिनमें शब्दों का कोई अंतर नहीं है।


उसी तरह, हमने उनके बीच लिंक की पहचान करने के लिए क्वेरी ग्रंथों की तुलना करना शुरू किया। एक खोज इंजन के हुड के नीचे से एक वास्तविक उदाहरण: एक क्वेरी के लिए [मेथैम्फेटामाइन उबला हुआ है के बारे में अमेरिकी श्रृंखला], यह तंत्रिका नेटवर्क है जो वाक्यांशों का अर्थ ढूंढता है [अर्थ बुरा] और [तोड़ने वाला] अर्थ में समान है।

अनुरोध और हेडर पहले से ही अच्छे हैं, लेकिन हमने पृष्ठों के पूर्ण पाठ में तंत्रिका नेटवर्क का उपयोग करने की उम्मीद नहीं छोड़ी। इसके अलावा, जब हम एक उपयोगकर्ता अनुरोध प्राप्त करते हैं, तो हम लाखों अनुक्रमणिका पृष्ठों में से सबसे अच्छे पृष्ठों का चयन करना शुरू करते हैं, लेकिन पेलख में हमने केवल रैंकिंग के सबसे नवीनतम चरणों (एल 3) में तंत्रिका नेटवर्क मॉडल का उपयोग किया - लगभग 150 सर्वश्रेष्ठ दस्तावेज़ों के लिए। इससे अच्छे उत्तरों का नुकसान हो सकता है।



कारण अनुमानित है - प्रतिक्रिया की गति के लिए सीमित संसाधन और उच्च आवश्यकताएं। गणना की सख्त सीमाएं एक साधारण तथ्य से जुड़ी हैं: आप उपयोगकर्ता को प्रतीक्षा करने के लिए मजबूर नहीं कर सकते। लेकिन फिर हम कुछ लेकर आए।


2017 में, हमने कोरोलेव खोज अपडेट प्रस्तुत किया, जिसमें न केवल तंत्रिका नेटवर्क का विस्तारित उपयोग शामिल है, बल्कि संसाधनों को बचाने के लिए वास्तुकला पर गंभीर काम भी शामिल है। अधिक विस्तार से, परतों और अन्य विवरणों के आरेखों के साथ हमने पहले से ही हैबे पर एक अन्य पोस्ट में बताया था, लेकिन अब हम मुख्य बात याद दिलाएंगे।

दस्तावेज़ शीर्षक लेने और क्वेरी निष्पादन के दौरान इसके सिमेंटिक वेक्टर की गणना करने के बजाय, आप इस वेक्टर की पूर्व-गणना कर सकते हैं और इसे खोज डेटाबेस में सहेज सकते हैं। दूसरे शब्दों में, हम पहले से काम का एक बड़ा हिस्सा कर सकते हैं। बेशक, एक ही समय में, हमें वैक्टर के भंडारण के लिए अधिक स्थान की आवश्यकता थी, लेकिन इससे हमें प्रोसेसर समय की बचत हुई। लेकिन यह सब नहीं है।


हमने एक अतिरिक्त सूचकांक बनाया। यह परिकल्पना पर आधारित है: यदि आप कई शब्दों की क्वेरी के लिए प्रत्येक शब्द या वाक्यांश के लिए सबसे अधिक प्रासंगिक दस्तावेजों की एक पर्याप्त बड़ी सूची लेते हैं, तो उनके बीच ऐसे दस्तावेज होंगे जो सभी शब्दों के लिए एक ही समय में प्रासंगिक हैं। व्यवहार में, इसका मतलब यह है। सभी शब्दों और शब्दों के लोकप्रिय जोड़े के लिए, पृष्ठों की सूची और क्वेरी के लिए उनकी प्रारंभिक प्रासंगिकता के साथ एक अतिरिक्त सूचकांक बनता है। यही है, हम चरण L0 से अनुक्रमण चरण तक काम का हिस्सा स्थानांतरित करते हैं और, फिर से, बचाते हैं।

परिणामस्वरूप, वास्तुकला में बदलाव और भार के पुनर्वितरण ने हमें न केवल एल 3 और एल 1 के लिए तंत्रिका नेटवर्क का उपयोग करने की अनुमति दी। इसके अलावा, पहले से वेक्टर बनाने की क्षमता और कम कठोर प्रदर्शन आवश्यकताओं के साथ हमें न केवल पृष्ठ शीर्षक, बल्कि इसके पाठ का भी उपयोग करने की अनुमति दी गई है।


ज्यादा है। समय के साथ, हमने रैंकिंग के शुरुआती चरण में तंत्रिका नेटवर्क का उपयोग करना शुरू कर दिया। हम शब्द क्रम और उनके सापेक्ष पदों में निहित पैटर्न की पहचान करने के लिए तंत्रिका नेटवर्क सिखाते हैं। और यहां तक ​​कि विभिन्न भाषाओं में ग्रंथों की शब्दार्थ समानता को प्रकट करने के लिए। इनमें से प्रत्येक क्षेत्र एक अलग लेख के लिए तैयार है, और हम निकट भविष्य में उनके साथ लौटने की कोशिश करेंगे।

---

आज, हमने एक बार फिर से याद किया कि कैसे खोज इंजन अस्पष्ट क्वेरी की स्थितियों और जानकारी की कमी में उत्तर ढूंढना सीखते हैं। उनके विवरण से फिल्मों की खोज न केवल इस तरह के अनुरोधों का एक विशेष मामला है, बल्कि शोध के लिए एक महान विषय भी है। इससे आप सीखेंगे: सिनेमा में लोगों द्वारा सबसे ज्यादा याद किया जाता है, जिसके साथ विभिन्न देशों के विभिन्न शैलियों और सिनेमाटोग्राफ जुड़े हुए हैं, जो साजिश की चालों को एक विशेष छाप देते हैं।