खोज में और क्या किया जा सकता है? यैंडेक्स रिपोर्ट

Yandex की खोज घटक विकास सेवा है जो MapReduce पर एक खोज आधार बनाता है, प्रतिपादन के लिए टाइपसेटिंग के लिए डेटा प्रदान करता है, एल्गोरिदम और डेटा संरचनाएं उत्पन्न करता है, और गुणवत्ता विकास के एमएल-कार्यों को हल करता है। इस सेवा के भीतर समूहों में से एक के प्रमुख एलेक्सी श्लुंकिन बताते हैं कि खोज क्रम क्या होता है और हम इसे कैसे प्रबंधित करते हैं।

एमएल में चारों ओर प्रहार करना चाहते हैं - चारों ओर प्रहार। आप केवल MapReduce चाहते हैं - ठीक है। रनटाइम चाहते हैं - रनटाइम।

- आज एक खोज क्या है? यांडेक्स ने एक खोज करके शुरू किया, इसे विकसित करना। 20 साल हो गए। हमारे पास सैकड़ों अरबों दस्तावेजों के लिए एक खोज आधार है।

हम इंटरनेट पर किसी भी पृष्ठ पर एक दस्तावेज़ कहते हैं, लेकिन वास्तव में, न केवल यह। फिर भी - इसकी सामग्री, विभिन्न आँकड़े जिनके बारे में उपयोगकर्ता इसे जाना पसंद करते हैं, उनमें से कितने हैं। साथ ही हमारे द्वारा गणना किया गया डेटा।

वे हजारों उदाहरण भी हैं, जो प्रत्येक अनुरोध के जवाब में, प्रक्रिया डेटा, कुछ के लिए खोज करते हैं, खोज प्रतिक्रिया को समृद्ध करते हैं। कुछ उदाहरण चित्रों की तलाश में हैं, कुछ सामान्य पाठ दस्तावेज़ों के लिए, कुछ वीडियो आदि के लिए, यानी हर अनुरोध के लिए दसियों हज़ार मशीनें सक्रिय हैं। वे सभी कुछ खोजने की कोशिश करते हैं और उस परिणाम में सुधार करते हैं जो आपको दिखाया गया है। तदनुसार, मशीनों के हजारों प्रति सेकंड हजारों अनुरोधों की सेवा करते हैं। इन दसियों हज़ारों उदाहरणों को एक समस्या को हल करने के लिए डिज़ाइन की गई सैकड़ों सेवाओं में जोड़ा जाता है।



एक खोज कोर है - एक वेब खोज सेवा। और एक वीडियो खोज सेवा है, आदि तदनुसार, एक चीज है जो विभिन्न खोजों के उत्तरों को जोड़ती है और यह चुनने की कोशिश करती है कि उपयोगकर्ता को दिखाने के लिए क्या और किस क्रम में बेहतर है। यदि यह संगीत के बारे में किसी प्रकार का अनुरोध है, तो संभवतः यांडेक्स.म्यूजिक पहले दिखाना बेहतर है, और फिर, उदाहरण के लिए, इस संगीत समूह के बारे में एक पृष्ठ। इसे ब्लेंडर कहा जाता है। ऐसी सैकड़ों सेवाएं पहले से ही हैं, और वे हर अनुरोध के लिए कुछ भी करते हैं और उपयोगकर्ताओं को किसी तरह मदद करने की कोशिश करते हैं। और, ज़ाहिर है, यह सब कुछ सरल आँकड़ों, रैखिक मॉडल, ढाल बढ़ाने, तंत्रिका नेटवर्क और इतने पर से सभी प्रकार के मशीन लर्निंग का उपयोग करता है।

मैं अभी इंफ्रास्ट्रक्चर और एमएल के बारे में बात करूंगा।

मेरे समूह को नया रनटाइम विकास समूह कहा जाता है, यह खोज घटक विकास सेवा का हिस्सा है। ताकि आपके पास एक विचार हो, मैं आपको थोड़ा बताऊंगा कि हमारी सेवा क्या करती है।



वास्तव में, सभी को। यदि आप कोई खोज सबमिट करते हैं, तो हमने खोज बेस बनाने से शुरू करते हुए अपने हाथों को लगभग हर चीज में लॉन्च किया। यही है, हमारे पास MapReduce है, हम वहां दस्तावेजों के बारे में सभी डेटा एकत्र करते हैं, इसे उबालते हैं, सभी प्रकार के डेटा संरचनाओं का निर्माण करते हैं, ताकि जब हम उन्हें क्वेरी करें, तो हम कुशलतापूर्वक कुछ गणना कर सकें। तदनुसार, हम नीचे से काम करते हैं जब दस्तावेज़ सिर्फ हमें मिलता है, पहले चरण से, जब ये दस्तावेज़ कुछ प्राप्त करते हैं और इसे रैंक करते हैं, और बहुत ऊपर तक, जहां लेआउट सशर्त JSON प्राप्त करता है और इसे सभी चित्रों और सुंदर चीजों के साथ खींचता है। नीचे से ऊपर तक, हम पूरे स्टैक पर कुछ विकसित कर रहे हैं।

लेकिन हम केवल कोड नहीं लिख रहे हैं और तदनुसार, हम बुनियादी ढांचे में यह सब कर रहे हैं। हम वास्तव में तंत्रिका नेटवर्क, कैटबॉस्ट का प्रशिक्षण दे रहे हैं। और अन्य एमएल चीजें जो आप कल्पना कर सकते हैं और जला सकते हैं, हम भी सिखाते हैं। इसके अलावा, चूंकि हमारे पास बड़ा भार, बड़ा डेटा है, इसलिए, हम निश्चित रूप से एल्गोरिदम और डेटा संरचनाओं के माध्यम से अफवाह करते हैं और कभी भी उन्हें कहीं भी पेश करने से खुद को रोकते नहीं हैं। उदाहरण के लिए, कई स्थानों पर हम खंड वृक्षों का उपयोग करते हैं। हमारे पास सूचकांकों का अपना संपीड़न है जो बोरॉन का निर्माण करते हैं और इसके अनुसार शब्दकोशों का निर्माण करने के लिए सबसे अच्छे तरीके की गतिशीलता पर विचार करते हैं।

सामान्य तौर पर, खोज के रूप में इस तरह के एक बड़े कॉलोसस के साथ काम करते हुए, हम ऐसे सरल कार्यों से संतृप्त थे। इसलिए, हम, निश्चित रूप से, कुछ जटिल, नया, कुछ ऐसा मानते हैं जो हमें चुनौती देता है। और हमने सिर्फ कोड की दस पंक्तियों को हमेशा की तरह जाना और लिखा नहीं था। हमें कुछ प्रयोगों के बारे में सोचने की जरूरत है। सामान्य तौर पर, हम जो कार्य स्वयं निर्धारित करते हैं, वे अक्सर कल्पना के कगार पर होते हैं। कभी-कभी आप सोचते हैं: यह संभव नहीं है। लेकिन फिर आप, शायद, किसी तरह प्रयोग किए गए - प्रयोगों में पूरे एक साल लग सकते हैं - लेकिन अंत में कुछ निकलता है। फिर हम कुछ का रीमेक बनाना शुरू करते हैं।

और किसी भी परियोजना, कौशल, और इतने पर के अलावा, सामान्य तौर पर, हम यांडेक्स में सबसे महत्वाकांक्षी और तेजी से बढ़ने वाली टीमों में से एक हैं। उदाहरण के लिए, मैं दो साल पहले आया था, हमारी सेवा में नौवां व्यक्ति था। अब हमारे पास लगभग 60 लोगों की सेवा है। यह वास्तव में, इंटर्न के साथ है, लेकिन, सामान्य तौर पर, चार बार हम दो साल में बिल्कुल बढ़े हैं। यह आपको हमारी सेवा क्या कर रही है, इसका अंदाजा आपको देना है।

अब मैं आपको अपने कार्यों और उस दिशा के बारे में शीर्ष के बारे में थोड़ा बताना चाहता हूं, जो मुझे लगता है कि निकट भविष्य में हम अधिक से अधिक प्रासंगिक होंगे। लेकिन इसके लिए, आपको सबसे पहले यह बताना होगा कि सबसे बुनियादी खोज परत कैसे काम करती है।



सामान्यतया, सब कुछ बहुत सरलता से काम करता है। हमारे पास हमारा खोज आधार है, हमारे पास सभी दस्तावेज हैं, और हम इन सभी दस्तावेजों को कम से कम एन टुकड़ों में विभाजित करते हैं। उन्हें शार्क कहा जाता है। और शार्क पर "बेसिक सर्च" नामक एक कार्यक्रम शुरू किया गया है। उसका काम इंटरनेट के इस टुकड़े पर, तदनुसार खोज करना है। यही है, वह जानती है कि उसे कैसे खोजना है और दूसरे इंटरनेट के बारे में अधिक नहीं जानता है। और हम जैसे एन शार्क है। बुनियादी खोजों को उनके ऊपर लॉन्च किया जाता है, और तदनुसार, इस पर एक मेटा खोज होती है। उपयोगकर्ता का अनुरोध इसमें आता है और, तदनुसार, यह बस सभी शार्क पर जाता है, और प्रत्येक शार्क खोज करता है, फिर प्रत्येक परिणाम देता है, और यह किसी प्रकार का मर्ज करता है और एक उत्तर देता है।

इस तरह से खोज को लगभग सभी 20 वर्षों के लिए व्यवस्थित किया गया था, और सामान्य तौर पर, लंबे समय तक उन्होंने सोचा था कि यह ऐसा ही रहेगा, और इससे बेहतर कुछ नहीं हो सकता। लेकिन सब कुछ बदल रहा है, नई प्रौद्योगिकियां उभर रही हैं, और मशीन लर्निंग अब आपको न केवल गुणवत्ता बढ़ाने की अनुमति देती है, बल्कि आपको कुछ प्रकार की बुनियादी सुविधाओं की समस्याओं को हल करने की भी अनुमति देती है। हाल ही में, हमारी खोज में, परियोजनाओं को बहुत कुछ शूट किया गया है, ठीक बुनियादी ढांचे और मशीन सीखने के जंक्शन पर। जब दो ऐसे मास्टोडोन विलय होते हैं, तो बहुत दिलचस्प परिणाम प्राप्त होते हैं।



हाल ही में, तंत्रिका नेटवर्क दिखाई दिए हैं। हमारे पास अनुरोध का पाठ है, दस्तावेज का पाठ है। हम अनुरोध से संख्याओं के कुछ वेक्टर प्राप्त करना चाहते हैं, दस्तावेज़ से संख्याओं के कुछ वेक्टर प्राप्त करना चाहते हैं ताकि स्केलर उत्पाद उस मूल्य की भविष्यवाणी करें जो हम चाहते हैं। उदाहरण के लिए, हम स्केलर उत्पाद को इस दस्तावेज़ पर क्लिक करने वाले उपयोगकर्ता की संभावना का अनुमान लगाने के लिए प्रशिक्षित करना चाहते हैं। काफी समझ में आने वाली बात।



यह लगभग इस तरह व्यवस्थित है। यदि बहुत, बहुत अशिष्ट है, तो हमारे पास नीचे की परत पर कुछ शब्द हैं, और फिर नेटवर्क की कई परतें हैं। प्रत्येक परत, वास्तव में, अपने इनपुट के रूप में एक वेक्टर लेती है। यही है, नीचे की परत एक विरल वेक्टर है, जहां प्रत्येक शब्द एक अनुरोध है। एक मैट्रिक्स द्वारा इसे गुणा किया जाता है, किसी प्रकार का वेक्टर प्राप्त करता है, और फिर, तदनुसार, प्रत्येक घटक के लिए कुछ अशुद्धि लागू करता है, और यह कई बार ऐसा करता है। और अंतिम परत, इसे सिर्फ वेक्टर कहा जाता है जिसे हमने केवल अनुरोध लिया, ऐसी परतें लागू कीं, और यहां अंतिम परत बहुत ही अनुरोध वेक्टर है।

तदनुसार, इन तंत्रिका नेटवर्क को हाल के वर्षों में खोज में सक्रिय रूप से पेश किया गया है, वे गुणवत्ता के लिए बहुत सारे लाभ लाए हैं। लेकिन उनमें एक समस्या यह है कि हम जिन सभी राशियों की भविष्यवाणी करना चाहते हैं, वे अच्छे हैं, लेकिन पर्याप्त रूप से पर्याप्त हैं, क्योंकि इस तरह के एक तंत्रिका नेटवर्क को प्रशिक्षित करने के लिए, नीचे की परत बहुत बड़ी है - सभी शब्द दसियों लाख शब्दों से हैं, इसलिए आपको लिखने में सक्षम होना चाहिए उसका इनपुट कई बिलियन डेटा है।

उदाहरण के लिए, हम कुछ उपयोगकर्ता क्लिक और इतने पर प्रशिक्षित कर सकते हैं। लेकिन हमारी खोज में सबसे महत्वपूर्ण माना जाने वाला मुख्य संकेत विशेष लोगों द्वारा मैन्युअल अंकन है। वे अनुरोध लेते हैं, दस्तावेज़ लेते हैं, इसे पढ़ते हैं, समझते हैं कि यह कितना अच्छा है और एक निशान लगा दिया है, अर्थात यह दस्तावेज़ इस अनुरोध को कितना फिट करता है। लंबे समय तक, हम तंत्रिका नेटवर्क द्वारा ऐसी परिमाण का अनुमान नहीं लगा सकते थे, क्योंकि हमारे पास अभी भी लाखों अनुमान हैं, क्योंकि पूरे ग्रह को लगातार चिह्नित करने के लिए सभी को काम पर रखना बहुत महंगा है। इसलिए, हमने कुछ हैक किया।



तंत्रिका नेटवर्क का तंत्रिका नेटवर्क। पिछले वर्षों में, हमने कुछ तंत्रिका नेटवर्क का काफी संचय किया है जो अच्छे संकेतों की भविष्यवाणी करते हैं, लेकिन विशेष लोगों के मूल्यांकन की तुलना में थोड़ा मोटा है। तदनुसार, हमने तय किया कि हम इन नेटवर्कों के तैयार किए गए वैक्टरों को निचली परत में जमा करेंगे, और फिर हम तंत्रिका नेटवर्क को छोटे डेटा नेटवर्क पर हमारी खोज प्रासंगिकता की भविष्यवाणी करने के लिए प्रशिक्षित करेंगे।

परिणाम बहुत अच्छा मॉडल था। वह एक वेक्टर में दस्तावेजों के अनुरोधों को लाता है, और उनका स्केलर उत्पाद सीधे वास्तविक प्रासंगिकता की भविष्यवाणी करता है जिसे हम लंबे समय से भविष्यवाणी करना चाहते थे।

इसके अलावा, हमारे पास एक विचार था कि खोज को थोड़ा कैसे फिर से करें। परियोजना को केएनएन बेस (अंग्रेजी k- निकटतम पड़ोसी, k- निकटतम पड़ोसी विधि) कहा जाता है।



मूल विचार यह है। हमारे पास एक क्वेरी वेक्टर और एक दस्तावेज़ वेक्टर है। हमें निकटतम को खोजने की आवश्यकता है। हमारे पास वेक्टर द्वारा प्रस्तुत प्रत्येक दस्तावेज़ है। चलो एन क्लस्टर्स को उजागर करते हैं, जो पूरे दस्तावेज़ स्थान को चिह्नित करते हैं। मोटे तौर पर बोल रहा हूँ। दस्तावेजों की संख्या की तुलना में मजबूत, लेकिन उदाहरण के लिए, वे विषयों की विशेषता रखते हैं। सरल शब्दों में, बिल्लियों का एक समूह, किराने का सामान का एक समूह, प्रोग्रामिंग का एक क्लस्टर, और इसी तरह है।

तदनुसार, हम पहले की तरह दस्तावेजों को बेतरतीब ढंग से शार्क में नहीं बिखेरेंगे, लेकिन हम दस्तावेज़ को उस शार्क में डाल देंगे, यानी सेंट्रो, जो दस्तावेज़ के सबसे करीब है। तदनुसार, हमारे पास ऐसे दस्तावेज होंगे जो शार्प में विषय के आधार पर समूहीकृत होंगे।

और आगे, सिर्फ एक अनुरोध के लिए, अब हम सभी शार्क पर नहीं जा सकते हैं, लेकिन केवल उन लोगों के कुछ छोटे सबसेट पर जा सकते हैं जो इस अनुरोध के सबसे करीब हैं।



तदनुसार, हमारे पास ऐसी योजना थी, मेटा-सर्च सभी शार्क में शामिल है। और अब उसे बहुत कम संख्या में जाने की आवश्यकता है, और साथ ही हम अभी भी निकटतम दस्तावेजों की तलाश करेंगे।

इस डिजाइन से वास्तव में हमें क्या मिलता है? यह कंप्यूटिंग संसाधनों की खपत को काफी कम करता है, सिर्फ इसलिए कि हम कम समूहों में जाते हैं। यह, जैसा कि मैंने पहले ही कहा है, मैं हमारी सेवा के मुख्य आकर्षण में से एक पर विचार करता हूं, यह बुनियादी ढांचे और मशीन सीखने का मिश्र धातु है जो ऐसे परिणाम देता है जो पहले कोई सोच भी नहीं सकता था।



और, अंत में, यह सिर्फ एक बहुत ही मजेदार बात है, क्योंकि आपको यहां मॉडल मिल गए हैं, और फिर आप गए, पूरी खोज को फिर से किया, डेटा की पेटबाइट बंद कर दी, और आपकी खोज काम करती है, यह दस गुना कम संसाधनों को जलाती है। आपने कंपनी के लिए एक बिलियन डॉलर बचाया, सभी लोग खुश हैं।



मैंने उन परियोजनाओं में से एक के बारे में बात की जो हमारी खोज में दिखाई देती है और जिसे कार्यान्वित किया जा रहा है और एक निलंबित वर्ष के लिए सभी प्रयोगों के साथ किया जाता है। हमारे अन्य विशिष्ट कार्य खोज आधार को दोगुना करना है, क्योंकि इंटरनेट लगातार बढ़ रहा है और हम इसके साथ पकड़ना चाहते हैं और इंटरनेट पर सभी पृष्ठों पर खोज करना चाहते हैं। और निश्चित रूप से, यह आधार परत का त्वरण है, जिसमें सबसे अधिक उदाहरण हैं, अधिकांश लोहा। उदाहरण के लिए, अपने आधार की खोज को एक प्रतिशत तेज करने का मतलब है कि लगभग एक मिलियन डॉलर की बचत।

हम स्टार्टअप इनक्यूबेटर के रूप में भी खोज में लगे हुए हैं। मैं समझा दूंगा। खोज 20 साल के लिए की गई है। यह पहले ही बहुत कुछ कर चुका है, कई बार हम एक मृत अंत के खिलाफ आए और सोचा कि इससे ज्यादा कुछ नहीं किया जा सकता है। तब प्रयोगों की एक लंबी श्रृंखला थी। हम फिर से इस मृत अंत से टूट गए। और इस समय के दौरान हमने बड़ी और शांत चीजों को करने के लिए बहुत सारी विशेषज्ञता जमा की है। तदनुसार, अब यैंडेक्स में अधिकांश नई दिशाएं खोज में की जाती हैं, क्योंकि खोज में लोग पहले से ही जानते हैं कि यह सब कैसे करना है, और उन्हें कम से कम कुछ नई प्रणाली डिजाइन करने के लिए पूछना तर्कसंगत है। और एक अधिकतम के रूप में - जाओ और इसे स्वयं करो।

अब, मुझे आशा है कि आपको हमारे काम का थोड़ा अंदाजा होगा। मैं अपनी कहानी के विषयगत हिस्से को हमारी सेवा में इंटर्न के बारे में जल्दी बताऊंगा। हम उनसे बहुत प्यार करते हैं। हमारे पास बहुत सारे हैं, पिछली गर्मियों में केवल मेरे समूह में 20 प्रशिक्षु थे, और मुझे लगता है कि यह अच्छा है। जब आप एक या तीन इंटर्न लेते हैं, तो वे थोड़ा अकेला महसूस करते हैं, कभी-कभी वे पुराने साथियों से पूछने से डरते हैं। और जब उनमें से बहुत सारे होते हैं, तो वे एक-दूसरे के साथ दुर्भाग्य के रूप में संवाद करते हैं। यदि वे डेवलपर्स से कुछ पूछने से डरते हैं, तो वे जाएंगे, वे कोने में फुसफुसाएंगे। ऐसा माहौल सबकुछ कुशलता से करने में मदद करता है।

हमारे पास एक लाख कार्य हैं, टीम बहुत बड़ी नहीं है, इसलिए हमारे इंटर्न पूरी तरह से भरी हुई हैं। हम प्रशिक्षु को हर समय लॉग में बैठने के लिए नहीं कहते हैं, परीक्षण लिखते हैं, कोड को रिफलेक्टर करते हैं, लेकिन तुरंत कुछ प्रकार के जटिल उत्पादन कार्य देते हैं: खोज को गति दें, सूचकांक संपीड़न में सुधार करें। बेशक हम मदद करते हैं। हम जानते हैं कि यह सब बंद हो जाता है, इसलिए हम अपनी विशेषज्ञता को साझा करके खुश हैं। चूंकि हमारी गतिविधि का क्षेत्र काफी व्यापक है, इसलिए हममें से प्रत्येक को अपनी पसंद के लिए एक कार्य मिलेगा। एमएल में चारों ओर प्रहार करना चाहते हैं - चारों ओर प्रहार। आप केवल MapReduce चाहते हैं - ठीक है। रनटाइम चाहते हैं - रनटाइम। कुछ भी है

आपको हमें प्राप्त करने की क्या आवश्यकता है? हम मुख्य रूप से C ++ और पायथन में सब कुछ करते हैं। दोनों को जानना आवश्यक नहीं है। कोई एक बात जान सकता है। हम एल्गोरिदम के ज्ञान का स्वागत करते हैं। यह सोच की एक निश्चित शैली बनाता है, और यह बहुत मदद करता है। लेकिन यह भी आवश्यक नहीं है: फिर से, हम सब कुछ सिखाने के लिए तैयार हैं, हम अपना समय निवेश करने के लिए तैयार हैं, क्योंकि हम जानते हैं कि यह भुगतान करता है। सबसे महत्वपूर्ण आवश्यकता जो हम बनाते हैं, हमारा मकसद, किसी भी चीज़ और बहुत सारे आंकड़ों से डरना नहीं है। उत्पादन छोड़ने से डरो मत, कुछ जटिल करना शुरू करने से डरो मत। इसलिए, हमें ऐसे लोगों की ज़रूरत है जो किसी भी चीज़ से डरते नहीं हैं और जो पहाड़ों को मोड़ने के लिए भी तैयार हैं। आपका बहुत-बहुत धन्यवाद।