सक्रिय रैंकिंग सीखना

इस पोस्ट के साथ मैं एक श्रृंखला खोल रहा हूं जहां मेरे सहकर्मी और मैं आपको बताऊंगा कि Mail.ru सर्च में ML का उपयोग कैसे किया जाता है। आज मैं बताऊंगा कि रैंकिंग की व्यवस्था कैसे की जाती है और हम खोज इंजन को बेहतर बनाने के लिए अपने खोज इंजन के साथ उपयोगकर्ता के इंटरैक्शन के बारे में जानकारी का उपयोग कैसे करते हैं।

रैंकिंग कार्य

रैंकिंग कार्य से क्या अभिप्राय है? कल्पना कीजिए कि प्रशिक्षण के नमूने में प्रश्नों के कुछ सेट हैं जिनके लिए प्रासंगिकता के दस्तावेजों का क्रम ज्ञात है। उदाहरण के लिए, आप जानते हैं कि कौन सा दस्तावेज़ सबसे अधिक प्रासंगिक है, जो दूसरा सबसे अधिक प्रासंगिक है, आदि। और आपको पूरी आबादी के लिए इस आदेश को बहाल करने की आवश्यकता है। यही है, सामान्य आबादी से सभी अनुरोधों के लिए, पहले स्थान पर सबसे अधिक प्रासंगिक दस्तावेज रखा जाता है, और अंतिम - सबसे अप्रासंगिक।

आइए देखें कि बड़े खोज इंजनों में ऐसी समस्याओं का समाधान कैसे किया जाता है।


हमारे पास एक खोज सूचकांक है - यह कई अरबों दस्तावेजों का एक डेटाबेस है। जब कोई अनुरोध आता है, तो हम पहले सरल पाठ मॉडल का उपयोग करके अंतिम रैंकिंग के उम्मीदवारों की सूची तैयार करते हैं। सबसे आसान विकल्प उन दस्तावेजों को चुनना है, जो सिद्धांत रूप में अनुरोध से शब्द शामिल करते हैं। यह कदम क्यों आवश्यक है? तथ्य यह है कि सभी उपलब्ध दस्तावेजों के लिए संकेतों का निर्माण करना और अंतिम मॉडल का पूर्वानुमान लगाना असंभव है। हम पहले से ही संकेतों की गणना के बाद। हम क्या संकेत ले सकते हैं? उदाहरण के लिए, किसी दस्तावेज़ में क्वेरी से शब्दों की संख्या या किसी दिए गए दस्तावेज़ पर क्लिक की संख्या। आप जटिल मशीन-प्रशिक्षित कारकों का उपयोग कर सकते हैं: हम खोज में तंत्रिका नेटवर्क का उपयोग करते हुए मांग पर दस्तावेज़ की प्रासंगिकता का अनुमान लगाते हैं और इस पूर्वानुमान को हमारे फीचर स्पेस में एक नए कॉलम के साथ सम्मिलित करते हैं।

हम यह सब क्यों कर रहे हैं? हम उपयोगकर्ता मीट्रिक को अधिकतम करना चाहते हैं ताकि उपयोगकर्ता हमारे परिणामों में प्रासंगिक परिणामों को यथासंभव आसानी से प्राप्त कर सकें और जितनी बार संभव हो हमारे पास वापस आ सकें।

हमारा अंतिम मॉडल ग्रेडिएंट बूस्टिंग का उपयोग करके बनाए गए निर्णय पेड़ों की एक टुकड़ी का उपयोग करता है। प्रशिक्षण के लिए लक्ष्य मीट्रिक बनाने के दो विकल्प हैं:

• हम मूल्यांकनकर्ताओं का एक विभाग बना रहे हैं - विशेष रूप से प्रशिक्षित लोग जिनसे हम पूछताछ करते हैं और कहते हैं: "दोस्तों, मूल्यांकन करें कि उनका जारी करना कितना प्रासंगिक है।" वे उन संख्याओं के साथ जवाब देंगे जो प्रासंगिकता को मापते हैं। यह दृष्टिकोण बुरा क्यों है? इस मामले में, हम उन लोगों की राय के संबंध में मॉडल को अधिकतम करेंगे जो हमारे उपयोगकर्ता नहीं हैं। हम उस मीट्रिक का अनुकूलन नहीं करेंगे जिसे हम वास्तव में अनुकूलित करना चाहते हैं।
  
• इस कारण से, हम लक्ष्य चर के लिए दूसरे दृष्टिकोण का उपयोग करते हैं: हम उपयोगकर्ताओं को परिणाम दिखाते हैं, यह देखते हैं कि वे किस दस्तावेज़ को पास करते हैं, जो लोग छोड़ते हैं। और फिर हम अंतिम मॉडल को प्रशिक्षित करने के लिए इस डेटा का उपयोग करते हैं।
  

रैंकिंग समस्या का समाधान कैसे किया जाता है?

रैंकिंग समस्या को हल करने के लिए तीन दृष्टिकोण हैं:

• बिंदुवार , यह बिंदुवार है। हम प्रासंगिकता को एक निरपेक्ष मापक के रूप में मानेंगे और पूर्वानुमानित प्रासंगिकता और प्रशिक्षण नमूने से जो हम जानते हैं, के बीच पूर्ण अंतर के लिए मॉडल को ठीक करेंगे। उदाहरण के लिए, मूल्यांकनकर्ता ने दस्तावेज़ को 3 की रेटिंग दी, और हम 2 कहेंगे, इसलिए हम मॉडल को 1 से ठीक करते हैं।
  
• जोड़ीदार, जोड़ीदार। हम एक दूसरे के साथ दस्तावेजों की तुलना करेंगे। उदाहरण के लिए, प्रशिक्षण नमूने में दो दस्तावेज हैं, और हम जानते हैं कि इस अनुरोध के लिए कौन सा अधिक प्रासंगिक है। तब हम मॉडल को ठीक करेंगे यदि यह पूर्वानुमान को कम प्रासंगिक से कम रखता है, अर्थात, जोड़ी गलत तरीके से व्यवस्थित है।
  
• सूचीवार । यह सापेक्ष प्रासंगिकता पर भी आधारित है, लेकिन जोड़े के अंदर नहीं: हम मॉडल द्वारा पूरे मुद्दे को रैंक करते हैं और परिणाम का मूल्यांकन करते हैं - यदि सबसे प्रासंगिक दस्तावेज पहले स्थान पर नहीं है, तो हमें एक बड़ा जुर्माना मिलता है।
  

हमारे लक्ष्य चर के लिए किस दृष्टिकोण का उपयोग करना बेहतर है? ऐसा करने के लिए, यह एक महत्वपूर्ण प्रश्न पर चर्चा करने के लायक है: "क्या क्लिक का उपयोग किसी दस्तावेज़ की पूर्ण प्रासंगिकता के उपाय के रूप में किया जा सकता है?" यह असंभव है, क्योंकि वे मुद्दे में दस्तावेज़ की स्थिति पर निर्भर करते हैं। समस्या प्राप्त करने के बाद, आप सबसे अधिक संभावना दस्तावेज़ पर क्लिक करेंगे, क्योंकि यह आपको लगता है कि पहले दस्तावेज़ अधिक प्रासंगिक हैं।

ऐसी परिकल्पना को कैसे सत्यापित किया जा सकता है? हम मुद्दे के शीर्ष में दो दस्तावेज लेते हैं और उन्हें स्वैप करते हैं। यदि क्लिक प्रासंगिकता का एक पूर्ण माप थे, तो उनकी संख्या केवल दस्तावेज़ पर ही निर्भर करेगी, न कि स्थिति पर। लेकिन ऐसा है नहीं। ऊपर दिए गए दस्तावेज़ को हमेशा अधिक क्लिक मिलते हैं। इसलिए, क्लिक्स का उपयोग पूर्ण प्रासंगिकता के उपाय के रूप में कभी नहीं किया जा सकता है। इसलिए, आप या तो जोड़ीदार या सूचीवार उपयोग कर सकते हैं।

हम एक डेटासेट एकत्र करते हैं

अब हम प्रशिक्षण सेट के लिए डेटा निकालते हैं। हमारा यह सत्र था:


चार दस्तावेजों में से, दूसरे और चौथे पर एक क्लिक था। एक नियम के रूप में, लोग परिणामों को ऊपर से नीचे तक देखते हैं। आपने पहले दस्तावेज़ को देखा, आपको यह पसंद नहीं आया, दूसरे पर क्लिक किया। फिर वे खोज पर लौट आए, तीसरे को देखा और चौथे पर क्लिक किया। जाहिर है, आपको पहले की तुलना में दूसरी पसंद थी, और पहली और तीसरी की तुलना में चौथी अधिक। ये वे जोड़े हैं जो हम सभी अनुरोधों के लिए उत्पन्न करते हैं और हम प्रशिक्षण के लिए मॉडल का उपयोग करते हैं।

सब कुछ ठीक लग रहा है, लेकिन एक समस्या है: लोग केवल मुद्दे के शीर्ष से दस्तावेजों पर क्लिक करते हैं। इसलिए, यदि आप केवल इस तरह से प्रशिक्षण नमूना बनाते हैं, तो इसमें वितरण बिल्कुल उसी तरह होगा जैसे परीक्षण नमूने में होता है। किसी तरह वितरण को संरेखित करना आवश्यक है। हम नकारात्मक उदाहरणों को जोड़कर ऐसा करते हैं: ये दस्तावेज हैं जो रैंकिंग के निचले भाग पर थे, उपयोगकर्ता ने निश्चित रूप से उन्हें नहीं देखा था, लेकिन हम जानते हैं कि वे खराब हैं।


इसलिए, हमें रैंकिंग प्रशिक्षण के लिए इस तरह की एक योजना मिली: उन्होंने उपयोगकर्ताओं को परिणाम दिखाए, उनसे क्लिक्स एकत्र किए, वितरण को संरेखित करने के लिए नकारात्मक उदाहरण जोड़े, और रैंकिंग मॉडल को वापस लिया। इस प्रकार, हम आपकी वर्तमान रैंकिंग में उपयोगकर्ताओं की प्रतिक्रिया को ध्यान में रखते हैं, त्रुटियों को ध्यान में रखते हैं और रैंकिंग में सुधार करते हैं। हम अभिसरण तक कई बार इन प्रक्रियाओं को दोहराते हैं। यह ध्यान रखना महत्वपूर्ण है कि हम न केवल वेब, बल्कि वीडियो, चित्रों द्वारा भी खोजते हैं, और वर्णित योजना किसी भी प्रकार की खोज में पूरी तरह से काम करती है। नतीजतन, व्यवहार मेट्रिक्स बहुत बढ़ जाते हैं। दूसरे पुनरावृत्ति में, यह थोड़ा छोटा है, तीसरे पुनरावृत्ति में यह और भी छोटा है, और परिणामस्वरूप एक स्थानीय इष्टतम में परिवर्तित होता है।

आइए इस बारे में सोचें कि हम एक स्थानीय इष्टतम पर क्यों नहीं, एक वैश्विक इष्टतम पर एकाग्र होते हैं।

मान लीजिए आप एक फुटबॉल प्रशंसक हैं और शाम को आपके पसंदीदा टीम का मैच देखने का समय नहीं था। सुबह उठकर मैच का परिणाम जानने के लिए सर्च बार में टीम का नाम दर्ज करें। पहले तीन दस्तावेज़ देखें - ये क्लब के बारे में आधिकारिक पृष्ठ हैं, कोई उपयोगी जानकारी नहीं है। आप पूरे मामले को नहीं छोड़ेंगे, दूसरा अनुरोध नहीं करेंगे। शायद आप भी कुछ अप्रासंगिक दस्तावेज़ पर क्लिक करें। लेकिन परिणामस्वरूप, परेशान हो जाएं, SERP को बंद करें और एक और खोज इंजन खोलें।



हालांकि यह समस्या न केवल खोज में पाई गई है, यह विशेष रूप से यहां प्रासंगिक है। एक ऑनलाइन स्टोर की कल्पना करें, जो यह कहने की क्षमता के बिना एक बड़ा टेप है कि आप किस विशेष श्रेणी के उत्पादों को देखना चाहते हैं। खोज परिणामों के साथ ऐसा ही होता है: अनुरोध भेजने के बाद, आप अब यह नहीं समझा सकते हैं कि आपको वास्तव में क्या चाहिए: फुटबॉल टीम के बारे में जानकारी या पिछले मैच के स्कोर।

कल्पना कीजिए कि कुछ क्रूर आदमी ऐसे अजीब ऑनलाइन स्टोर में गया, जिसमें सिफारिशों का एक टेप शामिल है, और उसकी सिफारिशों में वह केवल आम तौर पर केवल अन्य सामान देखता है। शायद वह भी किसी ड्रेस पर क्लिक करती है, क्योंकि यह एक खूबसूरत लड़की पर पहना जाता है। हम इस क्लिक को ट्रेनिंग सेट पर भेजेंगे और तय करेंगे कि आदमी को यह ड्रेस स्पंज से ज्यादा पसंद है। जब वह हमारे सिस्टम में वापस आएगा, तो वह पहले से ही कुछ कपड़े देखेगा। प्रारंभ में, हमारे पास ऐसे उत्पाद नहीं थे जो उपयोगकर्ता के लिए मान्य थे, इसलिए यह दृष्टिकोण हमें इस त्रुटि को ठीक करने की अनुमति नहीं देगा। हम एक स्थानीय इष्टतम में थे, जिसमें गरीब व्यक्ति अब हमें यह नहीं बता सकता है कि वह स्पंज या कपड़े पसंद नहीं करता है। अक्सर इस समस्या को सकारात्मक प्रतिक्रिया समस्या कहा जाता है।

और सुधार

सर्च इंजन को बेहतर कैसे बनाएं? कैसे एक स्थानीय इष्टतम से बाहर निकलने के लिए? नए कारकों को जोड़ने की आवश्यकता है। मान लीजिए कि हमने एक बहुत अच्छा कारक बनाया है, जो फुटबॉल टीम के नाम के साथ अनुरोध पर, एक प्रासंगिक दस्तावेज, अर्थात् पिछले मैच के परिणाम को बढ़ाएगा। यहाँ क्या समस्या हो सकती है? यदि आप मॉडल को पुराने डेटा पर, ऑफ़लाइन डेटा पर प्रशिक्षित करते हैं, तो पुराने डेटासेट को क्लिकों के साथ लें और इस विशेषता को वहां जोड़ें। यह प्रासंगिक हो सकता है, लेकिन आपने पहले रैंकिंग में इसका उपयोग नहीं किया है, और इसलिए लोगों ने उन दस्तावेजों पर क्लिक नहीं किया जिनके लिए यह विशेषता अच्छी है। यह आपके लक्ष्य चर के साथ सहसंबंधित नहीं है, इसलिए यह बस मॉडल द्वारा उपयोग नहीं किया जाएगा।

ऐसे मामलों में, हम अक्सर इस समाधान का उपयोग करते हैं: अंतिम मॉडल को दरकिनार करते हुए, हम अपनी रैंकिंग को इस सुविधा का उपयोग करने के लिए मजबूर करते हैं। हम टीम के नाम के साथ अनुरोध पर आखिरी मैच का परिणाम जबरन दिखाते हैं, और यदि उपयोगकर्ता ने उस पर क्लिक किया है, तो हमारे लिए यह वह जानकारी है जो हमें यह समझने की अनुमति देती है कि संकेत अच्छा है।

आइए एक उदाहरण देखें। हाल ही में हमने इंस्टाग्राम दस्तावेजों के लिए खूबसूरत तस्वीरें बनाईं:



ऐसा लगता है कि इस तरह की खूबसूरत तस्वीरों को हमारे उपयोगकर्ताओं को यथासंभव संतुष्ट करना चाहिए। जाहिर है, हमें यह संकेत करने की आवश्यकता है कि दस्तावेज़ में ऐसी तस्वीर है। हम डेटासेट में जोड़ते हैं, रैंकिंग मॉडल को फिर से देखते हैं और देखते हैं कि यह सुविधा कैसे उपयोग की जाती है। और फिर हम व्यवहार मेट्रिक्स में परिवर्तन का विश्लेषण करते हैं। उन्होंने थोड़ा सुधार किया है, लेकिन क्या यह सबसे अच्छा समाधान है?

नहीं, क्योंकि कई अनुरोधों के लिए आप सुंदर चित्र नहीं दिखाते हैं। आपने उपयोगकर्ता को यह दिखाने का अवसर नहीं दिया कि वह उन्हें कैसे पसंद करता है। इस समस्या को हल करने के लिए, कुछ अनुरोधों के लिए जिसमें Instagram दस्तावेज़ दिखाना शामिल है, जबरन उस मॉडल को दरकिनार करके हमने सुंदर चित्र दिखाए और देखा कि क्या उन्होंने उन पर क्लिक किया है। जैसे ही उपयोगकर्ताओं ने नवाचार की सराहना की, उन्होंने डेटासेट पर मॉडल को फिर से अपनाना शुरू कर दिया, जिसमें उपयोगकर्ताओं को इस कारक के महत्व को दिखाने का अवसर मिला। इस प्रक्रिया के बाद, एक नए डेटासेट पर, कारक को कई बार अधिक इस्तेमाल किया जाने लगा और उपयोगकर्ता मीट्रिक में काफी वृद्धि हुई।

---

इसलिए, हमने रैंकिंग की समस्या के बयान की जांच की और उन नुकसानों पर चर्चा की, जो उपयोगकर्ताओं से प्रतिक्रिया सीखने के दौरान आपको इंतजार करेंगे। मुख्य बात जो आपको इस लेख से निकालनी चाहिए: एक प्रशिक्षण लक्ष्य के रूप में प्रतिक्रिया का उपयोग करते हुए, याद रखें कि उपयोगकर्ता केवल इस प्रतिक्रिया को छोड़ सकता है जहां वर्तमान मॉडल उसे अनुमति देता है। इस तरह की प्रतिक्रिया एक नई मशीन लर्निंग मॉडल बनाने की कोशिश करते समय आप पर एक चाल खेल सकती है।