निरंकुश रैंकिंग। ज़ैन लेखकों के लिए प्रासंगिक ऑडियंस खोजने पर यैंडेक्स रिपोर्ट

Yandex.Zen सेवा के लिए सबसे महत्वपूर्ण बात यह है कि एक मंच विकसित करना और बनाए रखना है जो लेखकों के साथ दर्शकों को जोड़ता है। अच्छे लेखकों के लिए एक आकर्षक मंच होने के लिए, ज़ेन को उन चैनलों के लिए एक प्रासंगिक दर्शक खोजने में सक्षम होना चाहिए जो किसी भी विषय पर लिखते हैं, जिसमें सबसे संकीर्ण भी शामिल है। लेखकों के खुशहाली समूह के प्रमुख बोरिस शार्किलेव ने निरंकुश रैंकिंग के बारे में बात की, जो लेखकों के लिए सबसे अधिक प्रासंगिक उपयोगकर्ताओं का चयन करता है। रिपोर्ट से आप यह पता लगा सकते हैं कि यह दृष्टिकोण प्रासंगिक वस्तुओं के चयन से कैसे भिन्न होता है - सिफारिश प्रणालियों में अधिक लोकप्रिय।

उपयोगकर्ता-केंद्रित और ऑटो-केंद्रित रैंकिंग को संतुलित करके, हम उपयोगकर्ता खुशी और लेखकों की खुशी का सही संतुलन प्राप्त कर सकते हैं।

- सहकर्मी, सभी को नमस्कार। मेरा नाम बोर्या है। मैं ज़ेन में रैंकिंग की गुणवत्ता से निपटता हूं। मुझे यकीन है कि यह सबसे दिलचस्प यैंडेक्स सेवाओं में से एक है, हमें बहुत अच्छी मशीन सीखना है, और अगले 17 मिनट में मैं आपको इसे समझाने की कोशिश करूंगा।

ज़ेन क्या है? यदि काफी सरल है, ज़ेन एक व्यक्तिगत सिफारिश सेवा है। हम उपयोगकर्ताओं को इन उपयोगकर्ताओं के हितों के बारे में जो कुछ भी जानते हैं उसके आधार पर प्रासंगिक सामग्री की सिफारिश करने की कोशिश करते हैं। हमारा उच्च-स्तरीय लक्ष्य उपयोगकर्ताओं के लिए ज़ेन में समय बिताना है। और जो बहुत महत्वपूर्ण है वह यह है कि वे इस समय पछताते नहीं हैं।

सामग्री की खपत का हमारा मूल रूप कुछ ऐसा है। यह सिफारिशों की एक अंतहीन धारा है। और यहां यह स्पष्ट है कि हम, सिद्धांत रूप में, बहुत अलग विषयों पर बहुत सामग्री की सिफारिश करने की कोशिश कर रहे हैं। अलग-अलग विषय हैं: व्यापार के बारे में कुछ, हास्य के बारे में कुछ, यहां तक ​​कि कल्पना के बारे में भी कुछ। यही है, टेप में आप शैक्षिक और शैक्षिक लेख, साथ ही साथ अधिक मनोरंजक दोनों पा सकते हैं। और, ज़ाहिर है, निजीकरण। हर किसी के लिए ज़ेन फ़ीड अलग-अलग दिखता है - यह इस बात पर निर्भर करता है कि उपयोगकर्ता में क्या दिलचस्पी है। इसके अलावा, ज़ाहिर है, थोड़ा सा विज्ञापन।



एक बहुत ही महत्वपूर्ण बिंदु। बहुत शुरुआत में, जब हम पहली बार दिखाई दिए, हम वास्तव में, इंटरनेट से सामग्री का एक एग्रीगेटर थे। यही है, हम मौजूदा साइटों के आसपास गए, उनसे सामग्री ली, और इसे हितों के आधार पर उपयोगकर्ता को दिखाया। अब स्थिति अलग है। अब ज़ेन एक संपूर्ण ब्लॉगिंग प्लेटफ़ॉर्म है जिस पर हर कोई अपना चैनल बना सकता है, चाहे वह कोई प्रसिद्ध ब्लॉगर हो या कोई नौसिखिया लेखक जिसके बारे में कुछ बताना हो। नए लेखक ऐसी अच्छी स्वागत स्क्रीन देखते हैं जिसमें हम सेवा के बारे में बात करते हैं - कि ज़ेन खुद एक दर्शकों का चयन करेगा, और उसे केवल अच्छी सामग्री लिखने की आवश्यकता है।

अब प्लेटफ़ॉर्म ज़ेन के कुल ट्रैफ़िक का आधे से अधिक हिस्सा है। और यह आंकड़ा केवल बढ़ेगा। हम समझते हैं कि हर कोई मौजूदा सामग्री को रैंक कर सकता है। बेशक, हम इसे सबसे अच्छा करेंगे। लेकिन हर किसी के पास अद्वितीय सामग्री नहीं है, और हम मानते हैं कि यह हमारा प्रतिस्पर्धात्मक लाभ होगा।



यह समझना महत्वपूर्ण है कि ज़ेन पहले से ही बहुत बड़ा है। Yandex.Radar के अनुसार, पिछले वर्ष के अंत में हमारे पास प्रतिदिन लगभग 10-12 मिलियन दैनिक पाठक, लगभग 35 मिलियन दैनिक पाठक थे, और यहां तक ​​कि Yandex.Radar के कुछ आंकड़ों के अनुसार, हम पिछले वर्ष पहली बार वे Yandex.News के दर्शकों के आसपास गए। इसका मतलब है कि हम सभी गंभीरता से इंटरनेट बना रहे हैं, हमारे पास बहुत गंभीर कार्य हैं, उनमें से बहुत सारे हैं, और हम वास्तव में आपकी मदद के लिए तत्पर हैं।



आइए, इसके विवरण के बारे में बात करते हैं कि यह कैसे काम करता है, और चर्चा करता है कि हम एक प्रशिक्षु के साथ क्या कर सकते हैं, हम अपनी सेवा में कैसे मदद कर सकते हैं।

हमारे पास मौजूद सिफारिशों की सामान्य रूपरेखा इस तरह व्यवस्थित है। यह सब दस्तावेजों के हमारे बड़े डेटाबेस से शुरू होता है जिसमें से हम सिफारिशों के लिए सामग्री का चयन करते हैं। इसमें लाखों दस्तावेज शामिल हैं। इसके अलावा, इस डेटाबेस की लगातार भरपाई की जाती है - इसमें लगभग एक लाख नए दस्तावेज़ रोज़ आते हैं। आदर्श रूप से, हम प्रत्येक उपयोगकर्ता के लिए व्यक्तिगत रूप से इन दसियों लाखों दस्तावेज़ों के लिए अपनी संपूर्ण मशीन लर्निंग मशीन को लागू करना चाहेंगे, और उसके लिए सबसे अधिक प्रासंगिक एक का चयन करेंगे। लेकिन, दुर्भाग्य से, यह व्यवहार में काम नहीं करता है, क्योंकि ज़ेन एक ऐसी सेवा है जो वास्तविक समय में काम करती है। हमारे पास इस बात की बहुत सख्त गारंटी है कि हम कितनी जल्दी प्रतिक्रिया देने के लिए तैयार हैं, इसलिए, व्यावहारिक कारणों से, हमें पहले चरण में हजारों संभावित सिफारिशों के हजारों दस्तावेजों के आधार को संकीर्ण करने के लिए मजबूर किया जाता है, जिसे हम पहले से ही अपने मॉडल के साथ पूरी तरह से रैंक कर सकते हैं और सबसे अधिक प्रासंगिक चुन सकते हैं। दसियों से लेकर हजारों तक के आधार को संकुचित करने के इस चरण को उम्मीदवारों का चयन या आसान रैंकिंग कहा जाता है।

जब हमारे पास यह किट होता है, तो हम इसे अपने जटिल बड़े मशीन लर्निंग मॉडल पर लागू करते हैं, जो शीर्ष स्तर पर क्रमिक बूस्टिंग है। यह सब आश्चर्य के बिना है, लेकिन हमारे पास बहुत ही विविध कारक हैं - कुछ सरल लोगों से, जो उदाहरण देते हैं, उदाहरण के लिए, किसी दिए गए डोमेन को उपयोगकर्ता के लिए कितना प्रासंगिक है, स्रोत, वह कितनी बार दौरा करता है, क्लिक करता है, फीडबैक, लाइक और नापसंद करता है। तो अधिक जटिल कारक हैं जो उदाहरण के लिए, तंत्रिका नेटवर्क सुविधाओं पर आधारित हैं। हम लेख के पाठ को संसाधित करते हैं, हम चित्रों, अन्य डेटा स्रोतों को संसाधित करते हैं, और हम ऐसी समग्र सुविधाओं का भी उपयोग करते हैं। यह सभी योजना काफी जटिल है, मुझे आपके पास विवरण में बताने के लिए समय नहीं होगा।

अपने 2 हजार उम्मीदवारों को रैंक करने के बाद, हम उनमें से शीर्ष का चयन करते हैं। शीर्ष का आकार इस बात पर निर्भर करता है कि हमें सामग्रियों की सिफारिश करने की कितनी आवश्यकता है। इसे हमेशा अलग तरीके से परिभाषित किया जाता है। और इस प्रकार हम अंतिम अंक बनाते हैं।

यह कैसे सर्किट एक उच्च स्तर पर दिखता है। अब बात करते हैं कि पूरी प्रक्रिया के कौन से घटक हमें बेहतर बनाने में रुचि रखते हैं।



यह पता चलता है कि हम हर चीज के बारे में करने में रुचि रखते हैं। बहुत सारे कार्य हैं। हम रैंकिंग के लिए डेटा वितरण की गति बढ़ाना चाहते हैं: हमारे पास जितना अधिक हाल ही में डेटा होगा, हम उतनी ही प्रासंगिक सिफारिशें करेंगे। मैं सेवा को गति देना चाहता हूं: हम जितना तेजी से काम करेंगे, उपयोगकर्ता अनुभव उतना ही बेहतर होगा। हम सेवा की विश्वसनीयता बढ़ाना चाहते हैं।

हमारे लिए रैंकिंग में सुधार करना महत्वपूर्ण है। यही है, हमें मशीन लर्निंग के नए मॉडल लागू करने और अन्य देशों में अपने वर्तमान मॉडल में सुधार करने की आवश्यकता है। हमें न केवल रूस में, बल्कि दुनिया के कई अन्य देशों में भी सिफारिश की जाती है।

हम क्षेत्रीयता को भी ध्यान में रखना चाहते हैं और लोगों को अपने क्षेत्र से संबंधित सामग्री की सिफारिश करना चाहते हैं।

और यह बहुत महत्वपूर्ण है - हमें अपने संलेखन मंच को विकसित करने की आवश्यकता है। यह हमारा भविष्य है, हमें इसमें निवेश करने की जरूरत है। बहुत सारे कार्य भी हैं। विशेष रूप से, हमें गुणवत्ता सामग्री खोजने और लॉन्च करने में सक्षम होना चाहिए। हमारे लिए अच्छी सामग्री दिखाना महत्वपूर्ण है, कचरा नहीं। हमें नए सामग्री प्रारूपों को रैंक करने में सक्षम होना चाहिए। हमारे पास न केवल लेख हैं, बल्कि लघु वीडियो भी हैं, और पोस्ट जो उपयोगकर्ता सीधे फ़ीड में देखते हैं। इन सभी स्वरूपों को रैंक करने में सक्षम होने की आवश्यकता है।

और एक बहुत महत्वपूर्ण बिंदु, जिसके बारे में मैं और अधिक तकनीकी विवरणों में थोड़ा और विस्तार से बात करना चाहता हूं - हमारे लिए यह महत्वपूर्ण है कि हम प्रत्येक लेखक के लिए एक ऐसा श्रोता खोजें जो उसके लिए प्रासंगिक हो, भले ही वह सुंदर आला लेखक और विषय हो। आइए अधिक विस्तार से बात करें कि यहां क्या समस्या है और हम इसे कैसे हल करते हैं।

आइए एक उदाहरण देखें।



हम दो कार्ड से चयन करते हैं, मान लेते हैं, जिसे हम उपयोगकर्ता को दिखाना चाहते हैं।

यह दुनिया कैसे काम करती है और लोगों के काम करने का तरीका है, कि वहाँ कुछ और औसत है, जहां एक क्लिक की संभावना औसतन 20 प्रतिशत है, और कुछ और जगह है, उदाहरण के लिए, विज्ञान के बारे में लेख या अंतरिक्ष के बारे में।

यदि हम केवल एक क्लिक की संभावना के अनुसार कार्ड रैंक करते हैं, तो, निश्चित रूप से, अधिक क्लिक करने योग्य और सरल सामग्री बहुत बड़ी संख्या में इंप्रेशन एकत्र करेगी, और विज्ञान के बारे में बहुत अच्छा लेख भी नहीं करेगा। बेशक, हम यह नहीं चाहते हैं। हम आला चैनलों के लिए भी इच्छुक दर्शकों को खोजना चाहते हैं।



आप ऐसा क्यों करना चाहते हैं? वास्तव में, इसके दो कारण हैं। पहली किराने है। यही है, हम चाहते हैं कि ज़ेन इंटरनेट के कुछ प्रकार की कटौती करे। ताकि उपयोगकर्ता को जो कुछ भी मिल जाए और जो वह बड़े इंटरनेट पर रुचि रखता है वह ज़ेन में प्रस्तुत किया जाए। और इसलिए कि वह वही प्राप्त करता है जो उसके लिए दिलचस्प है।

वैज्ञानिक चैनलों के अपने दर्शक वर्ग हैं। लेकिन एक ऐसी बारीकियों है। अगर विज्ञान प्रेमी विज्ञान और लोकप्रिय सामग्री दिखाते हैं, तो वे विज्ञान की तुलना में इस पर क्लिक करने की अधिक संभावना रखते हैं। लेकिन अगर आप उन्हें केवल विज्ञान दिखाते हैं, तो वे विज्ञान पर भी क्लिक करेंगे, और उन्हें इस पर पछतावा भी नहीं होगा। सवाल यह है कि ऐसे लोगों को कैसे खोजना है और सामग्री को कैसे प्रदर्शित करना है, यह उपयोगकर्ता पर नहीं, बल्कि लेखक पर केंद्रित है।



यह कैसे करना है? सामान्य रैंकिंग सूत्र, जो क्लिक की संभावना की भविष्यवाणी करता है, हमें यहां मदद नहीं करेगा, क्योंकि औसतन अधिक आला लेख खो जाएंगे। लेकिन आप दूसरे तरीके से जा सकते हैं - कुछ कोटा आवंटित करने के लिए, और इसमें अधिक या कम समान रूप से लेखकों को इंप्रेशन देते हैं, उन्हें एक तरह की न्यूनतम गारंटी देते हैं। यह किया जा सकता है, और यह लेखकों को थोड़ा खुश कर देगा, लेकिन, दुर्भाग्य से, यह हमारे उपयोगकर्ताओं को कम खुश कर देगा। उपयोगकर्ता कम क्लिक करेंगे, अधिक परेशान होंगे और छोड़ देंगे। बेशक, हम यह नहीं चाहते हैं।

यहाँ कैसे होना है?



हमने लंबे समय तक सोचा और एक नई अवधारणा के साथ आए। हमने इसे लेखक के लिए निरंकुश रैंकिंग या इंप्रेशन कहा है।

नियमित रैंकिंग में हमारा लक्ष्य क्या है, जिसे हम उपयोगकर्ता केंद्रित कहते हैं? उस सामग्री को ढूंढें जो उपयोगकर्ता के लिए सबसे अधिक प्रासंगिक है। हम इस सवाल का जवाब देते हैं कि उपयोगकर्ता को क्या दिखाना है।

निरंकुश रैंकिंग में, हम समस्या के बयान को पलट देते हैं और कहते हैं कि हम इस लेखक को दिखाना चाहते हैं, और सवाल यह है कि उसे किसे दिखाना है, जिसके लिए वह सबसे अधिक प्रासंगिक है। इसलिए मेट्रिक्स में अंतर। पहले मामले में, हम कस्टम मेट्रिक्स में रुचि रखते हैं, अर्थात्, अभिन्न क्लिक, ज़ेन में अभिन्न समय, और इसी तरह। दूसरे मामले में, हम तथाकथित लेखक मैट्रिक्स में रुचि रखते हैं। उदाहरण के लिए, हम मापते हैं कि ज़ेन कितनी अच्छी तरह से रहता है, उदाहरण के लिए, लेखकों के नीचे 10%। अगर वे अच्छी तरह से रहते हैं, तो बाकी सभी भी खुश हैं।



हम यह कैसे करते हैं? मान लीजिए कि हमारे पास सामान्य रैंकिंग फॉर्मूला है। सादगी के लिए, मान लीजिए कि यह किसी दिए गए कार्ड पर किसी उपयोगकर्ता द्वारा दिए गए आइटम पर क्लिक करने की संभावना की भविष्यवाणी करता है। हम क्या करेंगे? आइए अब इसे प्रत्येक लेख के लिए ठीक करें और इस मॉडल के लिए हमारे मॉडल को लागू करें, आदर्श रूप से - सभी उपयोगकर्ताओं को, व्यवहार में - किसी प्रकार के उपयोगकर्ता नमूने के लिए। और हम अपने लेखों के वितरण का निर्माण करेंगे, अर्थात्, उपयोगकर्ताओं द्वारा प्रत्येक लेख के लिए एक लेख पर क्लिक करने की संभावना का अनुमान। अब प्रत्येक लेख के लिए हमारे पास चार्ट (ऊपर स्लाइड - लगभग एड।) पर ऐसा वितरण है। उसके बाद, हम उपयोगकर्ता के लिए लेखों को रैंक करेंगे और एक क्लिक की संभावना से न केवल शीर्ष का चयन करेंगे, बल्कि इस लेख के लिए इस उपयोगकर्ता के प्रतिशत में आते हैं। यही है, हम एक क्लिक की संभावना का अनुमान लगाते हैं, देखते हैं कि उपयोगकर्ता इस वितरण में कहां पड़ता है, और इस मूल्य से व्यवस्था करें।



यहां हमारे पास समान दो कार्ड हैं, उनमें से एक क्लिक करने योग्य है, 20%, अन्य - 1% से कम। अब, यदि आप एक विशिष्ट उपयोगकर्ता लेते हैं, तो ऐसी स्थिति संभव है कि उसके पास कम लोकप्रिय एक की तुलना में अधिक लोकप्रिय कार्ड पर क्लिक करने का मौका हो, जैसे 10% बनाम 3%। लेकिन चूंकि एक लोकप्रिय कार्ड पर एक क्लिक की औसत संभावना 20% है, और उपयोगकर्ता के पास 10% है, इसलिए वह औसत प्रकाशन के मुकाबले इस प्रकाशन से कम प्रासंगिक है। और दूसरी स्थिति में, विपरीत: उसके पास एक क्लिक का 3% मौका है, लेकिन औसत लेख में 1% है। इसलिए, यह अन्य ज़ेन उपयोगकर्ताओं की तुलना में लेख के लिए अधिक प्रासंगिक एक औसत दर्शक है। इसलिए, यहां महत्वपूर्ण अंतर्दृष्टि यह है कि भले ही किसी लेख पर एक क्लिक की संभावना कम हो, इस तरह के ढांचे की मदद से हमारे पास एक कम लोकप्रिय लेख दिखाने का मौका है यदि उपयोगकर्ता इस प्रकाशन के लिए सबसे विश्वसनीय कोर में है।



यदि उपयोगकर्ता अधिक या कम समान रूप से हमारे पास आते हैं, तो दिया गया स्कोर जिसके द्वारा हम रैंक करते हैं, अर्थात, वह प्रतिशतक जो प्रत्येक उपयोगकर्ता भूमि में देता है, समान रूप से उपयोगकर्ताओं के बीच वितरित किया जाएगा। इसका मतलब है कि यदि सभी लेखों को इस तरह से रैंक किया जाता है, तो वे सभी एक ही संख्या में अधिक से अधिक छापें एकत्र करेंगे। कुछ कम प्रासंगिक कार्ड के 10 छापों की तुलना में लाखों छापों का कोई उत्सर्जन नहीं होगा। इस प्रकार, उपयोगकर्ता-केंद्रित और ऑटो-केंद्रित रैंकिंग को संतुलित करके, हम उपयोगकर्ता खुशी और लेखकों की खुशी के अनुपात को प्राप्त कर सकते हैं जिसे हम सही मानते हैं।



उत्पादन में हम इसे कैसे लागू करते हैं, इसके बारे में कुछ शब्द। हमें अपने लॉग को देखने और उनमें से प्रत्येक लेख के वितरण की गणना करने की आवश्यकता है। एक महत्वपूर्ण सीमा: हमें ऐसा करने में सक्षम होना चाहिए, पहला, जल्दी और दूसरा, स्ट्रीमिंग मोड में। अर्थात्, आदर्श रूप से, नए डेटा के लिए वितरण अनुमान को अपडेट करने के लिए, हमें स्मृति में सभी पिछले डेटा नहीं, बल्कि केवल वर्तमान अनुमान होना चाहिए। ऐसी प्रणाली स्केलेबल है, ऐसी योजना काम करती है। आदर्श रूप से, हमें छोटे डेटा पर ऐसा करने में सक्षम होना चाहिए। यदि किसी लेख में केवल 300 इंप्रेशन हैं, तो हमें ऐसी कई टिप्पणियों के लिए वितरण का पर्याप्त अनुमान लगाने में सक्षम होना चाहिए।

हमने प्रयोग किए और पाया कि इस तरह के स्कोर वितरण आश्चर्यजनक रूप से लॉग-सामान्य वितरण के करीब हैं। यही है, यह एक अनुभवजन्य अवलोकन है। और यदि ऐसा है, तो वितरण के पूरे हिस्टोग्राम को गैर-पैरामीट्रिक रूप से आकलन करने के बजाय, हम इस वितरण के केवल दो मापदंडों का मूल्यांकन कर सकते हैं। और हम केवल वर्तमान पैरामीटर अनुमान और नई टिप्पणियों का उपयोग करके स्ट्रीम में ऐसा कर सकते हैं। ऐसी योजना बहुत तेज है और बहुत अच्छी तरह से काम करती है। अब वह हमारे साथ प्रोडक्शन में है।



इसके परिणाम भी अच्छे हैं। हम ज़ेन में उपेक्षित अच्छे लेखकों की खुशी को बहुत बढ़ाते हैं और सामान्य उपयोगकर्ता मीट्रिक को नहीं भटकाते हैं। यही है, व्यापार कार्य पूरी तरह से हासिल किया गया है।

मैंने अब उन कार्यों का एक उदाहरण दिखाया है जिनसे हम निपट सकते हैं। बेशक, इन कार्यों में से कई हैं, और उनमें से प्रत्येक के साथ हमें आपकी सहायता की आवश्यकता है। हम वास्तव में आशा करते हैं कि आप हमारे साथ काम करना चाहेंगे । अंत में, मैं कुछ शब्दों के बारे में कहूंगा कि हम इंटर्न से क्या उम्मीद करते हैं और हम उनसे क्या उम्मीद नहीं करते हैं। प्रशिक्षु से, हम सबसे महत्वपूर्ण बात की उम्मीद करते हैं - कोड लिखने की क्षमता। सेवा में हमारे पास कोई शुद्ध वैज्ञानिक नहीं हैं। हम सभी एमएल इंजीनियर हैं, उन्हें कार्यों का पूरा चक्र करने में सक्षम होना चाहिए। उन्हें सक्षम होना चाहिए और उत्पादन में उनके समाधान को लागू करना चाहिए, और एमएल लागू करना चाहिए। यही है, हम उम्मीद करते हैं कि आप एक बुनियादी स्तर पर कोड लिख सकते हैं, दृष्टिकोणों को समझ सकते हैं, एल्गोरिदम, डेटा संरचनाओं, मशीन सीखने की मूल बातें जान सकते हैं।

हम इंटर्न से क्या उम्मीद नहीं करते हैं? सबसे पहले, हम किसी भी भाषा या रूपरेखा के गहन ज्ञान की उम्मीद नहीं करते हैं। यदि आप यह नहीं जानते हैं कि पायथन में कोराउटिन कैसे काम करते हैं - यह ठीक है, तो हम आपको सब कुछ सिखा देंगे। और हम आपसे बहुत अनुभव की उम्मीद नहीं करते हैं। हम आपसे ज्ञान की उम्मीद करते हैं, काम करने की इच्छा। यदि कोई अनुभव नहीं है, तो यह ठीक है हम सब कुछ सिखाएंगे, और सबकुछ ठीक हो जाएगा। धन्यवाद!