एक "स्मार्ट टेप" का संक्षिप्त इतिहास

सामाजिक नेटवर्क आज सबसे लोकप्रिय इंटरनेट उत्पादों में से एक है और विश्लेषण के लिए मुख्य डेटा स्रोतों में से एक है। सामाजिक नेटवर्क के अंदर, डेटा विज्ञान के क्षेत्र में सबसे कठिन और दिलचस्प काम एक समाचार फ़ीड का गठन माना जाता है। दरअसल, सामग्री की गुणवत्ता और प्रासंगिकता के लिए उपयोगकर्ता की बढ़ती मांगों को पूरा करने के लिए, यह सीखना आवश्यक है कि कई स्रोतों से जानकारी कैसे एकत्र की जाए, उपयोगकर्ता की प्रतिक्रिया के पूर्वानुमान की गणना करें और ए / बी परीक्षण में दर्जनों प्रतिस्पर्धी मैट्रिक्स के बीच संतुलन बनाएं। और बड़ी मात्रा में डेटा, उच्च कार्यभार और प्रतिक्रिया की गति के लिए कठोर आवश्यकताएं कार्य को और भी दिलचस्प बनाती हैं।

ऐसा लगता है कि आज रैंकिंग के कार्यों का पहले से और साथ में अध्ययन किया गया है, लेकिन यदि आप बारीकी से देखते हैं, तो यह इतना सरल नहीं है। फ़ीड में सामग्री बहुत विषम है - यह दोस्तों, और मेमो, वायरल वीडियो, लंबे समय तक पढ़ने और वैज्ञानिक पॉप की एक तस्वीर है। सब कुछ एक साथ रखने के लिए, आपको विभिन्न क्षेत्रों से ज्ञान की आवश्यकता है: कंप्यूटर दृष्टि, ग्रंथों के साथ काम करना, सिफारिश प्रणाली, और, बिना असफल, आधुनिक अत्यधिक लोड किए गए भंडारण और डेटा प्रोसेसिंग टूल। सभी कौशल के साथ एक व्यक्ति को खोजना आज बहुत मुश्किल है, इसलिए टेप को छांटना वास्तव में एक टीम का काम है।

Odnoklassniki ने 2012 में विभिन्न रिबन रैंकिंग एल्गोरिदम के साथ प्रयोग करना शुरू किया और 2014 में मशीन लर्निंग भी इस प्रक्रिया में शामिल हो गया। यह संभव हो गया था, सबसे पहले, डेटा धाराओं के साथ काम करने के लिए प्रौद्योगिकियों के क्षेत्र में प्रगति के लिए धन्यवाद। बस कज़ाका में ऑब्जेक्ट डिस्प्ले और उनकी विशेषताओं को इकट्ठा करना शुरू करना और सैमज़ा का उपयोग करके लॉग एकत्र करना, हम प्रशिक्षण मॉडल के लिए डेटासेट बनाने और सबसे "पुलिंग" सुविधाओं की गणना करने में सक्षम थे: लिंक्डइन से सहकर्मियों के काम के आधार पर सिफारिश प्रणाली "दर वस्तुओं और पूर्वानुमानों के माध्यम से क्लिक करें"।



यह जल्दी से स्पष्ट हो गया कि लॉजिस्टिक रिग्रेशन का वर्कहॉर्स अकेले टेप को बाहर नहीं निकाल सकता है, क्योंकि उपयोगकर्ता के पास बहुत ही विविध प्रतिक्रिया हो सकती है: वर्ग, टिप्पणी, क्लिक, छुपाना आदि, और सामग्री बहुत अलग हो सकती है - फोटो एक दोस्त, एक समूह पोस्ट, या एक दोस्त द्वारा उत्कीर्ण एक vidosik। प्रत्येक प्रकार की सामग्री के लिए प्रत्येक प्रतिक्रिया की अपनी विशिष्टता और अपना व्यवसाय मूल्य है। नतीजतन, हम एक " लॉजिस्टिक रेजिमेंट के मैट्रिक्स " की अवधारणा में आए: प्रत्येक प्रकार की सामग्री और प्रत्येक प्रतिक्रिया के लिए एक अलग मॉडल बनाया जाता है, और फिर उनके पूर्वानुमान वर्तमान व्यावसायिक प्राथमिकताओं के आधार पर हाथों द्वारा गठित एक भार मैट्रिक्स से गुणा किए जाते हैं।



यह मॉडल बेहद व्यवहार्य था और लंबे समय तक मुख्य था। समय के साथ, इसने अधिक से अधिक दिलचस्प विशेषताएं हासिल कीं: वस्तुओं के लिए, उपयोगकर्ताओं के लिए, लेखकों के लिए, लेखक के साथ उपयोगकर्ता के रिश्ते के लिए, उन लोगों के लिए जिन्होंने ऑब्जेक्ट के साथ बातचीत की, आदि। नतीजतन, एक उदासीन नेटवर्क के साथ प्रतिगमन को बदलने का पहला प्रयास एक दुखद "सुविधाओं में समाप्त हो गया है हमारे पास बहुत बकवास है, मेष एक बढ़ावा नहीं देता है।"

इस मामले में, अक्सर उपयोगकर्ता गतिविधि के दृष्टिकोण से सबसे ठोस बढ़ावा एल्गोरिदमिक सुधारों के बजाय तकनीकी द्वारा प्रदान किया गया था: रैंकिंग के लिए अधिक उम्मीदवारों को स्कूप करें, शो के तथ्यों को अधिक सटीक रूप से ट्रैक करें, एल्गोरिथ्म की प्रतिक्रिया गति का अनुकूलन करें, और ब्राउज़िंग इतिहास को गहरा करें। इस तरह के सुधारों में अक्सर इकाइयों की उपज होती है, और कभी-कभी गतिविधि में दस प्रतिशत की वृद्धि भी होती है, जबकि मॉडल को अपडेट करने और एक विशेषता को जोड़ने से अक्सर दस प्रतिशत की वृद्धि होती है।



मॉडल को अद्यतन करने के साथ प्रयोगों में एक अलग कठिनाई सामग्री का एक असंतुलन पैदा कर रही थी - "नए" मॉडल के पूर्वानुमान का वितरण अक्सर अपने पूर्ववर्ती से काफी भिन्न हो सकता है, जिसके कारण यातायात और प्रतिक्रिया का पुनर्वितरण होता है। नतीजतन, नए मॉडल की गुणवत्ता का आकलन करना मुश्किल है, क्योंकि पहले आपको सामग्री के संतुलन को जांचने की आवश्यकता है (व्यावसायिक उद्देश्यों के लिए मैट्रिक्स भार सेट करने की प्रक्रिया को दोहराएं)। फेसबुक से सहयोगियों के अनुभव का अध्ययन करने के बाद, हमने महसूस किया कि मॉडल को कैलिब्रेट करने की आवश्यकता है , और लॉजिस्टिक प्रतिगमन के शीर्ष पर आइसोटोनिक प्रतिगमन जोड़ा गया :)।

अक्सर नई सामग्री विशेषताओं को तैयार करने की प्रक्रिया में, हमने हताशा का अनुभव किया - मूल सहयोगी तकनीकों का उपयोग करने वाला एक सरल मॉडल 80%, या यहां तक ​​कि परिणाम का 90% दे सकता है, जबकि एक फैशनेबल तंत्रिका नेटवर्क, एक सप्ताह के लिए प्रशिक्षित सुपर-महंगी जीपीयू, पूरी तरह से बिल्लियों और कारों का पता लगाता है, लेकिन वृद्धि देता है केवल तीसरे अंक में मैट्रिक्स। एक समान प्रभाव अक्सर विषयगत मॉडल, फास्टटेक्स्ट और अन्य एम्बेडिंग को लागू करते समय देखा जा सकता है। हम सही कोण से सत्यापन को देखकर निराशा को दूर करने में कामयाब रहे: वस्तु के बारे में जानकारी इकट्ठा होते ही सहयोगी एल्गोरिदम के प्रदर्शन में काफी सुधार होता है, जबकि "ताज़ा" वस्तुओं के लिए सामग्री विशेषताएँ एक ठोस बढ़ावा देती हैं।

लेकिन, निश्चित रूप से, किसी दिन लॉजिस्टिक रिग्रेशन के परिणामों में सुधार किया जाना था, और हाल ही में जारी XGBoost-Spark को लागू करके प्रगति हासिल की गई थी। एकीकरण आसान नहीं था , लेकिन अंत में, मॉडल आखिरकार फैशनेबल और युवा बन गया, और मैट्रिक्स प्रतिशत में वृद्धि हुई।



निश्चित रूप से, डेटा से बहुत अधिक ज्ञान निकाला जा सकता है और टेप की रैंकिंग को एक नई ऊंचाई पर लाया जा सकता है - और आज हर किसी के पास SNA हैकथॉन 2019 प्रतियोगिता में इस गैर-तुच्छ कार्य में अपना हाथ आजमाने का अवसर है। प्रतियोगिता दो चरणों में होती है: 7 फरवरी से 15 मार्च तक, तीन कार्यों में से एक को समाधान डाउनलोड करें। 15 मार्च के बाद, इंटरमीडिएट के नतीजे घोषित किए जाएंगे, और प्रत्येक कार्य के लिए लीडरबोर्ड के शीर्ष के 15 लोगों को दूसरे चरण के लिए निमंत्रण प्राप्त होगा, जो 30 मार्च से 1 अप्रैल तक Mail.ru Group के मास्को कार्यालय में आयोजित किया जाएगा। इसके अलावा, दूसरे चरण के निमंत्रण में तीन लोग प्राप्त होंगे जो 23 फरवरी के अंत में रेटिंग की अगुवाई कर रहे हैं।

तीन कार्य क्यों हैं? ऑनलाइन चरण के भाग के रूप में, हम डेटा के तीन सेट पेश करते हैं, जिनमें से प्रत्येक केवल एक पहलू प्रस्तुत करता है: छवि, पाठ या विभिन्न सहयोगी विशेषताओं के बारे में जानकारी। और केवल दूसरे चरण में, जब विभिन्न क्षेत्रों के विशेषज्ञ एक साथ आते हैं, तो सामान्य डेटासेट प्रकट होंगे, जिससे आपको विभिन्न तरीकों के तालमेल के लिए अंक मिलेंगे।

किसी कार्य में रुचि रखते हैं? SNA हैकथॉन में शामिल हों :)