केडीडी 2018, दिन तीन, मुख्य कार्यक्रम

आज, अंत में, सम्मेलन का मुख्य कार्यक्रम शुरू हो गया है। इस वर्ष स्वीकृति दर केवल 8% थी, अर्थात सबसे अच्छे से अच्छा होना चाहिए। एप्लाइड और शोध प्रवाह स्पष्ट रूप से अलग हो गए हैं, साथ ही कई अलग-अलग संबंधित गतिविधियां हैं। एप्लाइड स्ट्रीम अधिक दिलचस्प लगती हैं, रिपोर्ट मुख्य रूप से बड़ी कंपनियों (गूगल, अमेज़ॅन, अलीबाबा, आदि) से हैं। मैं आपको उन प्रदर्शनों के बारे में बताऊंगा, जिन्हें मैं शामिल करने में कामयाब रहा।

अच्छे के लिए डेटा

दिन की शुरुआत पर्याप्त रूप से लंबी प्रस्तुति के साथ हुई कि डेटा को उपयोगी और अच्छे के लिए इस्तेमाल किया जाना चाहिए। कैलिफोर्निया विश्वविद्यालय में एक प्रोफेसर बोल रहे हैं (यह ध्यान देने योग्य है कि केडीडी में बहुत सारी महिलाएं हैं, दोनों छात्रों और वक्ताओं के बीच)। यह सब संक्षिप्त विवरण में व्यक्त किया गया है:

• निष्पक्षता - मॉडल के पूर्वानुमान में कोई पूर्वाग्रह नहीं, सब कुछ लिंग-तटस्थ और सहनशील है।
• व्यवहार्यता - मशीन द्वारा किए गए निर्णयों के लिए जिम्मेदार कोई या कुछ होना चाहिए।
• पारदर्शिता - पारदर्शिता और निर्णयों की व्याख्या।
• नैतिकता - डेटा के साथ काम करते समय, नैतिकता और गोपनीयता पर विशेष जोर दिया जाना चाहिए।
• सुरक्षा और सुरक्षा - सिस्टम सुरक्षित होना चाहिए (हानिकारक नहीं) और संरक्षित (बाहर से जोड़ तोड़ प्रभाव के लिए प्रतिरोधी)

यह घोषणापत्र, दुर्भाग्य से, एक इच्छा व्यक्त करता है और वास्तविकता के साथ कमजोर रूप से जुड़ा हुआ है। मॉडल केवल राजनीतिक रूप से सही होगा यदि सभी संकेत इसे से हटा दिए जाते हैं; किसी विशिष्ट व्यक्ति को स्थानांतरित करने की जिम्मेदारी हमेशा बहुत कठिन होती है; इसके अलावा डीएस विकसित होता है, मॉडल के अंदर क्या चल रहा है इसकी व्याख्या करना जितना मुश्किल है; नैतिकता और गोपनीयता पर, पहले दिन कुछ अच्छे उदाहरण थे, लेकिन अन्यथा, डेटा को अक्सर काफी स्वतंत्र रूप से व्यवहार किया जाता है।

ठीक है, लेकिन यह स्वीकार नहीं किया जाता है कि आधुनिक मॉडल अक्सर सुरक्षित नहीं होते हैं (एक ऑटोपायलट एक ड्राइवर के साथ कार को खोद सकता है) और संरक्षित नहीं हैं (आप उदाहरणों को चुन सकते हैं जो एक तंत्रिका नेटवर्क के काम को तोड़ते हैं, यहां तक ​​कि नेटवर्क कैसे काम करता है यह जानने के बिना)। DeepExplore द्वारा हाल ही में एक दिलचस्प काम: तंत्रिका नेटवर्क में भेद्यता की खोज करने के लिए एक प्रणाली उत्पन्न होती है, अन्य चीजों के बीच, चित्र जो ऑटोपायलट को गलत तरीके से संचालित करते हैं।



निम्नलिखित डेटा विज्ञान की एक और परिभाषा है "डीएस मान मूल्य डेटा निकालने का अध्ययन है"। सिद्धांत रूप में, बहुत अच्छा। भाषण की शुरुआत में, स्पीकर ने विशेष रूप से उल्लेख किया कि डीएस अक्सर केवल विश्लेषण के क्षण से डेटा को देखते हैं, जबकि पूर्ण जीवन चक्र बहुत व्यापक है, और यह, अन्य बातों के अलावा, परिभाषा में परिलक्षित हुआ था।

खैर, प्रयोगशाला के काम के कुछ उदाहरण थे।

फिर से हम परिणाम पर कई कारकों के प्रभाव का आकलन करने के कार्य का विश्लेषण करेंगे, लेकिन विज्ञापन की स्थिति से नहीं, बल्कि सामान्य रूप से। एक लेख अभी तक प्रकाशित नहीं हुआ है। उदाहरण के लिए, एक अच्छा बॉक्स ऑफिस इकट्ठा करने के लिए फिल्म के लिए किन अभिनेताओं को चुनना है, इस पर विचार करें। हम उच्चतम कमाई वाली फिल्मों की अभिनय सूची का विश्लेषण करते हैं और प्रत्येक अभिनेता के योगदान की भविष्यवाणी करने का प्रयास करते हैं। लेकिन! तथाकथित कन्फ़्यूडर हैं जो प्रभावित करते हैं कि एक अभिनेता कितना प्रभावी होगा (उदाहरण के लिए, स्टेलोन एक थ्रैश एक्शन फिल्म में अच्छी तरह से चलेगा, लेकिन रोमांटिक कॉमेडी में नहीं)। सही को चुनने के लिए, आपको सभी कंफ़्यूडर को खोजने और उनका मूल्यांकन करने की आवश्यकता है, लेकिन हम कभी भी सुनिश्चित नहीं होंगे कि हमने सभी को ढूंढ लिया है। दरअसल, लेख एक नए दृष्टिकोण का प्रस्ताव करता है - डिकॉनफ़ाउंडर। कन्फ़्यूडर को हाइलाइट करने के बजाय, हम स्पष्ट रूप से अव्यक्त चर का परिचय देते हैं और उन्हें एक असुरक्षित मोड में मूल्यांकन करते हैं, और फिर हम उनके आधार पर मॉडल का अध्ययन करते हैं। यह सब काफी अजीब लगता है, क्योंकि यह एम्बेडिंग के एक साधारण संस्करण की तरह लगता है, नया क्या स्पष्ट नहीं है।

कुछ सुंदर चित्र दिखाए गए थे, उनके विश्वविद्यालय एआई आदि के उदाहरण आगे बढ़ रहे हैं।

ई-कॉमर्स और प्रोफाइलिंग

वाणिज्य पर आवेदन अनुभाग के लिए चला गया। शुरुआत में कुछ बहुत दिलचस्प रिपोर्टें थीं, अंत में दलिया की एक निश्चित मात्रा थी, लेकिन पहले चीजें पहले।

नई उपयोगकर्ता मॉडलिंग और मंथन भविष्यवाणी

आउटफ्लो की भविष्यवाणी पर स्नैपचैट का दिलचस्प काम । लोग इस विचार का उपयोग करते हैं, जिसे हमने लगभग 4 साल पहले सफलतापूर्वक चलाया था: बहिर्वाह की भविष्यवाणी करने से पहले, उपयोगकर्ताओं को व्यवहार के प्रकार के अनुसार समूहों में विभाजित होने की आवश्यकता होती है। उसी समय, उन कार्यों के प्रकारों से वेक्टर स्थान, जो बहुत खराब हो गए थे, केवल कुछ प्रकार के इंटरैक्शन में से (हम, नियत समय में, तीन सौ से डेढ़ तक स्थानांतरित करने के लिए संकेतों का चयन करना था), लेकिन वे अतिरिक्त आंकड़ों के साथ अंतरिक्ष को समृद्ध करते हैं और इसे समय श्रृंखला के रूप में मानते हैं। नतीजतन, क्लस्टर्स प्राप्त नहीं होते हैं कि उपयोगकर्ता क्या करते हैं, लेकिन वे इसे कितनी बार करते हैं।



एक महत्वपूर्ण अवलोकन: नेटवर्क में 1.7 मिलियन लोगों के आकार के साथ सबसे अधिक कसकर जुड़े और सक्रिय उपयोगकर्ताओं का "कोर" है। उसी समय, उपयोगकर्ता का व्यवहार और प्रतिधारण बहुत कुछ इस बात पर निर्भर करता है कि वह "कोर" से किसी के साथ संवाद कर सकता है या नहीं।

फिर हम एक मॉडल बनाना शुरू करते हैं। आइए एक पखवाड़े (511 हजार), सरल सुविधाओं और अहंकार नेटवर्किंग (आकार और घनत्व) में नए लोगों को लें, और देखें कि क्या वे "कोर", आदि से जुड़े हैं। हम LSTM के साथ उपयोगकर्ता के व्यवहार को फ़ीड करते हैं और लॉगग्रॉ की तुलना में थोड़ा अधिक (7-8%) की तुलना में बहिर्वाह पूर्वानुमान की सटीकता प्राप्त करते हैं। लेकिन फिर मज़ा शुरू होता है। व्यक्तिगत समूहों की विशिष्टताओं को ध्यान में रखने के लिए, हम समानांतर में कई LSTM को प्रशिक्षित करेंगे, और हम ऊपर से एक ध्यान परत को संलग्न करेंगे। नतीजतन, इस तरह की योजना दोनों क्लस्टरिंग पर काम करना शुरू कर देती है (जो कि एलएसटीएम पर ध्यान दिया गया था) और बहिर्वाह पूर्वानुमान पर। यह गुणवत्ता में एक और + 5-7% वृद्धि देता है, और लॉगजीआर पहले से ही पीला दिखता है। लेकिन! वास्तव में, इसकी तुलना खंडों के लिए अलग से प्रशिक्षित एक लॉगजीआर के साथ करना उचित होगा (जो सरल तरीकों से प्राप्त किया जा सकता है)।



मैंने व्याख्या करने के बारे में पूछा: आखिरकार, अक्सर पूर्वानुमान लगाने का अनुमान लगाया जाता है कि पूर्वानुमान प्राप्त करने के लिए नहीं, बल्कि यह समझने के लिए कि इसका क्या प्रभाव पड़ता है। स्पीकर इस प्रश्न के लिए स्पष्ट रूप से तैयार था: इसके लिए, समर्पित समूहों का उपयोग और विश्लेषण किया जाता है, उन लोगों की तुलना में जहां बहिर्वाह के पूर्वानुमान अधिक होते हैं, वे दूसरों से अलग होते हैं।

यूनिवर्सल उपयोगकर्ता प्रतिनिधित्व

अलीबाबा लोग उपयोगकर्ता संघों के निर्माण के बारे में बात करते हैं। यह पता चला है कि कई उपयोगकर्ता प्रस्तुतियाँ खराब हैं: कई को अंतिम रूप नहीं दिया गया है, बलों को बर्बाद कर दिया गया है। वे एक सार्वभौमिक प्रस्तुति बनाने और यह दिखाने में कामयाब रहे कि यह बेहतर काम करता है। तंत्रिका नेटवर्क पर स्वाभाविक रूप से। वास्तुकला काफी मानक है, पहले से ही एक या दूसरे रूप में सम्मेलन में बार-बार वर्णित किया गया है। उपयोगकर्ता के व्यवहार के तथ्यों को इनपुट में खिलाया जाता है, हम उन पर निर्माण करते हैं, यह सब LSTM को देते हैं, शीर्ष पर एक ध्यान परत लटकाते हैं, और इसके आगे स्थैतिक विशेषताओं के लिए एक अतिरिक्त ग्रिड, मल्टीटास्क के साथ मुकुट (वास्तव में, एक विशिष्ट कार्य के लिए कई छोटे ग्रिड) । हम यह सब एक साथ प्रशिक्षित करते हैं, ध्यान के साथ आउटपुट उपयोगकर्ता का एम्बेडिंग होगा।



कई और अधिक जटिल जोड़ हैं: सरल ध्यान के अलावा, वे "गहराई से" ध्यान जाल जोड़ते हैं, और LSTM के एक संशोधित संस्करण का भी उपयोग करते हैं - संपत्ति GST LSTM



कार्य जिन पर यह सब चलता है: CTR भविष्यवाणी, मूल्य वरीयता भविष्यवाणी, रैंक सीखना, भविष्यवाणी के बाद फैशन, दुकान वरीयता प्राथमिकता। 10 दिनों के लिए डेटासेट में प्रशिक्षण के लिए 6 * 10 ⁹ उदाहरण शामिल हैं।



तब एक अप्रत्याशित व्यक्ति था: वे यह सब TensorFlow, 2000 मशीनों पर सीपीयू क्लस्टर पर 15 कोर के साथ प्रशिक्षित करते हैं, 10 दिनों के लिए डेटा को पूरा करने में 4 दिन लगते हैं। इसलिए, वे दिन-प्रतिदिन (इस क्लस्टर पर 10 घंटे) के बाद फिर से जारी रखना चाहते हैं। GPU / FPGA के बारे में मेरे पास पूछने का समय नहीं है :(। एक नया कार्य जोड़ना या तो एक संपूर्ण के रूप में या फिर एक उथले ग्रिड (netwrok फाइन ट्यूनिंग) के पुनः उपयोग के माध्यम से किया जाता है। अनुमान के अनुसार रनवे में, वे प्रतिनिधित्व के लिए स्टोर करते हैं (विशिष्ट उपयोगकर्ताओं के लिए ध्यान के साथ आउटपुट) और केवल ग्रिड के प्रमुखों के लिए गणना की जाती है। विशिष्ट कार्यों ए / बी परीक्षण में विभिन्न संकेतकों के लिए 2-3% की वृद्धि देखी गई।

ई-टेल उत्पाद रिटर्न भविष्यवाणी

वे खरीद के बाद उपयोगकर्ता द्वारा माल की वापसी की भविष्यवाणी करते हैं, काम आईबीएम द्वारा प्रस्तुत किया जाता है। दुर्भाग्य से, अब तक खुली पहुंच का कोई पाठ नहीं है। माल लौटना एक गंभीर मुद्दा है जिसकी कीमत 200 बिलियन डॉलर प्रति वर्ष है। रिटर्न के पूर्वानुमान का निर्माण करने के लिए, वह हाइपरग्राफ के एक मॉडल का उपयोग करता है जो उत्पादों और बास्केट को जोड़ता है, इस टोकरी का उपयोग करके वे हाइपरग्राफ द्वारा निकटतम लोगों को खोजने की कोशिश करते हैं, जिसके बाद वे रिटर्न की संभावना का अनुमान लगाते हैं। वापसी को रोकने के लिए, एक ऑनलाइन स्टोर में कई संभावनाएं हैं, उदाहरण के लिए, टोकरी से कुछ उत्पादों को हटाने के लिए छूट की पेशकश करना।

हमने तुरंत नोट किया कि डुप्लिकेट के साथ बास्केट के बीच एक महत्वपूर्ण अंतर है (उदाहरण के लिए, विभिन्न आकारों के दो समान टी-शर्ट) और बिना इसलिए, हमें तुरंत इन दो मामलों के लिए अलग-अलग मॉडल बनाने होंगे।

सामान्य एल्गोरिथ्म को हाइपरहाउस कहा जाता है:

• हम उपयोगकर्ता, उत्पाद, टोकरी की जानकारी के साथ खरीद और रिटर्न का प्रतिनिधित्व करने के लिए एक हाइपरग्राफ का निर्माण कर रहे हैं।
• इसके बाद, हम पूर्वानुमान के लिए स्थानीय जानकारी प्राप्त करने के लिए रैंडम वॉक पर आधारित स्थानीय ग्राफ कट का उपयोग करते हैं।
• हम अलग-अलग टोकरियों पर विचार करते हैं और बिना ले जाते हैं।
• हम टोकरी में एक व्यक्तिगत उत्पाद के प्रभाव का आकलन करने के लिए बेयसियन विधियों का उपयोग करते हैं।

बास्केट के लिए KNN के साथ वापसी के पूर्वानुमान की गुणवत्ता की तुलना करें, जैक्वार्ड KNN के अनुसार भारित, डुप्लिकेट की संख्या से राशनिंग, हम परिणाम में वृद्धि प्राप्त करते हैं। GitHub की एक लिंक स्लाइड पर फ़्लिकर की गई, लेकिन वे अपने स्रोत को नहीं खोज सके, और लेख में कोई लिंक नहीं है।

ओपनटैग: उत्पाद प्रोफाइल से ओपन एट्रीब्यूट वैल्यू एक्सट्रैक्शन

अमेज़न से दिलचस्प काम चुनौती: एलेक्सा के लिए सवालों के बेहतर जवाब देने के लिए विभिन्न तथ्य। वे कहते हैं कि सब कुछ कितना जटिल है, पुरानी प्रणालियों को पता नहीं है कि नए शब्दों के साथ कैसे काम किया जाए, अक्सर बड़ी संख्या में हस्तलिखित नियमों और आंकड़ों की आवश्यकता होती है, परिणाम बहुत सारे होते हैं। बेशक, पहले से ही परिचित एम्बेड-एलएसटीएम-ध्यान वास्तुकला के साथ तंत्रिका नेटवर्क सभी समस्याओं को हल करने में मदद करेंगे, लेकिन हम एलएसटीएम को दोगुना कर देंगे, और हम शीर्ष पर सशर्त यादृच्छिक क्षेत्र भी रोल करेंगे।



हम शब्दों के अनुक्रम को टैग करने की समस्या को हल करेंगे। टैग दिखाएगा कि हम कुछ विशेषताओं के उदाहरणों को कैसे शुरू करते हैं और समाप्त करते हैं (उदाहरण के लिए, कुत्ते के भोजन का स्वाद और संरचना), और LSTM उन्हें भविष्यवाणी करने की कोशिश करेगा। मैकेनिकल तुर्क के लिए एक रोटी और एक अभिशाप के रूप में, सक्रिय मॉडल प्रशिक्षण का उपयोग किया जाता है। उन उदाहरणों का चयन करने के लिए जिन्हें आगे मार्कअप के लिए भेजे जाने की आवश्यकता है, "उन उदाहरणों को लेने के लिए हेयुरिस्टिक का उपयोग करें जहां टैग सबसे अधिक बार मिटाए जाने के बीच स्वैप करते हैं"।

ई-कॉमर्स में लर्निंग और ट्रांसफ़रिंग आईडी प्रतिनिधित्व

अपने काम में, अलीबाबा के सहकर्मी फिर से बिल्डिंग एम्बेडिंग के मुद्दे पर लौटते हैं, इस बार न केवल उपयोगकर्ताओं को देख रहे हैं, बल्कि सिद्धांत रूप में आईडी: उत्पादों, ब्रांडों, श्रेणियों, उपयोगकर्ताओं, आदि के लिए। इंटरैक्शन सत्र का उपयोग डेटा स्रोत के रूप में किया जाता है, और अतिरिक्त विशेषताओं को भी ध्यान में रखा जाता है। स्किपग्राम का उपयोग मुख्य एल्गोरिथ्म के रूप में किया जाता है।



स्पीकर के पास एक मजबूत चीनी उच्चारण के साथ बहुत भारी उच्चारण है, यह समझने के लिए कि क्या हो रहा है लगभग असंभव है। काम के "ट्रिक्स" में से एक सूचना के अभाव के साथ प्रतिनिधित्व को स्थानांतरित करने का यांत्रिकी है, उदाहरण के लिए, आइटम से उपयोगकर्ता के लिए औसत के माध्यम से (जल्दी से, आपको पूरे मॉडल को सीखने की आवश्यकता नहीं है)। पुरानी वस्तुओं से, आप नए (जाहिरा तौर पर सामग्री समानता द्वारा) को इनिशियलाइज़ कर सकते हैं, साथ ही उपयोगकर्ता के दृश्य को एक डोमेन (इलेक्ट्रॉनिक्स) से दूसरे (कपड़े) में स्थानांतरित कर सकते हैं।



कुल मिलाकर, यह पूरी तरह से स्पष्ट नहीं है कि नवीनता यहाँ कहाँ है, जाहिर है, विवरण को खोदने की आवश्यकता है; इसके अलावा, यह स्पष्ट नहीं है कि यह उपयोगकर्ताओं की एकीकृत अभ्यावेदन के बारे में पिछली कहानी से कैसे तुलना करता है।

वेब-आधारित रैंकिंग समस्याओं के लिए ऑनलाइन पैरामीटर चयन

लिंक्डइन पर दोस्तों से बहुत दिलचस्प काम । काम का सार ऑनलाइन एल्गोरिथ्म ऑपरेशन के इष्टतम मापदंडों का चयन करना है, कई प्रतिस्पर्धी लक्ष्यों को ध्यान में रखते हुए। एक गुंजाइश के रूप में, टेप पर विचार करें और कुछ प्रकार के सत्रों की संख्या बढ़ाने की कोशिश करें:

• कुछ वायरल एक्शन (वीए) के साथ सत्र।
• सबमिशन सत्र (JA) को फिर से शुरू करें।
• फ़ीड (EFS) सत्र में सामग्री सहभागिता।

एल्गोरिथ्म में रैंकिंग फ़ंक्शन इन तीन लक्ष्यों के लिए रूपांतरण पूर्वानुमान का एक भारित औसत है। वास्तव में, वज़न वे पैरामीटर हैं जिन्हें हम ऑनलाइन अनुकूलित करने का प्रयास करेंगे। प्रारंभ में, वे एक व्यावसायिक कार्य को "दो सत्रों को कम से कम एक निश्चित स्तर पर बनाए रखते हुए वायरस सत्रों की संख्या को अधिकतम करते हुए" बनाते हैं, लेकिन फिर वे अनुकूलन की आसानी के लिए उन्हें थोड़ा बदल देते हैं।



हम डेटा को द्विपद वितरण के एक सेट के साथ अनुकरण करते हैं (उपयोगकर्ता वांछित लक्ष्य में परिवर्तित हो जाएगा या नहीं, कुछ मापदंडों के साथ टेप को देखा है), जहां दिए गए मापदंडों के साथ सफलता की संभावना एक गाऊसी प्रक्रिया है (प्रत्येक प्रकार के रूपांतरण के लिए स्वयं)। अगला, हम इष्टतम मापदंडों (न केवल ऑनलाइन, बल्कि ऐतिहासिक डेटा पर ऑफ़लाइन, इसलिए लंबे समय के लिए) का चयन करने के लिए "अनंत रूप से बीहड़ " डाकुओं के साथ थॉम्पसन नमूना का उपयोग करते हैं। वे कुछ सुझाव देते हैं: प्रारंभिक ग्रिड बनाने के लिए बोल्ड पॉइंट का उपयोग करें और एप्सिलॉन-लालची नमूना जोड़ना सुनिश्चित करें (अंतरिक्ष में यादृच्छिक बिंदु की कोशिश करने वाले एप्सिलॉन की संभावना के साथ), अन्यथा आप वैश्विक अधिकतम को अनदेखा कर सकते हैं।

वे एक घंटे में एक बार ऑफ़लाइन नमूने लेने का अनुकरण करते हैं (आपको नमूनों की बहुत आवश्यकता है), परिणाम इष्टतम मापदंडों का एक निश्चित वितरण है। इसके अलावा, जब कोई उपयोगकर्ता इस वितरण से प्रवेश करता है, तो वे टेप के निर्माण के लिए विशिष्ट पैरामीटर लेते हैं (यह आरंभीकरण के लिए उपयोगकर्ता आईडी से बीज के साथ लगातार ऐसा करना महत्वपूर्ण है ताकि उपयोगकर्ता का टेप मौलिक रूप से न बदले)।



ए / बी प्रयोग के परिणामों के अनुसार, उन्होंने रिज्यूमे 12% और पसंद 3% द्वारा भेजने में वृद्धि प्राप्त की। कुछ अवलोकन साझा करें:

• मॉडल से अधिक जानकारी जोड़ने की कोशिश करने से अधिक नमूना लेना आसान है (उदाहरण के लिए, सप्ताह / घंटे का दिन)।
• हम इस दृष्टिकोण में लक्ष्यों की स्वतंत्रता मानते हैं, लेकिन यह स्पष्ट नहीं है कि यह है (बल्कि, नहीं)। हालाँकि, दृष्टिकोण काम करता है।
• व्यवसाय को लक्ष्य और सीमा निर्धारित करनी चाहिए।
• किसी व्यक्ति को प्रक्रिया से बाहर करना महत्वपूर्ण है और उसे कुछ उपयोगी करने दें।

गतिविधि आधारित अधिसूचना के वास्तविक समय अनुकूलन के पास

लिंक्डइन से एक और काम , इस बार सूचनाओं के प्रबंधन के बारे में। हमारे पास लोगों, घटनाओं, वितरण चैनलों और लंबी अवधि के लक्ष्यों को शिकायतों के रूप में महत्वपूर्ण नकारात्मकता के बिना उपयोगकर्ता की व्यस्तता बढ़ाने के लिए है और धक्का-मुक्की से हटा दिया गया है। कार्य महत्वपूर्ण और कठिन है, और आपको सही सब कुछ करने की आवश्यकता है: सही लोगों को सही समय पर सही चैनल और सही मात्रा में सही सामग्री भेजने के लिए।



ऊपर की तस्वीर में सिस्टम की वास्तुकला, जो कुछ हो रहा है उसका सार निम्नलिखित है:

• हम इनपुट पर किसी भी स्पैम को फ़िल्टर करते हैं।
• सही लोग: हर किसी के लिए एक हेलमेट है जो लेखक / सामग्री के साथ दृढ़ता से जुड़ा हुआ है, संचार, प्रबंधन और प्रासंगिकता की ताकत पर सीमा को संतुलित करता है।
• सही समय: तुरंत सामग्री भेजें, जिसके लिए समय महत्वपूर्ण है (दोस्तों की घटनाएं), बाकी को कम गतिशील चैनलों के लिए रखा जा सकता है।
• सही सामग्री: लॉगजीआर का उपयोग करें! संकेतों के ढेर पर एक क्लिक का पूर्वानुमान मॉडल बनाया जाता है, अलग से उस मामले के लिए जब कोई व्यक्ति आवेदन में होता है और जब नहीं।
• सही चैनल: हम प्रासंगिकता के लिए अलग थ्रेसहोल्ड सेट करते हैं, पुश करने के लिए सबसे कठोर, कम - यदि उपयोगकर्ता अब एप्लिकेशन में है, तो भी कम है - मेल के लिए (इसमें सभी प्रकार के डिजीज / विज्ञापन शामिल हैं)।
• सही मात्रा: खतना मॉडल मात्रा के अनुसार आउटपुट पर है, यह प्रासंगिकता को भी देखता है, इसे व्यक्तिगत रूप से करने की सिफारिश की जाती है (एक अच्छा सीमावर्ती अनुमान पिछले कुछ दिनों में भेजे गए ऑब्जेक्ट का न्यूनतम स्कोर है)

ए / बी टेस्ट में सत्रों की संख्या में कुछ प्रतिशत की वृद्धि हुई।

Airbnb पर खोज रैंकिंग के लिए एंबेडिंग का उपयोग करके वास्तविक समय का निजीकरण

और वह AirBnB का सबसे अच्छा एप्लीकेशन पेपर था। उद्देश्य: समान प्लेसमेंट और खोज परिणामों के जारी करने का अनुकूलन करना। हम समानता का मूल्यांकन करने के लिए एक स्थान पर प्लेसमेंट और उपयोगकर्ताओं के एम्बेडिंग के निर्माण के माध्यम से निर्णय लेते हैं। यह याद रखना महत्वपूर्ण है कि एक दीर्घकालिक इतिहास (उपयोगकर्ता प्राथमिकताएं) और अल्पकालिक (वर्तमान उपयोगकर्ता / सत्र आशय) है।

आगे की हलचल के बिना, हम खोज सत्र (एक सत्र - एक दस्तावेज़) में क्लिक अनुक्रमों पर word2vec प्लेसमेंट बनाने के लिए उपयोग करते हैं। लेकिन हम अभी भी कुछ संशोधन (केडीडी, सब के बाद) करते हैं:

• हम उस सत्र को लेते हैं जिसके दौरान आरक्षण था।
• अंततः क्या आरक्षित है, हम w2v अद्यतन के दौरान सत्र के सभी तत्वों के लिए एक वैश्विक संदर्भ के रूप में रखते हैं।
• प्रशिक्षण में नकारात्मकता का नमूना उसी शहर में है।

ऐसे मॉडल की प्रभावशीलता तीन मानक तरीकों से जाँच की जाती है:

• ऑफ़लाइन जांचें: हम कितनी जल्दी सही सत्र को खोज सत्र में बढ़ा सकते हैं।
• मूल्यांकनकर्ताओं द्वारा परीक्षण: समान लोगों को देखने के लिए एक विशेष उपकरण बनाया गया।
• ए / बी परीक्षण: स्पॉइलर, सीटीआर में काफी वृद्धि हुई है, बुकिंग में वृद्धि नहीं हुई है, लेकिन अब वे पहले होते हैं

हम न केवल समय से पहले खोज परिणामों के परिणामों को रैंक करने का प्रयास करते हैं, बल्कि प्रतिक्रिया प्राप्त होने पर (इसलिए वास्तविक समय) पुन: व्यवस्थित करने के लिए - एक वाक्य पर एक क्लिक और दूसरे को अनदेखा करते हैं। दृष्टिकोण दो समूहों में क्लिक किए गए और उपेक्षित स्थानों को इकट्ठा करने के लिए है, प्रत्येक सेंट्रोइड में एम्बेडिंग का पता लगाएं (एक विशेष सूत्र है), और फिर रैंकिंग में हम क्लिकों की तरह बढ़ाते हैं, जैसे कि कम होते हैं।

ए / बी परीक्षण में बुकिंग में वृद्धि हुई, दृष्टिकोण समय की कसौटी पर खड़ा था: इसका आविष्कार डेढ़ साल पहले किया गया था और अभी भी उत्पादन में घूम रहा है।

और अगर आपको दूसरे शहर में देखने की जरूरत है? आप क्लिक द्वारा प्राथमिकता नहीं दे पाएंगे, इस निपटान में स्थानों के लिए उपयोगकर्ताओं के रवैये के बारे में कोई जानकारी नहीं है। इस समस्या को दरकिनार करने के लिए, हम "सामग्री एम्बेडिंग" की शुरुआत करते हैं। सबसे पहले, हम लगभग 500 हजार प्रकारों (स्थानों और लोगों के लिए) के आकार का एक सरल असतत स्थान (सस्ते / महंगे, केंद्र / बाहरी इलाके में आदि) बनाएंगे। अगला, हम टाइप करके एम्बेडिंग बनाते हैं। जब सीखना पुनर्वित्त पर स्पष्ट नकारात्मक जोड़ना नहीं भूलता है (जब स्थान के मालिक ने आरक्षण की पुष्टि नहीं की है)।

वेब-स्केल अनुशंसाकर्ता सिस्टम के लिए ग्राफ संवैधानिक तंत्रिका नेटवर्क

पिंस की सिफारिश पर Pinterest से काम करें । हम द्विदलीय ग्राफ उपयोगकर्ता पिनों पर विचार करते हैं और सिफारिशों में नेटवर्क सुविधाओं को जोड़ते हैं। ग्राफ बहुत बड़ा है - 3 बिलियन पिन, 16 बिलियन इंटरैक्शन; शास्त्रीय ग्राफ एंबेड नहीं बनाया जा सकता है। , GraphSAGE , ( , message passing), PinSAGE . , , .



« »:

• max margin loss.
• CPU/GPU: CPU ( GPU ) GPU. , .
• , random walk-.
• Curriculum Learning: hard negative-. .
• Map reduce, .

, , . , /-.

Q&R: A Two-Stage Approach Toward Interactive Recommendation

« , , ?» — YouTube . : « ?». «» (, , YouTube , ).

YouTube Video-RNN, ID . , ID , (post fusion). (- - GRU , LSTM LSTM).



7 , 8-, . , 8 % , --. /- interleaving- +0,7 % , +1,23 % .

: 18 % , +4 % .

Graph and social nets

, , , .

Graph Classification using Structural Attention

, « ». , , . , , .

, LSTM , attention-, , . . , , , .

: , , . attention, , LSTM self-attention, ( ). «», , .



, baseline — . , TreeLSTM .

SpotLight: Detecting Anomalies in Streaming Graphs

, , -, , . « ». , , .

«» . - - , .



: , . . . , / .

, . labeled DARPA dataset . , baseline- (.. ).

Adversarial Attacks on Graph Networks

. Adversary , , ..: / . , — ( — )? .

, :

• «» .
• «» .
• «» .
• , (poisoning).

. , , , — . . .

, unnoticeability: , ?

Multi-Round Influence maximization

. , , .

, ( , ).

-- :

• : , .
• : , .
• - : inffluencer- . , .

Reverse-Reachable sets: inffluencer-, , .

EvoGraph: An Effective and Efficient Graph Upscaling Method for Preserving Graph Properties

. , , .

, , power law. , , «» , : «» .



, , . .

data science . वास्तव में। , . .

All models are wrong, but some are useful — data science, , , . «» ( , , adversarial ..)

www.embo.org/news/articles/2015/the-numbers-speak-for-themselves — (overfitting, selection bias, , ..)

1762 The Equitable Life Assurance Society , .

अब बीमा कंपनियों के पास एक कठिन समय है: 2011 में, लिंग के आधार पर भेदभाव को अंततः प्रतिबंधित कर दिया गया था, अब लिंग को बीमा में ध्यान में नहीं रखा जा सकता है (जो कि बहुत मुश्किल है - भले ही आप स्पष्ट रूप से "लिंग" सुविधा को छिपाते हैं, मॉडल अन्य कारणों से इसे अनुमानित करने की संभावना है)। इससे ब्रिटेन में एक दिलचस्प प्रभाव पड़ा:

• महिलाएं अधिक सटीकता से गाड़ी चलाती हैं और दुर्घटनाओं की संभावना कम होती है, इसलिए बीमा उनके लिए सस्ता था।
• समतल करने के बाद, महिलाओं के लिए बीमा की लागत बढ़ी और पुरुषों के लिए गिर गई।
• बाजार काम करता है: नतीजतन, सड़कों पर अधिक पुरुष और कम महिलाएं हैं।
• चूंकि सड़कों पर ड्राइवरों की औसत "सटीकता" कम हो गई, इसलिए अधिक दुर्घटनाएं हुईं।
• जिसके बाद निश्चित रूप से बीमा की कीमत बढ़ने लगी।
• ट्रैवलिंग इंश्योरेंस ने नीट ड्राइवरों को और भी मुश्किल से धोना शुरू किया।

नतीजतन, उन्हें "मृत्यु सर्पिल" मिला।

यह थीम दिन के शुरुआती प्रदर्शन को गूँजती है। एफ - निष्पक्षता, यह कुछ अप्राप्य बादल महल है। एमएल मॉडल विशेषताओं के स्थान में अलग-अलग उदाहरणों (लोगों सहित) को सीखते हैं, इसलिए वे परिभाषा के अनुसार "निष्पक्ष" नहीं हो सकते हैं।