केडीडी 2018, दिन दो, कार्यशालाएं

केडीडी 2018 में आज एक संगोष्ठी दिवस है - एक बड़े सम्मेलन के साथ जो कल शुरू होता है, कई समूहों ने कुछ विशिष्ट विषयों पर श्रोताओं को इकट्ठा किया। ऐसे दो दलों के लिए किया गया।

समय श्रृंखला विश्लेषण

सुबह मैं ग्राफ विश्लेषण पर एक सेमिनार में जाना चाहता था, लेकिन उसे 45 मिनट के लिए हिरासत में लिया गया था, इसलिए मैंने समय श्रृंखला का विश्लेषण करते हुए अगले एक पर स्विच किया। अचानक, कैलिफोर्निया के एक गोरा प्रोफेसर ने "आर्टिफिशियल इंटेलिजेंस इन मेडिसिन" विषय के साथ सेमिनार खोला। अजीब बात है, क्योंकि इसके लिए अगले कमरे में एक अलग ट्रैक है। फिर यह पता चला कि उसके पास कई स्नातक छात्र हैं जो यहां समय श्रृंखला के बारे में बात करेंगे। लेकिन, वास्तव में, इस बिंदु पर।

चिकित्सा में कृत्रिम बुद्धिमत्ता

चिकित्सा त्रुटियां संयुक्त राज्य अमेरिका में 10% मौतों का कारण हैं, यह देश में मृत्यु के तीन प्रमुख कारणों में से एक है। समस्या यह है कि पर्याप्त डॉक्टर नहीं हैं; वे जो अतिभारित हैं, और कंप्यूटर डॉक्टरों के लिए समस्याएं पैदा करने की अधिक संभावना रखते हैं जो वे हल कर सकते हैं, कम से कम डॉक्टर करते हैं। हालाँकि, अधिकांश डेटा का उपयोग वास्तव में निर्णय लेने के लिए नहीं किया जाता है। यह सब लड़ना होगा। उदाहरण के लिए, एक जीवाणु, क्लोस्ट्रीडियम डिफिसाइल, अत्यधिक विषैला और दवा प्रतिरोधी है। पिछले एक साल में उसने 4 बिलियन डॉलर का नुकसान पहुंचाया है। आइए मेडिकल रिकॉर्ड की समय श्रृंखला के आधार पर संक्रमण के जोखिम का आकलन करने का प्रयास करें। पिछले कार्यों के विपरीत, हम बहुत सारे संकेत लेते हैं (हर दिन के लिए 10k वेक्टर) और प्रत्येक अस्पताल के लिए अलग-अलग मॉडल बनाएंगे (कई मायनों में, जाहिर है, एक आवश्यक उपाय, क्योंकि सभी अस्पतालों का अपना डेटा सेट है)। नतीजतन, हम 5 दिनों के बाद सीडीआई जोखिम पूर्वानुमान के साथ लगभग 0.82 एयूसी की सटीकता प्राप्त करते हैं।

यह महत्वपूर्ण है कि मॉडल सटीक, व्याख्या योग्य और मजबूत हो; हमें यह दिखाने की जरूरत है कि हम बीमारी को रोकने के लिए क्या कर सकते हैं। इस तरह के मॉडल को विषय क्षेत्र से ज्ञान का सक्रिय रूप से उपयोग करके बनाया जा सकता है। यह व्याख्यात्मकता की इच्छा है जो अक्सर सुविधाओं की संख्या को कम कर देता है और सरल मॉडल के निर्माण की ओर जाता है। लेकिन सुविधाओं के एक बड़े स्थान के साथ एक सरल मॉडल भी व्याख्याता खो देता है, और एल 1-नियमितीकरण का उपयोग अक्सर इस तथ्य की ओर जाता है कि मॉडल बेतरतीब ढंग से कोलियर सुविधाओं में से एक का चयन करता है। नतीजतन, डॉक्टर एक अच्छे एयूसी के बावजूद, मॉडल पर विश्वास नहीं करते हैं। लेखकों ने एक अलग प्रकार के नियमितीकरण EYE (विशेषज्ञ उपज अनुमान) का उपयोग करने का प्रस्ताव किया है। यह देखते हुए कि परिणाम पर प्रभाव पर ज्ञात डेटा है, यह आवश्यक सुविधाओं पर मॉडल को ध्यान में रखता है। यह अच्छे परिणाम देता है, भले ही विशेषज्ञ ने नियमितीकरण के साथ गुणवत्ता की तुलना करके, इसके अलावा, खराब कर दिया हो, आप मूल्यांकन कर सकते हैं कि विशेषज्ञ कितना सही है।



अगला, हम समय श्रृंखला के विश्लेषण के लिए आगे बढ़ते हैं। यह पता चला है कि उन में गुणवत्ता में सुधार करने के लिए यह जरूरी है कि आक्रमणकारियों की तलाश करें (वास्तव में - कुछ कैनियन फॉर्म का नेतृत्व करें)। हाल के एक लेख में, प्रोफेसरों के एक समूह ने दो दृढ़ नेटवर्क के आधार पर एक दृष्टिकोण का प्रस्ताव रखा। पहला, अनुक्रम ट्रांसफार्मर, श्रृंखला को एक विहित रूप में लाता है, और दूसरा, अनुक्रम डिकोडर, वर्गीकरण समस्या को हल करता है।



आरएनएन के बजाय सीएनएन के उपयोग को इस तथ्य से समझाया जाता है कि वे निश्चित लंबाई वाली पंक्तियों के साथ काम करते हैं। एमआईएमआईसी डेटासेट पर जांच की गई, 48 घंटे के भीतर अस्पताल में मौत की भविष्यवाणी करने की कोशिश की। परिणाम अतिरिक्त परतों के साथ सादे सीएनएन की तुलना में 0.02 एयूसी का सुधार था, लेकिन आत्मविश्वास अंतराल ओवरलैप होता है।



अब एक और कार्य: हम केवल वास्तविक श्रृंखला के आधार पर पूर्वानुमान करेंगे, बिना बाहरी संकेतों (कि खाया आदि) के बिना। यहां, टीम ने आरएनएन की जगह कई आउटपुट वाले ग्रिड के साथ कुछ कदमों की भविष्यवाणी करने के लिए आरएनएन को बदलने का प्रस्ताव किया, उनके बीच पुनरावृत्ति के बिना। इस समाधान के लिए स्पष्टीकरण यह है कि एक त्रुटि पुनरावृत्ति के दौरान जमा नहीं होती है। इस तकनीक को पिछले एक के साथ मिलाएं (आक्रमणकारियों की खोज करें)। प्रोफेसर की प्रस्तुति के तुरंत बाद, पोस्टडॉक ने इस मॉडल के बारे में विस्तार से बात की, इसलिए यहां हम केवल यह देखते हुए समाप्त करते हैं कि केवल सामान्य त्रुटि पर ही नहीं, बल्कि उच्च या निम्न ग्लूकोज के खतरनाक मामलों के त्रुटि वर्गीकरण पर भी गौर करना महत्वपूर्ण है।

मैंने मॉडल की प्रतिक्रिया के बारे में एक सवाल फेंका: जबकि यह एक खट्टा खुला सवाल है, वे कहते हैं कि हमें यह समझने की कोशिश करनी चाहिए कि हस्तक्षेप के तथ्य के परिणामस्वरूप लक्षणों के वितरण में कौन से परिवर्तन होते हैं, और जो बाहरी कारकों के कारण होने वाली प्राकृतिक बदलाव हैं। वास्तव में, इस तरह की पारियों की उपस्थिति स्थिति को बहुत जटिल करती है: मॉडल को फिर से स्थापित करना असंभव है, क्योंकि गुणवत्ता में गिरावट आ रही है, यादृच्छिक रूप से मिश्रण करना (किसी का इलाज नहीं करना और अगर यह मर जाएगा, तो यह जांचना नैतिक नहीं है), लेकिन उन आंकड़ों से सीखने के लिए जहां मॉडल की सिफारिश के अनुसार सभी का इलाज किया जाता है। पूर्वाग्रह ...

नमूना पथ निर्माण

प्रस्तुतियाँ न करने का एक उदाहरण: बहुत तेज़, सुनने में मुश्किल, और विचार को पकड़ना लगभग असंभव है। काम खुद यहां उपलब्ध है ।

लोग अपने पिछले पूर्वानुमान के परिणाम को कई कदम आगे बढ़ाते हैं। पिछले काम में दो मुख्य विचार हैं: आरएनएन के बजाय, समय में अलग-अलग बिंदुओं के लिए कई आउटपुट के साथ एक नेटवर्क का उपयोग करें, साथ ही विशिष्ट संख्याओं के बजाय हम वितरण का अनुमान लगाने और क्वांटाइल्स का मूल्यांकन करने का प्रयास करते हैं। इसे सभी MQ-RNN / CNN (बहु-क्षैतिज पूर्वानुमान क्वांटाइल प्रतिगमन) कहा जाता है।



इस बार हमने पोस्टप्रोसेसिंग का उपयोग करके पूर्वानुमान को परिष्कृत करने का प्रयास किया। दो दृष्टिकोणों पर विचार किया। पहले भाग के रूप में, हम पोस्टीरियर डेटा का उपयोग करके तंत्रिका नेटवर्क के वितरण को "जांचना" और आउटपुट और प्रेक्षणों के सहसंयोजक मैट्रिक्स को सीखने की कोशिश कर रहे हैं, तथाकथित कोवरियन श्रिंकेज। विधि काफी सरल और काम कर रही है, लेकिन मुझे और अधिक चाहिए। दूसरा तरीका "पथ नमूना" बनाने के लिए जेनरेटिव मॉडल का उपयोग करना था: वे पूर्वानुमान (GAN, VAA) के लिए जेनरेटर के दृष्टिकोण का उपयोग करते हैं। ध्वनि पीढ़ी के लिए विकसित वेवनेट की मदद से अच्छे, लेकिन अस्थिर परिणाम प्राप्त हुए।

ग्राफ संरचित नेटवर्क

तंत्रिका नेटवर्क में "विषय क्षेत्र के ज्ञान" के हस्तांतरण पर एक दिलचस्प काम । उन्होंने अंतरिक्ष में अपराध के स्तर (शहर क्षेत्रों द्वारा) और समय (दिनों और घंटों के अनुसार) की भविष्यवाणी करने के उदाहरण पर दिखाया। मुख्य कठिनाई: मजबूत विरल डेटा और दुर्लभ स्थानीय घटनाओं की उपस्थिति। नतीजतन, कई विधियां अच्छी तरह से काम नहीं करती हैं, औसतन यह अभी भी दैनिक आधार पर अनुमान लगाना संभव नहीं है, लेकिन विशिष्ट क्षेत्रों और घंटों के लिए नहीं। आइए एक तंत्रिका नेटवर्क में एक उच्च-स्तरीय संरचना और माइक्रोप्रैटर्न को संयोजित करने का प्रयास करें।

हम पोस्टल कोड का उपयोग करके एक संचार ग्राफ बनाते हैं और मल्टीवेरेट हॉक्स प्रक्रिया का उपयोग करके दूसरे पर एक के प्रभाव को निर्धारित करते हैं। अगला, प्राप्त ग्राफ के आधार पर, हम तंत्रिका नेटवर्क की टोपोलॉजी का निर्माण करते हैं, जो शहर के क्षेत्रों के ब्लॉक को एक अपराध से जोड़ता है जो एक सहसंबंध दिखाता है।



हमने दो अन्य लोगों के साथ इस दृष्टिकोण की तुलना की: एक जिले के लिए एक ग्रिड पर या समान अपराध दर वाले क्षेत्रों के समूह के लिए ग्रिड पर प्रशिक्षण, सटीकता में वृद्धि देखी गई। प्रत्येक क्षेत्र के लिए, दो पूरी तरह से जुड़े परतों के साथ एक दो-परत LSTM पेश किया जाता है।

अपराधों के अलावा, उन्होंने यातायात भविष्यवाणी पर काम के उदाहरण भी दिखाए। यहाँ, पहले से ही नेटवर्क बनाने का ग्राफ kNN द्वारा भौगोलिक रूप से लिया गया है। यह पूरी तरह से स्पष्ट नहीं है कि दूसरों के साथ उनके परिणामों की तुलना कैसे की जा सकती है (उन्होंने विश्लेषण में मीट्रिक को स्वतंत्र रूप से बदल दिया), लेकिन सामान्य तौर पर, नेटवर्क बनाने के लिए अनुमानी पर्याप्त दिखता है।

पहनावा पूर्वानुमान के लिए गैरपारंपरिक दृष्टिकोण

एन्सेम्बल एक बहुत लोकप्रिय विषय है, लेकिन व्यक्तिगत पूर्वानुमान से परिणाम कैसे प्राप्त करें यह हमेशा स्पष्ट नहीं होता है। अपने काम में, लेखक एक नया दृष्टिकोण प्रस्तावित करते हैं।

अक्सर सरल पहनावा बेहतर काम करता है, और भी बेहतर। न्यूफ़ैंगल्ड बेयसियन मॉडल की तुलना में औसत और औसत-एनएन। प्रतिगमन भी बुरा नहीं है, लेकिन अक्सर वजन चुनने के संदर्भ में अजीब परिणाम देता है (उदाहरण के लिए, यह कुछ पूर्वानुमानों को एक नकारात्मक वजन देगा, आदि)। वास्तव में, इसका कारण अक्सर इस तथ्य में निहित है कि एकत्रीकरण विधि कुछ अनुमानों का उपयोग करती है कि पूर्वानुमान त्रुटि कैसे वितरित की जाती है (उदाहरण के लिए, गॉस या सामान्य के अनुसार), लेकिन जब इसका उपयोग किया जाता है, तो वे इस धारणा को जांचना भूल जाते हैं। लेखकों ने एक धारणा-मुक्त दृष्टिकोण का प्रस्ताव करने का प्रयास किया।

हम दो यादृच्छिक प्रक्रियाओं पर विचार करते हैं: डेटा जनरेशन प्रोसेस (DGP) मॉडल वास्तविकता और समय पर निर्भर कर सकते हैं, और पूर्वानुमान निर्माण प्रक्रिया (FGP) पूर्वानुमानों के निर्माण का मॉडल बनाते हैं (उनमें से कई हैं - एक प्रति सदस्य सदस्य)। इन दो प्रक्रियाओं के बीच का अंतर भी एक यादृच्छिक प्रक्रिया है, जिसे हम विश्लेषण करने का प्रयास करेंगे।

1. हम ऐतिहासिक डेटा एकत्र करते हैं और कर्नेल घनत्व अनुमान का उपयोग करते हुए भविष्यवाणियों के लिए त्रुटि वितरण घनत्व का निर्माण करते हैं ।
2. अगला, हम एक पूर्वानुमान का निर्माण करते हैं और इसे निर्मित त्रुटि को जोड़कर एक यादृच्छिक चर में बदल देते हैं।
3. तब हम संभावना को अधिकतम करने की समस्या को हल करते हैं।

परिणामस्वरूप विधि एक गॉसियन त्रुटि के साथ ईएमओएस (एनसेम्बल मॉडल आउटपुट सांख्यिकी) के समान है और गैर-गॉसियन के साथ बहुत बेहतर है। अक्सर वास्तविकता में, उदाहरण के लिए, ( विकिपीडिया पेज ट्रैफिक डेटासेट ) एक गैर-गौसियन त्रुटि है।

नेस्टेड LSTM: स्थान-आधारित सामाजिक नेटवर्क में मॉडलिंग वर्गीकरण और अस्थायी गतिशीलता

यह कार्य Google के लेखकों द्वारा प्रस्तुत किया गया है। हम अगले उपयोगकर्ता चेक की भविष्यवाणी करने की कोशिश कर रहे हैं। हाल के चेकिंस और स्थानों के मेटाडेटा के इतिहास का उपयोग करते हुए, सबसे पहले, टैग / श्रेणियों से उनका संबंध। श्रेणियां तीन-स्तरीय हैं, हम दो ऊपरी स्तरों का उपयोग करते हैं: मूल श्रेणी उपयोगकर्ता के इरादे (उदाहरण के लिए, खाने की इच्छा) का वर्णन करती है, और बाल श्रेणी उपयोगकर्ता की वरीयताओं का वर्णन करती है (उदाहरण के लिए, उपयोगकर्ता स्पेनिश भोजन पसंद करता है)। अगले चेक की सहायक श्रेणी को ऑनलाइन विज्ञापन से अधिक आय प्राप्त करने के लिए दिखाया जाना चाहिए।

हम दो नेस्टेड LSTM का उपयोग करते हैं: ऊपरी एक, हमेशा की तरह, चेक के अनुक्रम के अनुसार, और नेस्टेड - श्रेणी के पेड़ में माता-पिता से बच्चे तक संक्रमण के अनुसार।



कच्ची श्रेणी के एम्बेडिंग वाले साधारण एलएसटीएम की तुलना में यह 5-7% बेहतर है। इसके अलावा, हमने दिखाया कि श्रेणी के पेड़ में LSTM संक्रमण जंक्शन साधारण लोगों की तुलना में अधिक सुंदर दिखते हैं और बेहतर क्लस्टर होते हैं।

इवोल्यूशनरी सिमेंटिक स्पेस में बदलाव की पहचान

चीनी प्रोफेसर के हंसमुख पर्याप्त भाषण। लब्बोलुआब यह समझने की कोशिश करना है कि शब्द अपने अर्थ को कैसे बदलते हैं।

अब हर कोई सफलतापूर्वक शब्द एम्बेडिंग का प्रशिक्षण ले रहा है, वे अच्छी तरह से काम करते हैं, लेकिन अलग-अलग समय पर प्रशिक्षित किया जाना तुलना के लिए उपयुक्त नहीं है - आपको सब कुछ करने की आवश्यकता है।

• आप पुराने को आरंभीकरण के लिए ले जा सकते हैं, लेकिन यह गारंटी नहीं देता है।
• आप परिवर्तन के लिए परिवर्तन फ़ंक्शन सीख सकते हैं, लेकिन यह हमेशा काम नहीं करता है, क्योंकि आयाम हमेशा समान रूप से साझा नहीं किए जाते हैं।
• और आप टोपोलॉजिकल का उपयोग कर सकते हैं, वेक्टर स्पेस का नहीं!

अंत में, समाधान का सार: हम अर्थ में परिवर्तन का आकलन करने के लिए विभिन्न अवधियों में शब्द के पड़ोसियों में एक knNN ग्राफ का निर्माण करते हैं, और यह समझने की कोशिश करते हैं कि क्या कोई महत्वपूर्ण बदलाव है। इसके लिए हम बायेसियन सरप्राइज मॉडल का इस्तेमाल करते हैं। वास्तव में, हम एक परिकल्पना (पूर्व) के वितरण के केएल विचलन को देखते हैं और टिप्पणियों के पीछे एक परिकल्पना (पीछे) - यह एक आश्चर्य है। शब्दों और cnn रेखांकन के साथ, हम पूर्व-वितरण के रूप में अतीत में पड़ोसियों की आवृत्तियों के आधार पर Dirichlet का उपयोग करते हैं और हाल के इतिहास में वास्तविक बहुराष्ट्रीय के साथ इसकी तुलना करते हैं। कुल:

• हमने कहानी को काट दिया।
• हम एम्बेडिंग का निर्माण करते हैं (आरंभीकरण के संरक्षण के साथ लाइन)।
• हम एम्बेड पर KNN पर विचार करते हैं।
• आश्चर्य की सराहना करते हैं।

हम एक ही आवृत्ति के साथ दो यादृच्छिक शब्द लेते हैं, और एक दूसरे को स्वैप करते हैं - एक आश्चर्य के रूप में गुणवत्ता में वृद्धि 80% है। फिर हम अर्थ के ज्ञात बहाव के साथ 21 शब्द लेते हैं और देखते हैं कि क्या हम उन्हें स्वचालित रूप से पा सकते हैं। खुले स्रोतों में अभी तक इस दृष्टिकोण का विस्तृत विवरण नहीं है, लेकिन SIGIR 2018 में एक है ।

AdKDD और TargetAd

दोपहर के भोजन के बाद, मैं ऑनलाइन विज्ञापन पर एक सेमिनार में गया। उद्योग से कई और स्पीकर हैं और हर कोई सोच रहा है कि अधिक पैसा कैसे बनाया जाए।

एयरबीएनबी में विज्ञापन तकनीक

एक बड़ी डीएस टीम के साथ एक बड़ी कंपनी होने के नाते, AirBnB बाहरी साइटों पर खुद को और इसके आंतरिक प्रस्तावों को सही ढंग से बढ़ावा देने में काफी निवेश करता है। डेवलपर्स में से एक ने चुनौतियों के बारे में थोड़ी बात की।

आइए एक खोज इंजन में विज्ञापन के साथ शुरू करें: जब Google पर होटल खोजते हैं, तो पहले दो पृष्ठ विज्ञापन होते हैं :( लेकिन उपयोगकर्ता अक्सर इसे भी नहीं समझता है, क्योंकि विज्ञापन बहुत प्रासंगिक है। मानक योजना: हम कीवर्ड द्वारा विज्ञापन के लिए अनुरोध से मेल खाते हैं और हमें पैटर्न / पैटर्न का अर्थ मिलता है। शहर, सस्ता या विलासिता, आदि)

उम्मीदवारों के चयन के बाद, हम उनके बीच एक नीलामी की व्यवस्था करते हैं (अब सामान्यीकृत दूसरी कीमत का उपयोग हर जगह किया जाता है)। नीलामी में भाग लेते समय, लक्ष्य एक क्लिक और आय की संभावना के संयोजन के साथ एक मॉडल का उपयोग करके, एक निश्चित बजट पर प्रभाव को अधिकतम करना है: बोली = पी (क्लिक करें। खोज क्वेरी) * बुकिंग मूल्य। एक महत्वपूर्ण बिंदु: सभी पैसे बहुत जल्दी खर्च न करें, इसलिए Spend pacer जोड़ें।

AirBnB में A / B परीक्षणों के लिए एक शक्तिशाली प्रणाली है, लेकिन इसे यहाँ लागू नहीं किया जा सकता है, क्योंकि यह Google की अधिकांश प्रक्रिया को नियंत्रित करता है। वहां उन्होंने विज्ञापनदाताओं के लिए अधिक उपकरण जोड़ने का वादा किया, बड़े खिलाड़ी वास्तव में आगे देख रहे हैं।

अलग समस्या: कई स्थानों पर विज्ञापन के साथ उपयोगकर्ता का संपर्क। हम औसतन एक वर्ष में कई बार यात्रा करते हैं, यात्रा और बुकिंग तैयार करने का चक्र बहुत लंबा होता है (सप्ताह और यहां तक ​​कि महीने), ऐसे कई चैनल हैं जहां हम उपयोगकर्ता तक पहुंच सकते हैं, और हमें चैनल द्वारा बजट को विभाजित करने की आवश्यकता है। यह विषय बहुत दर्दनाक है, सरल तरीके हैं (रैखिक रूप से, सावधानीपूर्वक, अंतिम क्लिक के द्वारा या उत्थान परीक्षण के परिणामों से)। AirBnB ने दो नए तरीकों की कोशिश की: मार्कोव मॉडल और शालेली मॉडल पर आधारित।

मार्कोव मॉडल के साथ, सब कुछ कम या ज्यादा स्पष्ट है: हम एक असतत श्रृंखला का निर्माण कर रहे हैं, नोड्स जिसमें विज्ञापन के साथ संपर्क के बिंदु हैं, रूपांतरण के लिए एक नोड भी है। आंकड़ों के अनुसार, हम संक्रमण के लिए वज़न चुनते हैं, उन नोड्स को अधिक बजट देते हैं जहां संक्रमण की संभावना अधिक होती है। मैंने उन्हें एक प्रश्न फेंक दिया: एक सरल मार्कोव श्रृंखला का उपयोग क्यों करें, जबकि एमडीपी का उपयोग करना अधिक तर्कसंगत है; उन्होंने कहा कि वे इस विषय पर काम कर रहे हैं।

यह शेफ़ी के साथ अधिक दिलचस्प है: वास्तव में, यह additive प्रभाव के मूल्यांकन के लिए एक लंबी-ज्ञात योजना है, जिसमें प्रभावों के विभिन्न संयोजनों पर विचार किया जाता है, उनमें से प्रत्येक के प्रभाव का मूल्यांकन किया जाता है, और फिर प्रत्येक व्यक्तिगत प्रभाव के लिए एक निश्चित समुच्चय निर्धारित किया जाता है। कठिनाई यह है कि प्रभावों (कम अक्सर प्रतिपक्षी) के बीच तालमेल हो सकता है, और परिणाम का योग परिणाम के योग के बराबर नहीं है। सामान्य तौर पर, एक दिलचस्प और सुंदर सिद्धांत, मैं आपको पढ़ने की सलाह देता हूं।

AirBnB के मामले में, Shapley मॉडल का अनुप्रयोग कुछ इस तरह दिखता है:

• हम प्रभाव के विभिन्न संयोजनों और वास्तविक परिणाम के साथ मनाया डेटा उदाहरणों में है।
• एमएल का उपयोग करके डेटा में अंतराल को भरें (सभी संयोजन प्रस्तुत नहीं किए गए हैं)।
• हम प्रत्येक प्रकार के Shapley प्रभाव के लिए ऋण की गणना करते हैं।

Microsoft: पुशिंग {AI} सीमाएँ

इसके बारे में थोड़ा आगे। चूंकि Microsoft विज्ञापन में लगा हुआ है, अब साइट की तरफ से, मुख्य रूप से बिंग। थोड़ा वध:

• विज्ञापन बाजार बहुत तेजी से (तेजी से) बढ़ रहा है।
• एक पृष्ठ पर विज्ञापन एक दूसरे को नरभक्षण करते हैं, आपको पूरे पृष्ठ का विश्लेषण करने की आवश्यकता होती है।
• कुछ पृष्ठों पर रूपांतरण अधिक है, इस तथ्य के बावजूद कि CTP बदतर है।

बिंग विज्ञापन इंजन में लगभग 70 मॉडल हैं, 2000 प्रयोग ऑफ़लाइन, 400 ऑनलाइन। हर हफ्ते प्लेटफॉर्म में एक महत्वपूर्ण बदलाव। सामान्य तौर पर, वे अथक परिश्रम करते हैं। प्लेटफॉर्म में क्या बदलाव हैं:

• एक मीट्रिक का मिथक: यह उस तरह से काम नहीं करता है, जैसे मेट्रिक्स बढ़ते हैं और प्रतिस्पर्धा करते हैं।
• हमने एनएलपी से डीएल तक विज्ञापन मिलान अनुरोधों की प्रणाली को फिर से डिज़ाइन किया, जिसकी गणना FPGA पर की जाती है।
• वे संघीय मॉडल और प्रासंगिक डाकुओं का उपयोग करते हैं: आंतरिक मॉडल संभावना और अनिश्चितता पैदा करते हैं, ऊपर से डाकू एक निर्णय लेता है। उसने डाकुओं के बारे में बहुत सारी बातें कीं, उनका उपयोग मॉडल लॉन्च करने और क्रूज़िंग गति से लॉन्च करने के लिए किया जाता है, वे इस तथ्य को दरकिनार करते हैं कि अक्सर मॉडल में सुधार करने से आय कम होती है :(
• अनिश्चितता का मूल्यांकन करना बहुत महत्वपूर्ण है (ठीक है, हाँ, इसके बिना आप एक बैंडिट का निर्माण नहीं कर सकते हैं)।
• छोटे विज्ञापनदाताओं के लिए, डाकुओं के माध्यम से विज्ञापन देने वाली संस्था काम नहीं करती है, बहुत कम आँकड़े हैं, ठंड शुरू करने के लिए अलग मॉडल बनाना आवश्यक है।
• उपयोगकर्ताओं के विभिन्न समूहों पर प्रदर्शन की निगरानी करना महत्वपूर्ण है, उनके पास प्रयोग के परिणामों के अनुसार टुकड़ा करने की स्वचालित प्रणाली है।

हमने बहिर्वाह विश्लेषण के बारे में थोड़ी बात की। हमेशा बहिर्वाह के कारणों के बारे में विक्रेताओं की परिकल्पना सही नहीं होती है, आपको गहरी खुदाई करने की आवश्यकता होती है। ऐसा करने के लिए, आपको व्याख्यात्मक मॉडल (या पूर्वानुमान को समझाने के लिए एक विशेष मॉडल) का निर्माण करना होगा और बहुत कुछ सोचना होगा। और फिर प्रयोग करो। लेकिन बहिर्वाह के साथ प्रयोग करना हमेशा मुश्किल होता है, वे दूसरे क्रम के मेट्रिक्स और Google के एक लेख का उपयोग करने की सलाह देते हैं।

वे वाणिज्यिक ज्ञान ग्राफ के रूप में ऐसी चीज का भी उपयोग करते हैं, जो विषय क्षेत्र का वर्णन करता है: ब्रांड, उत्पाद, आदि। ग्राफ पूरी तरह से स्वचालित रूप से बनाया गया है, बिना अनपेक्षित। ब्रांडों को श्रेणियों के साथ चिह्नित किया जाता है, यह महत्वपूर्ण है, क्योंकि सामान्य तौर पर ब्रांड को अलग-थलग करने के लिए हमेशा अनपेक्षित रूप से संभव नहीं होता है, लेकिन एक निश्चित श्रेणी-विषय के भीतर संकेत अधिक मजबूत होता है। दुर्भाग्य से, मुझे उनकी विधि से खुले काम नहीं मिले।

Google विज्ञापन

वही दोस्त जो कल काउंट्स के बारे में बात करता था, बताता है कि सब कुछ उतना ही दुखद और घमंडी है। कई विषयों पर चला।

भाग एक: मजबूत स्टोचस्टिक विज्ञापन आवंटन। हमारे पास नोड्स (विज्ञापन) और ऑनलाइन नोड्स (उपयोगकर्ता) हैं, और उनके बीच कुछ वजन भी हैं। अब आपको यह चुनने की आवश्यकता है कि नया नोड दिखाने के लिए कौन से विज्ञापन हैं। आप इसे लालच से (हमेशा अधिकतम वजन के द्वारा) कर सकते हैं, लेकिन फिर हम समय से पहले बजट निकालने और अप्रभावी समाधान प्राप्त करने का जोखिम चलाते हैं (सैद्धांतिक सीमा इष्टतम का 1/2 है)। आप इससे अलग-अलग तरीकों से निपट सकते हैं, वास्तव में, यहां हमारे पास एक पारंपरिक संघर्ष है जो कि बदला और कुशासन के बीच है।

आवंटन पद्धति का चयन करते समय, कोई वितरण के अनुसार ऑनलाइन नोड्स की उपस्थिति का एक यादृच्छिक क्रम मान सकता है, लेकिन व्यवहार में एक प्रतिकूल आदेश (यानी कुछ विपरीत प्रभाव वाले तत्वों के साथ) भी हो सकता है। इन मामलों में विधियां अलग हैं, वे अपने नवीनतम लेखों के लिंक प्रदान करते हैं: 1 और 2 ।

भाग दो: ग्रहणशील-जागरूक सीखने / मजबूत मूल्य निर्धारण। अब हम विज्ञापन साइटों की आय बढ़ाने के लिए आरक्षण मूल्य चुनने के सवाल को हल करने की कोशिश कर रहे हैं। हम आरक्षण के साथ संपर्क के मामले में पहली कीमत की नीलामी के लिए अन्य नीलामी जैसे कि मायरसन नीलामी , BINTAC , रोलबैक के उपयोग पर भी विचार करते हैं। वे विवरण में नहीं जाते हैं, वे अपने लेख में भेजते हैं।

भाग तीन: ऑनलाइन बंडलिंग। फिर, हम बढ़ती आय की समस्या को हल करते हैं, लेकिन अब हम दूसरी तरफ से जाते हैं। यदि आप थोक (ऑफलाइन बंडल) में विज्ञापन खरीद सकते हैं, तो कई स्थितियों में आप अधिक इष्टतम समाधान की पेशकश कर सकते हैं। लेकिन आप इसे ऑनलाइन नीलामी में नहीं कर सकते हैं, आपको मेमोरी के साथ जटिल मॉडल बनाने की जरूरत है, और कठोर परिस्थितियों में आरटीबी इसे पसंद नहीं करता है।

फिर एक जादू मॉडल दिखाई देता है, जहां सभी मेमोरी एक अंक (बैंक खाते) में कम हो जाती है, लेकिन समय समाप्त हो रहा है, और स्पीकर को स्लाइड्स के माध्यम से फेंटना शुरू होता है। , , .

Deep Policy optimization by Alibaba

«sponsored search». RL, — . .

offline- , , online-, .



CTR , DDPG .



- , « »:

• .
• , .
• ?

Criteo Large Scale Benchmark for Uplift Modeling

( ). Criteo Criteo-UPLIFT1 (450 ) .

. -, , ( ). — (, ).

? . - , — , (AUUC). Qini- ( Gini ), Qini, .

. : , . .

revert label. , , , , ; . , , .

, . .

Deep Net with Attention for Multi-Touch Attribution

, , Adobe . , , ! , attention- LSTM, . LSTM- .



, attention- .

निष्कर्ष

तब ब्लॉकबस्टर ट्रेलरों की सबसे अच्छी परंपरा में एक IMAX वीडियो के साथ एक पाथोस उद्घाटन सत्र था, सभी को धन्यवाद, जिन्होंने इस सभी को व्यवस्थित करने में मदद की - सभी मामलों में एक रिकॉर्ड केडीडी (प्रायोजन में $ 1.2 मिलियन सहित), लॉर्ड बाइट्स के साथ बिदाई शब्द (नवाचार मंत्री) यूके) और एक पोस्टर सत्र जिसके लिए अब कोई ताकत नहीं है। हमें कल की तैयारी करनी चाहिए।