केडीडी 2018, डे फोर, नोबेल पुरस्कार विजेता

मुख्य केडीडी कार्यक्रम का दूसरा दिन। फिर से कटौती के तहत, बहुत सारी दिलचस्प चीजें: पानी के पाइप में खुदाई करने के लिए पिंटरेस्ट पर मशीन सीखने से लेकर कई तरीके। अर्थशास्त्र में नोबेल पुरस्कार विजेता के भाषण सहित - नासा कैसे टेलीमेट्री के साथ काम करता है, और कई ग्राफ एम्बेडिंग के बारे में एक कहानी :)

मार्केट डिजाइन और कम्प्यूटरीकृत मार्केटप्लेस

नोबेल पुरस्कार विजेता ने एक अच्छा प्रदर्शन किया, जिन्होंने बाजारों में शैले के साथ काम किया। बाजार एक कृत्रिम चीज है, जिसके उपकरण लोग लेकर आते हैं। तथाकथित कमोडिटी बाजार हैं, जब आप एक निश्चित उत्पाद खरीदते हैं और आप परवाह नहीं करते हैं, तो यह केवल उसी कीमत पर मायने रखता है (उदाहरण के लिए, शेयर बाजार)। और ऐसे मिलान वाले बाजार हैं जब कीमत एकमात्र कारक नहीं है (और कभी-कभी यह बिल्कुल भी नहीं है)।

उदाहरण के लिए, स्कूलों में बच्चों का वितरण। इससे पहले, यूएसए में, योजना इस तरह से काम करती थी: माता-पिता प्राथमिकता (1, 2, 3, आदि) द्वारा स्कूलों की सूची लिखते हैं, स्कूल पहले उन लोगों पर विचार करते हैं जिन्होंने उन्हें नंबर 1 के रूप में इंगित किया है, उन्हें अपने स्कूल के मानदंडों के अनुसार क्रमबद्ध करें और जितना वे ले सकते हैं उतना ही लें। । उन लोगों के लिए जो हिट नहीं हुए, हम दूसरा स्कूल लेते हैं और प्रक्रिया को दोहराते हैं। गेम थ्योरी के दृष्टिकोण से, योजना बहुत खराब है: माता-पिता को "रणनीतिक" व्यवहार करना पड़ता है, यह ईमानदारी से उनकी प्राथमिकताओं को कहने के लिए अव्यावहारिक है - यदि आप स्कूल 1 में नहीं आते हैं, तो दूसरे दौर में, स्कूल 2 पहले से ही पूर्ण हो सकता है और आप इसमें नहीं पहुंचेंगे। भले ही आपकी विशेषताएँ उन लोगों से अधिक हों, जिन्हें पहले दौर में स्वीकार किया गया था। व्यवहार में, खेल के सिद्धांत का अनादर भ्रष्टाचार और माता-पिता और स्कूलों के बीच आंतरिक समझौतों में बदल जाता है। गणितज्ञों ने एक और एल्गोरिथ्म प्रस्तावित किया है - "आस्थगित स्वीकृति"। मुख्य विचार यह है कि स्कूल तुरंत सहमति नहीं देता है, लेकिन केवल "स्मृति में" उम्मीदवारों की एक रैंक सूची रखता है, और यदि कोई पूंछ से परे जाता है, तो उसे तुरंत मना कर दिया जाता है। इस मामले में, माता-पिता के लिए एक प्रमुख रणनीति है: पहले हम 1 स्कूल जाते हैं, अगर किसी बिंदु पर हमें मना कर दिया जाता है, तो हम स्कूल 2 में जाते हैं और कुछ भी खोने से डरते नहीं हैं - स्कूल 2 में आने की संभावनाएं वैसी ही होती हैं जैसे कि इसमें गए थे एकदम से। यह योजना “उत्पादन” में लागू की गई थी, हालाँकि। ए / बी परीक्षण के परिणाम रिपोर्ट नहीं किए गए थे।

एक और उदाहरण है किडनी प्रत्यारोपण। कई अन्य अंगों के विपरीत, आप एक किडनी के साथ रह सकते हैं, इसलिए एक स्थिति अक्सर उत्पन्न होती है कि कोई व्यक्ति किसी अन्य व्यक्ति को किडनी देने के लिए तैयार है, लेकिन सार नहीं है, लेकिन विशिष्ट (व्यक्तिगत संबंधों के कारण)। हालांकि, दाता और प्राप्तकर्ता संगत होने की संभावना बहुत कम है, और आपको किसी अन्य अंग के लिए इंतजार करना होगा। एक विकल्प है - गुर्दा विनिमय। यदि दो जोड़े एक दाता और एक प्राप्तकर्ता हैं और अंदर असंगत हैं, लेकिन जोड़े के बीच संगत है, तो आप विनिमय कर सकते हैं: निष्कर्षण / आरोपण के 4 एक साथ संचालन। सिस्टम पहले से ही इसके लिए काम करता है। और अगर कोई "मुक्त" अंग है जो एक विशिष्ट जोड़ी से बंधा नहीं है, तो यह एक्सचेंजों की एक पूरी श्रृंखला को जन्म दे सकता है (व्यवहार में 30 प्रत्यारोपण तक की श्रृंखलाएं थीं)।

अब इसी तरह के बहुत सारे मिलान वाले बाजार हैं: उबेर से ऑनलाइन विज्ञापन बाजार तक, और कम्प्यूटरीकरण के कारण सब कुछ बहुत जल्दी बदल जाता है। अन्य बातों के अलावा, "गोपनीयता" बहुत बदल रही है: एक उदाहरण के रूप में, स्पीकर ने एक छात्र द्वारा एक अध्ययन का हवाला दिया, जिसमें दिखाया गया था कि चुनाव के बाद संयुक्त राज्य अमेरिका में, विभिन्न राजनीतिक विचारों वाले राज्यों के बीच यात्राओं के कारण थैंक्सगिविंग पर यात्रा की संख्या कम हो गई। अध्ययन फोन निर्देशांक के एक अनाम डेटासेट पर आयोजित किया गया था, लेकिन लेखक ने फोन मालिक के "घर" की पहचान आसानी से कर ली, बेनामी डेटासेट।

अलग से, स्पीकर तकनीकी बेरोजगारी पर चले गए। हां, मानव रहित कारें उनमें से कई को वंचित कर देंगी (अमेरिका में नौकरियों का 6% जोखिम में है), लेकिन वे नई नौकरियां (ऑटो यांत्रिकी के लिए) बनाएंगे। बेशक, बुजुर्ग ड्राइवर अब पीछे हटने में सक्षम नहीं होगा और उसके लिए यह एक मजबूत झटका होगा। ऐसे क्षणों में, आपको इस पर ध्यान केंद्रित करने की आवश्यकता है कि परिवर्तनों को कैसे रोका जाए (यह काम नहीं करेगा), लेकिन कैसे संभव हो सके लोगों को उनके माध्यम से दर्द रहित तरीके से मदद करने के लिए। पिछली शताब्दी के मध्य में, कृषि के मशीनीकरण के दौरान, बहुत से लोगों ने अपनी नौकरी खो दी, लेकिन हमें खुशी है कि अब आधी आबादी को खेत में काम करने के लिए नहीं जाना पड़ता है? दुर्भाग्य से, यह केवल उन लोगों के लिए लागू शमन विकल्पों की बात है जो तकनीकी बेरोजगारी का सामना कर रहे हैं, स्पीकर ने सुझाव नहीं दिया ...

और हाँ, फिर से निष्पक्षता के बारे में। पूर्वानुमान मॉडल के वितरण को सभी समूहों में समान करना असंभव है, मॉडल अपना अर्थ खो देगा। सिद्धांत रूप में, क्या किया जा सकता है, ताकि सभी समूहों के लिए पहली और दूसरी तरह के ERRORS का वितरण समान हो? यह पहले से ही बहुत अधिक समझदार लग रहा है, लेकिन व्यवहार में इसे कैसे प्राप्त किया जाए यह स्पष्ट नहीं है। उन्होंने कानूनी अभ्यास पर एक दिलचस्प लेख का लिंक दिया - संयुक्त राज्य अमेरिका में, एक न्यायाधीश ने फैसला किया कि एमएल के पूर्वानुमान के आधार पर जमानत पर रिहा किया जाए या नहीं।

सिफारिश करने वाले मैं

मैं शेड्यूल में भ्रमित हो गया और गलत भाषण के लिए आया, लेकिन अभी भी इस विषय में - सिफारिश प्रणालियों पर पहला ब्लॉक।

सह-ध्यान तंत्र के साथ शीर्ष एन सिफारिश के लिए मेटा-पथ आधारित संदर्भ का उत्तोलन

लोग ग्राफ़ में पथों का विश्लेषण करके सिफारिशों को बेहतर बनाने की कोशिश कर रहे हैं । विचार काफी सरल है। वस्तुओं और उपयोगकर्ताओं के लिए एम्बेडिंग और शीर्ष पर पूरी तरह से जुड़ा हुआ भाग के साथ एक "क्लासिक" न्यूरल नेटवर्क अनुशंसा है। ग्राफ पर सिफारिशें हैं, जिनमें तंत्रिका नेटवर्क मार्कअप वाले भी शामिल हैं। आइए इस सभी को एक तंत्र में संयोजित करने का प्रयास करें। आइए एक "मेटा-ग्राफ" का निर्माण शुरू करें, जो उपयोगकर्ताओं, फिल्मों और विशेषताओं (अभिनेता / निर्देशक / शैली, आदि) को एकजुट करता है। यादृच्छिक वॉक-ओम ग्राफ पर हम कई रास्तों का नमूना लेते हैं, इसे कन्वेंशन नेटवर्क को खिलाते हैं, साइड पर उपयोगकर्ता एम्बेड जोड़ते हैं और ऑब्जेक्ट, और ओवर हम ध्यान देते हैं (यहां अलग-अलग शाखाओं के लिए अपनी विशेषताओं के साथ, थोड़ा मुश्किल है)। अंतिम उत्तर प्राप्त करने के लिए, शीर्ष पर दो छिपी परतों के साथ एक परसेप्ट्रान डालें।

उपभोक्ता इंटरनेट अनुप्रयोग

रिपोर्टों के बीच विराम में, मैं उस प्रस्तुति पर जाता हूं जहां मैं मूल रूप से चाहता था: लिंक्डइन, पिनटेरेस्ट और अमेज़ॅन के अतिथि वक्ता यहां बोलते हैं। सभी लड़कियों और डीएस विभागों के सभी प्रमुख।

सक्रिय समुदायों के लिए नेरलीन प्रासंगिक संदर्भ लिंक्डइन

लब्बोलुआब यह है कि लिंक्डइन पर सामुदायिक विकास और सक्रियण को प्रोत्साहित करना। मैं विकास के बारे में आधे से चूक गया, आखिरी सिफारिश: स्थानीय पैटर्न का फायदा उठाने के लिए। उदाहरण के लिए, भारत में, स्नातक होने के बाद छात्र अक्सर स्थापित पाठ्यक्रम के साथ पिछले पाठ्यक्रमों से उसी विश्वविद्यालय के स्नातकों से संपर्क करने की कोशिश करते हैं। लिंक्डइन निर्माण करते समय और सिफारिशें करते समय इसे ध्यान में रखता है।

लेकिन सिर्फ एक समुदाय बनाना पर्याप्त नहीं है, यह आवश्यक है कि गतिविधि हो: उपयोगकर्ता सामग्री प्रकाशित करते हैं, प्रतिक्रिया प्राप्त करते हैं और प्रतिक्रिया देते हैं। भविष्य में प्रकाशनों की संख्या के साथ प्राप्त प्रतिक्रिया का सहसंबंध दिखाएं। दिखाएँ कि जानकारी पूरे ग्राफ़ में कैसे कैस्केड की जाती है। लेकिन अगर कैस्केड में एक नोड शामिल नहीं है तो क्या होगा? नोटिस भेजें!

तब सूचनाओं और टेप के साथ काम करने के बारे में कल की कहानी के साथ बहुत सारी बातचीत हुई। यहां वे बहु-उद्देश्य अनुकूलन दृष्टिकोण का उपयोग करते हैं "कुछ सीमाओं के भीतर दूसरों को ध्यान में रखते हुए मैट्रिक्स में से एक को अधिकतम करना"। लोड को नियंत्रित करने के लिए, हमने अपना एयर ट्रैफ़िक कंट्रोल सिस्टम शुरू किया, जो प्रति उपयोगकर्ता सूचनाओं पर लोड को सीमित करता है (वे भागीदारी को छोड़ने के बिना 20% तक सदस्यता समाप्त करने और सक्षम करने में सक्षम थे)। ATC यह तय करता है कि उपयोगकर्ता को पुश भेजा जा सकता है या नहीं, और यह धक्का Concourse नामक एक अन्य प्रणाली द्वारा तैयार किया जाता है, जो स्ट्रीमिंग मोड में काम करता है (जैसे हमारा, Samza पर!)। यह उसके बारे में था कि कल बहुत कुछ बताया गया था। कॉनकोर्स में बीहाइव के नाम से एक ऑफ़लाइन साथी भी है, लेकिन धीरे-धीरे यह तेजी से स्ट्रीमिंग हो रहा है।

कुछ और बिंदुओं पर ध्यान दिया गया:

• कई चैनलों और सामग्री की उपस्थिति को देखते हुए, डेडुपिलेशन महत्वपूर्ण और उच्च गुणवत्ता वाला है।
• एक प्लेटफॉर्म होना जरूरी है। और उनके पास एक समर्पित मंच टीम है, और प्रोग्रामर वहां काम करते हैं।

मशीन सीखने के लिए Pinterest दृष्टिकोण

एक Pinterest प्रवक्ता अब बोलता है और दो बड़े कार्यों के बारे में बात करता है जो एमएल - फीड (होमफीड) का उपयोग करते हैं और खोज करते हैं। स्पीकर तुरंत कहता है कि अंतिम उत्पाद न केवल डेटा वैज्ञानिकों के काम का नतीजा है, बल्कि एमएल इंजीनियरों और प्रोग्रामर का भी है - लोगों को इन सभी को आवंटित किया गया है।

टेप (ऐसी स्थिति जब उपयोगकर्ता का कोई इरादा नहीं है) निम्न मॉडल के अनुसार बनाया गया है:

• हम उपयोगकर्ता को समझते हैं - हम प्रोफ़ाइल, ग्राफ़, पिंस के साथ बातचीत (जो मैंने देखा कि मैंने किक की थी) से जानकारी का उपयोग करते हैं, हम व्यवहार और विशेषताओं के अनुसार एम्बेडिंग का निर्माण करते हैं।
• हम सामग्री को समझते हैं - हम इसे सभी पहलुओं में देखते हैं: दृश्य, शाब्दिक, लेखक कौन है, कौन से बोर्ड शामिल होते हैं, कौन प्रतिक्रिया करता है। यह याद रखना बहुत महत्वपूर्ण है कि एक तस्वीर में लोग अक्सर अलग-अलग चीजें देखते हैं: किसी के पास डिजाइन में नीले रंग का उच्चारण है, किसी के पास एक चिमनी है, और किसी के पास रसोई है।
• यह सब एक साथ रखना - एक तीन-चरण प्रक्रिया: हम उम्मीदवारों (सिफारिशों + सदस्यता) को उत्पन्न करते हैं, निजीकृत करते हैं (रैंकिंग मॉडल का उपयोग करते हुए), और नीतियों और व्यावसायिक नियमों के अनुसार मिश्रण करते हैं।

सिफारिशों के लिए, वे उपयोगकर्ता-बोर्ड-पिन ग्राफ के तहत एक यादृच्छिक चलने का उपयोग करते हैं, वे पिनसैज का परिचय देते हैं, जिसके बारे में उन्होंने कल बात की थी । वैयक्तिकरण मॉडल और GBDT के माध्यम से एक तंत्रिका नेटवर्क (2017 से) के माध्यम से निजीकरण समय-छँटाई से विकसित हुआ है। अंतिम सूची एकत्र करते समय, व्यापार नियमों के बारे में नहीं भूलना महत्वपूर्ण है: ताजगी, विविधता, अतिरिक्त फिल्टर। हमने उत्तराधिकार के साथ शुरुआत की, अब हम लक्ष्य के संबंध में समग्र रूप से संदर्भ अनुकूलन मॉडल की ओर बढ़ रहे हैं।

एक खोज स्थिति में (जब कोई इरादा होता है) वे थोड़ा अलग तरीके से आगे बढ़ते हैं: वे इरादे को बेहतर ढंग से समझने की कोशिश करते हैं। ऐसा करने के लिए, क्वेरी समझ और क्वेरी विस्तार तकनीकों का उपयोग करें, और विस्तार न केवल ऑटो-पूर्ण द्वारा किया जाता है, बल्कि एक सुंदर दृश्य नेविगेशन के माध्यम से किया जाता है। वे चित्रों और ग्रंथों के साथ काम करने के लिए विभिन्न तकनीकों का उपयोग करते हैं। हमने 2014 में गहरी शिक्षा के बिना शुरुआत की, 2015 में गहन सीखने के साथ विजुअल सर्च लॉन्च किया, 2016 में अर्थ विश्लेषण और खोज के साथ ऑब्जेक्ट डिटेक्शन जोड़ा, हाल ही में लेंस सेवा शुरू की - आप इस विषय पर स्मार्टफोन के कैमरे को इंगित करते हैं और पिन प्राप्त करते हैं। गहन सीखने में, वे सक्रिय रूप से बहु कार्य का उपयोग करते हैं: एक सामान्य ब्लॉक है जो छवि एम्बेडिंग बनाता है। और विभिन्न समस्याओं को हल करने के लिए शीर्ष पर अन्य नेटवर्क।

इन कार्यों के अलावा, एमएल का उपयोग बहुत अधिक किया जाता है: सूचनाएं / विज्ञापन / स्पैम / पूर्वानुमान, आदि।

सीखा सबक के बारे में थोड़ा:

• हमें पूर्वाग्रहों के बारे में याद रखना चाहिए, सबसे खतरनाक "अमीर हो अमीर" (पहले से ही लोकप्रिय यातायात को स्थानांतरित करने के लिए मशीन सीखने की प्रवृत्ति)।
• परीक्षण और निगरानी करना अनिवार्य है: पहले तो ग्रिड के कार्यान्वयन ने सभी संकेतकों को बहुत ढहा दिया, फिर यह पता चला कि बग के कारण सुविधाओं का वितरण लंबे समय तक चला था और ऑनलाइन दिखाई दिए।
• इन्फ्रास्ट्रक्चर और प्लेटफ़ॉर्म बहुत महत्वपूर्ण हैं, प्रयोगों की सुविधा और समानांतरकरण पर विशेष जोर देने के साथ, लेकिन आपको प्रयोगों को ऑफ़लाइन काटने में सक्षम होना चाहिए।
• मेट्रिक्स और समझ: ऑफ़लाइन ऑनलाइन गारंटी नहीं देता है, लेकिन मॉडल की व्याख्या के लिए हम उपकरण बनाते हैं।
• एक स्थायी पारिस्थितिकी तंत्र का निर्माण: कचरा फिल्टर और क्लिकबैट के बारे में, यूआई और मॉडल के लिए नकारात्मक प्रतिक्रिया जोड़ना सुनिश्चित करें।
• व्यापार नियमों को एम्बेड करने के लिए एक परत रखना याद रखें।

अमेज़ॅन द्वारा व्यापक ज्ञान ग्राफ

अब अमेज़न की एक लड़की खेल रही है।

ज्ञान ग्राफ हैं - इकाई नोड्स, विशेषता किनारों, आदि - जो स्वचालित रूप से निर्मित होते हैं, उदाहरण के लिए, विकिपीडिया पर। वे कई समस्याओं को हल करने में मदद करते हैं। हम उत्पादों के लिए एक समान चीज प्राप्त करना चाहते हैं, लेकिन इसके साथ बहुत सारी समस्याएं हैं: कोई संरचित इनपुट डेटा नहीं है, उत्पाद गतिशील हैं, ऐसे कई पहलू हैं जो ज्ञान ग्राफ मॉडल पर फिट नहीं होते हैं (यह मेरे विचार से बहस योग्य है, बल्कि "संरचना की गंभीर जटिलता के बिना झूठ नहीं है" "), बहुत सारे वर्टिकल और" अनाम इकाइयाँ। " जब अवधारणा प्रबंधन को "बेची" गई और गो-फॉरवर्ड प्राप्त हुई, तो डेवलपर्स ने कहा कि यह "सौ वर्षों के लिए एक परियोजना" थी, और परिणामस्वरूप वे 15 मानव-महीनों में कामयाब रहे।

हमने अमेज़ॅन डायरेक्टरी से इकाइयाँ निकालने की शुरुआत की: यहाँ कुछ प्रकार की संरचना है, हालाँकि यह भीड़ और गंदी है। अगला, उन्होंने वर्ड प्रोसेसिंग के लिए ओपनटैग (कल अधिक विवरण में वर्णित) को जोड़ा। और तीसरा घटक सेरेस था - वेब से पार्सिंग के लिए एक उपकरण, डोम ट्री को ध्यान में रखते हुए। विचार यह है कि साइट के किसी एक पृष्ठ को एनोटेट करके, आप आसानी से बाकी को पार्स कर सकते हैं - आखिरकार, सभी एक टेम्पलेट द्वारा उत्पन्न होते हैं (लेकिन कई बारीकियां हैं)। ऐसा करने के लिए, हमने वर्टेक्स मार्कअप सिस्टम (2011 में अमेज़ॅन द्वारा खरीदे गए) का उपयोग किया - वे इसमें मार्कअप बनाते हैं, इसके आधार पर एक्सपैथ का एक सेट अलग-अलग विशेषताओं को बनाया जाता है, और लॉजिस्टिक रिग्रेशन निर्धारित करता है जो किसी विशेष पेज में लागू होते हैं। विभिन्न साइटों से जानकारी मर्ज करने के लिए, यादृच्छिक वन का उपयोग करें। वे सक्रिय प्रशिक्षण का भी उपयोग करते हैं, मैनुअल पुन: अंकन के लिए जटिल पृष्ठ भेजे जाते हैं। अंत में, वे ज्ञान की सफाई का पर्यवेक्षण करते हैं - एक साधारण क्लासिफायरियर, उदाहरण के लिए, एक ब्रांड / एक ब्रांड नहीं।

अगला, जीवन के लिए थोड़ा। वे दो प्रकार के लक्ष्यों में अंतर करते हैं। रूफशॉट्स लघु-अवधि के लक्ष्य हैं जो हम उत्पाद को आगे बढ़ाते हैं, और मॉनशॉट्स ऐसे लक्ष्य हैं जो हम सीमाओं और वैश्विक नेतृत्व को धक्का देते हैं।

एंबेडिंग और प्रतिनिधि

दोपहर के भोजन के बाद, मैं मुख्य रूप से रेखांकन के लिए एम्बेड बनाने के लिए अनुभाग पर गया।

यूनिफाइड सिमेंटिक रिप्रेजेंटेशन के साथ इसी तरह के व्यायाम खोजना

लोग कुछ चीनी ऑनलाइन शिक्षण प्रणाली में इसी तरह के कार्यों को खोजने की समस्या को हल करते हैं । असाइनमेंट को टेक्स्ट, इमेज और संबंधित कॉनसेटोव के सेट द्वारा वर्णित किया गया है। डेवलपर्स का योगदान इन स्रोतों से एक साथ जानकारी लाना है। चित्रों के लिए वार्तालाप बनाए जाते हैं, एम्बेडिंग को अवधारणाओं के लिए प्रशिक्षित किया जाता है, और इसी तरह शब्दों के लिए भी। शब्द एम्बेडिंग को ध्यान और चित्रों के बारे में जानकारी के साथ ध्यान-आधारित LSTM में भेजा जाता है। नौकरी का कुछ प्रतिनिधित्व प्राप्त करें।



ऊपर वर्णित ब्लॉक को सियामी नेटवर्क में बदल दिया गया है, जिसमें ध्यान भी जोड़ा गया है और आउटपुट में एक समानता स्कोर है।



वे 100 हजार व्यायाम और 400 हजार जोड़े (कुल 1.5 मिलियन अभ्यास) के एक चिह्नित डेटासेट पर सिखाते हैं। समान अवधारणाओं के साथ व्यायाम के नमूने द्वारा कठिन नकारात्मक जोड़ें। ध्यान परिपक्वता तब समानता की व्याख्या करने के लिए इस्तेमाल किया जा सकता है।

महत्वाकांक्षी-ऑर्डर निकटता संरक्षित नेटवर्क एंबेडिंग

लोग ग्राफ़ के लिए एम्बेडिंग के एक बहुत ही दिलचस्प संस्करण का निर्माण कर रहे हैं। सबसे पहले, एक निश्चित स्तर के "निकटता" (चलने की लंबाई के अनुसार) पर ध्यान केंद्रित करने के लिए पैदल चलने और पड़ोसियों के आधार पर तरीकों की आलोचना की जाती है। वे एक विधि की पेशकश करते हैं जो वांछित ऑर्डर की निकटता को ध्यान में रखता है, और नियंत्रित भार के साथ।

विचार बहुत सरल है। चलो एक बहुपद समारोह लेते हैं और इसे ग्राफ के आसन्न मैट्रिक्स पर लागू करते हैं, और हम SVD द्वारा परिणाम का कारक बनते हैं। इस मामले में, बहुपद के एक विशेष सदस्य की डिग्री निकटता का स्तर है, और इस सदस्य का वजन परिणाम पर इस स्तर का प्रभाव है। स्वाभाविक रूप से, यह जंगली विचार संभव नहीं है: एक शक्ति के आसन्न मैट्रिक्स को बढ़ाने के बाद, यह घनीभूत हो जाता है, स्मृति में फिट नहीं होता है और आप इस तरह के अंजीर का कारक बनते हैं।

गणित के बिना, यह बकवास है, क्योंकि यदि आप विस्तार के परिणाम के लिए बहुपद फ़ंक्शन को लागू करते हैं, तो हम ठीक उसी तरह प्राप्त करते हैं जैसे कि विस्तार एक बड़े मैट्रिक्स पर लागू किया गया था। वास्तव में नहीं। हम एसवीडी के बारे में विचार करते हैं और केवल ऊपरवाले के स्वदेशी को छोड़ते हैं, लेकिन बहुपद को लागू करने के बाद eigenvalues ​​का क्रम बदल सकता है, इसलिए आपको एक मार्जिन के साथ संख्याओं को लेने की आवश्यकता है।



एल्गोरिथ्म इसकी सादगी के साथ मनोरम होता है और लिंक भविष्यवाणी कार्य में आश्चर्यजनक परिणाम दिखाता है।

नेटवॉक: डायनामिक नेटवर्क्स में एनोमली डिटेक्शन के लिए एक फ्लेक्सिबल डीप एंबेडिंग अप्रोच

जैसा कि नाम से ही स्पष्ट है, हम ग्राफ़ के आधार पर ग्राफ़ एंबेड्स बनाएंगे । लेकिन न केवल, बल्कि स्ट्रीमिंग मोड में, चूंकि हम गतिशील नेटवर्क में विसंगतियों की खोज की समस्या को हल करते हैं (कल इस पर काम था)। एम्बेड को जल्दी से पढ़ने और अपडेट करने के लिए, वे " जलाशय " की अवधारणा का उपयोग करते हैं, जिसमें ग्राफ़ का एक नमूना निहित होता है और परिवर्तन प्राप्त होने पर स्टोकेस्टिक रूप से अपडेट किया जाता है।



प्रशिक्षण के लिए, वे कई लक्ष्यों के साथ एक जटिल कार्य तैयार करते हैं, मुख्य हैं एक मार्ग में नोड्स के लिए एम्बेड की निकटता और एक ऑटो-एनकोडर के साथ नेटवर्क को पुनर्स्थापित करते समय न्यूनतम त्रुटियां।

श्रेणीबद्ध वर्गीकरण स्वायत्त नेटवर्क एंबेडिंग

एक ग्राफ के लिए एम्बेड बनाने के लिए एक अन्य विकल्प , इस बार एक संभाव्य उत्पादक मॉडल पर आधारित है। एम्बेडिंग की गुणवत्ता को एक पदानुक्रमित टैक्सोनॉमी (उदाहरण के लिए, उद्धरण नेटवर्क के लिए एक ज्ञान डोमेन या ई-टेल में उत्पादों के लिए उत्पाद श्रेणी) से जानकारी का उपयोग करके सुधार किया जाता है। पीढ़ी की प्रक्रिया कुछ "विषयों" पर बनाई गई है, जिनमें से कुछ एक वर्गीकरण में नोड्स से जुड़ी हैं, और कुछ एक विशिष्ट नोड के लिए।



हम एक प्राथमिक सामान्य वितरण को वर्गीकरण के मापदंडों के साथ शून्य अर्थ के साथ जोड़ते हैं, वर्गीकरण में एक विशेष शीर्ष के मापदंडों - वर्गीकरण के पैरामीटर के बराबर औसत के साथ सामान्य वितरण, और शून्य के साथ सामान्य वितरण और वर्टेक्स के मुक्त मापदंडों के लिए अनंत फैलाव। हम बर्नौली वितरण का उपयोग करके शीर्ष के वातावरण को उत्पन्न करते हैं, जहां सफलता की संभावना नोड्स के मापदंडों की निकटता के लिए आनुपातिक है। हम इस पूरे कॉलोसस को EM-एल्गोरिथ्म के साथ ऑप्टिमाइज़ करते हैं।

नियमित पुनरावृत्ति के साथ डीप रिकर्सिव नेटवर्क एंबेडिंग

सामान्य एम्बेडिंग तकनीक सभी कार्यों के लिए काम नहीं करती है। उदाहरण के लिए, नोड कार्य की भूमिका पर विचार करें। भूमिका निर्धारित करने के लिए, विशिष्ट पड़ोसी (जो आमतौर पर देखे जाते हैं) महत्वपूर्ण हैं, लेकिन शीर्ष के आसपास के क्षेत्र में ग्राफ संरचना और इसमें कुछ पैटर्न। इसी समय, इन पैटर्नों (नियमित रूप से समतुल्यता) के लिए सीधे एल्गोरिदम को खोजना बहुत मुश्किल है, लेकिन बड़े रेखांकन के लिए यह अवास्तविक है।

इसलिए, हम दूसरे रास्ते पर जाएंगे। प्रत्येक नोड के लिए, हम इसके ग्राफ से जुड़े मापदंडों की गणना करते हैं: डिग्री, घनत्व, विभिन्न केंद्रीयताएं, आदि। एंबेडिंग अकेले उन पर नहीं बनाई जा सकती है, लेकिन पुनरावृत्ति का उपयोग किया जा सकता है, क्योंकि एक ही पैटर्न की उपस्थिति का मतलब है कि एक ही भूमिका वाले दो नोड्स के पड़ोसियों की विशेषताएं समान होनी चाहिए। जिसका मतलब है कि आप अधिक परतों को ढेर कर सकते हैं।



मान्यताओं से पता चलता है कि वे कई कार्यों पर डीपवॉक और नोड 2wek की मानक आधार रेखाओं को बायपास करते हैं।

पड़ोस के गठन के माध्यम से अस्थायी नेटवर्क एम्बेड करना

आज के लिए नवीनतम ग्राफ एम्बेडिंग कार्य। इस बार हम गतिशीलता को देखेंगे: हम कनेक्शन के क्षण और समय में बातचीत के सभी तथ्यों का मूल्यांकन करेंगे। एक उदाहरण के रूप में उद्धरण नेटवर्क को लें, जहां सहभागिता एक संयुक्त प्रकाशन है।

हम हॉकस प्रक्रिया का उपयोग मॉडल बनाने के लिए करते हैं कि पिछले वर्टेक्स इंटरैक्शन उनके भविष्य के इंटरैक्शन को कैसे प्रभावित करते हैं। HP . attention . log likelihood . .

Safety

. , . , ML , , .

Using Machine Learning to Assess the Risk of and Prevent Water Main Breaks

: , , — . , . , ( - , ), 1-2 % . , .

data miner- Data Science for Social Good . , , :



, . : , GBDT. -1 % .

base line-: « » , , « , » . ML, , .

27 32- , , , ( , — ). , $1,2 .

, , , 1940-, , ( ) .

Detecting Spacecraft Anomalies Using LSTMs and Nonparametric Dynamic Thresholding

NASA ( ). — . , . , .

ML . LSTM , . ( , ). , , . , . , .



: soil moisture active passive Curiosity c Mars Science Laboratory. 122 , 80 %. , , . , , .

Explaining Aviation Safety Incidents Using Deep Temporal Multiple Instance Learning

, , . Safety Incidents, , . , . .

, - , . «», .. , . , , . , , .

GRU , Multiple Instances Learning . , «» — , . « , , — » ( = ). max pooling .



cross entropy loss . base line MI-SVM ADOPT.

ActiveRemediation: The Search for Lead Pipes in Flint, Michigan

, , .

. 120 . , 2013 , : . , 2014-. 2015- — . , . , …

— , . , . .

. «», . : , , , . , , — , …

6 . , 20 %. data scientist-.

, 19 , , , . , « ». , , XGBoost - . ( 7 % , ).

अधिकारियों ने पूर्वानुमान के अनुसार मॉडल खोदने की हिम्मत नहीं की, लेकिन उन्होंने लोगों को एक गंदगी क्लीनर दिया, जो अपेक्षाकृत कम नुकसान के साथ पाइप को मिल सकता है, यह जांचने के लिए कि क्या था - तांबा या सीसा। इस मशीन के साथ, लोगों ने "सक्रिय सीखने" का अभ्यास करना शुरू किया और मॉडल की प्रभावशीलता के बारे में आश्वस्त थे।



डेटा को पूर्वव्यापी रूप से विश्लेषण करने के बाद, हमने माना कि मॉडल को सक्रिय सीखने के प्रारूप में उपयोग करने से लागत में 16% से 3% की कमी आएगी। इसके अलावा, उन्होंने नोट किया कि वैज्ञानिकों के साथ बातचीत की प्रक्रिया में, अधिकारियों ने डेटा के लिए अपने दृष्टिकोण में काफी सुधार किया - पत्रक और बिखरी हुई गोलियों के बजाय, पानी की आपूर्ति की जगह लेने की प्रक्रिया की निगरानी के लिए एक सामान्य पोर्टल एक्सेल में दिखाई दिया।

अनुपात-अस्थायी आग जोखिम भविष्यवाणी के लिए एक गतिशील पाइपलाइन

अंत में, एक और पीड़ादायक बिंदु अग्नि निरीक्षण है। क्या होता है अगर उन्हें बाहर नहीं किया जाता है, तो हमने मार्च 2018 में सीखा। संयुक्त राज्य अमेरिका में, ऐसे मामले दुर्लभ भी नहीं हैं। इसी समय, अग्निशामकों के निरीक्षण के लिए संसाधन सीमित हैं, उन्हें सबसे बड़े जोखिम वाले स्थानों पर निर्देशित किया जाना चाहिए।

आग के जोखिम का आकलन करने के लिए खुले मॉडल हैं, लेकिन वे जंगल की आग के लिए डिज़ाइन किए गए हैं और शहर के लिए उपयुक्त नहीं हैं। न्यूयॉर्क में किसी तरह की व्यवस्था है, लेकिन यह बंद है। तो, आपको अपना खुद का बनाने की कोशिश करने की आवश्यकता है।

पिट्सबर्ग अग्निशामकों के सहयोग से, लोगों ने कई वर्षों में आग पर डेटा एकत्र किया, जनसांख्यिकी, आय, व्यवसाय के रूप आदि के बारे में जानकारी के साथ-साथ आग विभाग को अन्य कॉल जो आग से संबंधित नहीं हैं। और उन्होंने इन आंकड़ों के आधार पर आग के जोखिम का आकलन करने की कोशिश की।

दो अलग-अलग XGBoost मॉडल सिखाए जाते हैं: घरों और वाणिज्यिक अचल संपत्ति के लिए। कक्षाओं के मजबूत असंतुलन को देखते हुए, सबसे पहले काम की गुणवत्ता का मूल्यांकन कप्पा के अनुसार किया गया था।

मॉडल में डायनेमिक फैक्टर (कॉल डिपार्टमेंट, डिटेक्टर / अलार्म की ट्रिगर) को जोड़ने से गुणवत्ता में काफी सुधार हुआ, लेकिन इनका उपयोग करने के लिए, मॉडल को हर हफ्ते फिर से तैयार करना पड़ा। पूर्वानुमान के आधार पर, मॉडल ने अग्नि निरीक्षकों के लिए एक सुखद वेब थूथन बनाया, जिसमें दिखाया गया है कि सबसे बड़ी जोखिम वाली वस्तुएं कहां स्थित हैं।



लक्षणों के महत्व का विश्लेषण किया गया था। वाणिज्य के लिए महत्वपूर्ण विशेषताओं में झूठे अलार्म से संबंधित थे (जाहिर है, शटडाउन आगे बढ़ता है)। लेकिन घरों के लिए - करों की राशि का भुगतान (हाय निष्पक्षता, गरीब क्षेत्रों में अग्नि निरीक्षण अधिक बार जाएंगे)।