NeurIPS-2018 का अवलोकन (उदा। NIPS)

दिसंबर की शुरुआत में, मॉन्ट्रियल ने मशीन सीखने पर 32 वें वार्षिक तंत्रिका सूचना प्रसंस्करण प्रणाली सम्मेलन की मेजबानी की। एक अनौपचारिक रैंकिंग तालिका के अनुसार, यह सम्मेलन दुनिया में इस प्रारूप की शीर्ष -1 घटना है। इस साल के सभी कॉन्फ्रेंस टिकट रिकॉर्ड 13 मिनट में बिक गए। हमारे पास एमटीएस डेटा वैज्ञानिकों की एक बड़ी टीम है, लेकिन उनमें से केवल एक - मरीना यारोस्लावसेवा ( मैगोली ) - मॉन्ट्रियल को पाने के लिए पर्याप्त भाग्यशाली था। साथ में दानिला सवेनकोव ( danila_savenkov ), जो बिना वीजा के रह गया था और मास्को से सम्मेलन के बाद, हम उन कार्यों के बारे में बात करेंगे जो हमें सबसे दिलचस्प लग रहे थे। यह नमूना बहुत व्यक्तिपरक है, लेकिन उम्मीद है कि यह आपको दिलचस्पी देगा।



संबंधपरक आवर्तक तंत्रिका नेटवर्क

अमूर्त
कोड

अनुक्रमों के साथ काम करते समय, यह अक्सर बहुत महत्वपूर्ण होता है कि अनुक्रम के तत्व एक-दूसरे से कैसे संबंधित हैं। पुनरावृत्ति नेटवर्क (जीआरयू, एलएसटीएम) के मानक वास्तुकला शायद ही दो तत्वों के बीच के रिश्ते को मॉडल कर सकते हैं जो एक दूसरे से काफी दूरस्थ हैं। कुछ हद तक, ध्यान इस ( https://youtu.be/SysgYptB198 , https://youtu.be/quoGRI-1l0A ) से निपटने में मदद करता है, लेकिन फिर भी यह काफी सही नहीं है। ध्यान आपको उस वजन को निर्धारित करने की अनुमति देता है जिसके साथ अनुक्रम के प्रत्येक चरण से छिपी हुई स्थिति अंतिम छिपी हुई स्थिति को प्रभावित करेगी और तदनुसार, भविष्यवाणी। हम अनुक्रम के तत्वों के संबंध में रुचि रखते हैं।

पिछले साल, फिर से एनआईपीएस पर, Google ने पुनरावृत्ति को पूरी तरह से त्यागने और आत्म-ध्यान का उपयोग करने का सुझाव दिया। दृष्टिकोण बहुत अच्छा साबित हुआ, हालांकि मुख्य रूप से seq2seq कार्यों पर (लेख मशीन अनुवाद पर परिणाम प्रदान करता है)।

इस वर्ष का लेख LSTM के हिस्से के रूप में आत्म-ध्यान के विचार का उपयोग करता है। कई बदलाव नहीं हुए हैं:

1. हम सेल स्टेट वेक्टर को "मेमोरी" मैट्रिक्स एम में बदलते हैं। कुछ हद तक, मेमोरी मैट्रिक्स कई सेल स्टेट वैक्टर (कई मेमोरी सेल) हैं। अनुक्रम का एक नया तत्व प्राप्त करना, हम यह निर्धारित करते हैं कि यह तत्व प्रत्येक मेमोरी सेल को कितना अपडेट करना चाहिए।
2. अनुक्रम के प्रत्येक तत्व के लिए, हम मल्टी-हेड डॉट उत्पाद ध्यान (MHDPA) का उपयोग करके इस मैट्रिक्स को अपडेट करेंगे, आप Google से उल्लिखित लेख में इस पद्धति के बारे में पढ़ सकते हैं)। अनुक्रम और मैट्रिक्स एम के वर्तमान तत्व के लिए MHPDA का परिणाम पूरी तरह से जुड़े जाल, सिग्मोइड के माध्यम से चलाया जाता है और फिर मैट्रिक्स M उसी तरह से अपडेट किया जाता है जैसे LSTM में सेल स्थिति

यह तर्क दिया जाता है कि यह MHDPA के कारण है कि ग्रिड एक-दूसरे से हटाए जाने पर भी अनुक्रम तत्वों के परस्पर संबंध को ध्यान में रख सकते हैं।

एक खिलौना समस्या के रूप में, मॉडल को यूक्लिडियन दूरी के संदर्भ में Mth से दूरी द्वारा Nth वेक्टर खोजने के लिए वैक्टर के अनुक्रम में पूछा जाता है। उदाहरण के लिए, 10 वैक्टर का एक क्रम है और हम आपको एक ऐसा खोजने के लिए कहते हैं जो पांचवें के निकटता में तीसरे स्थान पर है। यह स्पष्ट है कि मॉडल के इस प्रश्न का उत्तर देने के लिए, किसी तरह सभी वैक्टरों से पांचवें तक की दूरी का मूल्यांकन करना और उन्हें क्रमबद्ध करना आवश्यक है। यहां, लेखकों द्वारा प्रस्तावित मॉडल आत्मविश्वास से LSTM और DNC को हरा देता है। इसके अलावा, लेखक अपने मॉडल की तुलना लर्निंग ऑन एक्सक्यूट (हम प्रवेश करने के लिए कोड की कुछ पंक्तियां देते हैं, परिणाम देते हैं), मिनी-पैकमैन, भाषा मॉडलिंग और हर जगह सर्वोत्तम परिणामों की रिपोर्ट करते हैं।

मल्टीवेरेट टाइम सीरीज़ जेनरेशन विथ जनरेशनल एडवरसियर नेटवर्क्स

अमूर्त
कोड (हालांकि वे लेख में यहाँ लिंक नहीं)

बहुआयामी समय श्रृंखला में, एक नियम के रूप में, बड़ी संख्या में चूक हैं, जो उन्नत सांख्यिकीय तरीकों के उपयोग को रोकता है। मानक समाधान - माध्य / शून्य से भरना, अपूर्ण मामलों को हटाना, इस स्थिति में मैट्रिक्स विस्तार पर आधारित डेटा को पुनर्स्थापित करना, अक्सर काम नहीं करता है, क्योंकि वे समय पर निर्भरता और बहुआयामी समय श्रृंखला के जटिल वितरण को पुन: पेश नहीं कर सकते हैं।

डेटा के किसी भी वितरण की नकल करने के लिए जेनरेटर प्रतिकूल नेटवर्क (जीएएन) की क्षमता, विशेष रूप से, "ड्राइंग" चेहरों और वाक्यों के निर्माण के कार्यों में व्यापक रूप से जाना जाता है। लेकिन, एक नियम के रूप में, ऐसे मॉडलों को या तो अंतराल के बिना पूर्ण डेटासेट पर प्रारंभिक प्रशिक्षण की आवश्यकता होती है, या डेटा की सुसंगत प्रकृति को ध्यान में नहीं रखते हैं।

लेखकों ने गण को एक नए तत्व के साथ पूरक करने का प्रस्ताव दिया है - गेटेड रिक्रंट यूनिट फॉर इम्प्यूटेशन (GRUI)। सामान्य GRU से मुख्य अंतर यह है कि GRUI टिप्पणियों के बीच विभिन्न लंबाई के अंतराल पर डेटा से सीख सकता है और वर्तमान बिंदु से समय में उनकी दूरी के आधार पर टिप्पणियों के प्रभाव को समायोजित कर सकता है। एक विशेष क्षीणन पैरामीटर parameter की गणना की जाती है, जिसका मूल्य 0 से 1 और छोटे से भिन्न होता है, वर्तमान अवलोकन और पिछले गैर-रिक्त एक के बीच अधिक से अधिक समय अंतराल।





भेदभावकर्ता और GAN जनरेटर दोनों में GRUI परत और पूरी तरह से जुड़ी परत होती है। गन्स में हमेशा की तरह, जनरेटर स्रोत डेटा (इस मामले में, बस पंक्तियों में अंतराल को भरने के लिए) को सीखना सीखता है, और भेदभावकर्ता जनरेटर से भरी पंक्तियों को वास्तविक से अलग करना सीखता है।

जैसा कि यह निकला, यह दृष्टिकोण बहुत बड़ी संख्या में चूक के साथ समय श्रृंखला में भी डेटा को पुनर्स्थापित करता है (नीचे दी गई तालिका में - एमएसडी डेटा रिकवरी केडीडी डेटासेट में चूक और पुनर्प्राप्ति विधि के प्रतिशत के आधार पर। ज्यादातर मामलों में, जीएएन-आधारित विधि सबसे बड़ी सटीकता देती है। वसूली)।



शब्द एंबेडिंग के आयाम पर

अमूर्त
कोड

वर्ड एम्बेडिंग / शब्दों का सदिश प्रतिनिधित्व विभिन्न एनएलपी अनुप्रयोगों के लिए व्यापक रूप से उपयोग किया जाने वाला एक तरीका है: अनुशंसा प्रणालियों से लेकर ग्रंथों और मशीन अनुवाद के भावनात्मक रंग के विश्लेषण तक।

इसके अलावा, वैक्टर के आयाम के खुले रहने के कारण इस तरह के एक महत्वपूर्ण हाइपरपरेट को कैसे निर्धारित किया जाए, इसका सवाल है। व्यवहार में, ज्यादातर इसे अनुभवजन्य संपूर्ण खोज द्वारा चुना जाता है या डिफ़ॉल्ट रूप से सेट किया जाता है, उदाहरण के लिए, 300 के स्तर पर। एक ही समय में, बहुत छोटा आयाम शब्दों के बीच के सभी महत्वपूर्ण रिश्तों को प्रतिबिंबित करने की अनुमति नहीं देता है, और बहुत बड़ा पीछे हटने का कारण बन सकता है।

अध्ययन के लेखक PIP नुकसान पैरामीटर को कम करके इस समस्या के समाधान का प्रस्ताव करते हैं, दो एम्बेडेड विकल्पों के बीच अंतर का एक नया उपाय।
गणना PIP-matrices पर आधारित है जिसमें कॉर्पस में शब्दों के वेक्टर प्रतिनिधित्व के सभी जोड़े के स्केलर उत्पाद शामिल हैं। PIP नुकसान की गणना दो एम्बेडिंग के PIP मैट्रिस के बीच फ्रोबेनियस मानदंड के रूप में की जाती है: डेटा पर प्रशिक्षित (प्रशिक्षित एम्बेडिंग E_hat) और आदर्श, शोर डेटा पर प्रशिक्षित (ओरेकल एम्बेडिंग ई)।



यह सरल प्रतीत होता है: आपको एक आयाम चुनने की आवश्यकता है जो पीआईपी नुकसान को कम करता है, एकमात्र असंगत क्षण वह है जहां ओरेकल एम्बेडिंग प्राप्त करना है। 2015-2017 में, कई कार्यों को प्रकाशित किया गया था जिसमें यह दिखाया गया था कि एम्बेडिंग के निर्माण के लिए विभिन्न तरीके (वर्ड 2vec, GloVe, LSA) मामले के सिग्नल मैट्रिक्स को स्पष्ट रूप से फैक्टरेट (आयाम कम) करते हैं। शब्द 2vec (स्किप-ग्राम) के मामले में, सिग्नल मैट्रिक्स PMI है , GloVe के मामले में यह लॉग-काउंट मैट्रिक्स है। यह बहुत बड़े आकार का एक शब्दकोश लेने, एक सिग्नल मैट्रिक्स बनाने और एसवीडी का उपयोग करने के लिए ओरेकल एम्बेडिंग प्राप्त करने का प्रस्ताव है। इस प्रकार, ओरेकल एम्बेडिंग आयाम सिग्नल मैट्रिक्स रैंक के बराबर है (व्यवहार में, 10k शब्दों के शब्दकोश के लिए, आयाम 2k के क्रम का होगा)। हालांकि, हमारे अनुभवजन्य संकेत मैट्रिक्स हमेशा शोर होता है और हमें एक शोर मैट्रिक्स द्वारा पीआईपी नुकसान का अनुमान लगाने के लिए पेचीदा योजनाओं का सहारा लेना पड़ता है।

लेखकों का तर्क है कि इष्टतम एम्बेडिंग आयाम का चयन करने के लिए, यह 10k शब्दों के शब्दकोश का उपयोग करने के लिए पर्याप्त है, जो बहुत अधिक नहीं है और आपको उचित समय में इस प्रक्रिया को चलाने की अनुमति देता है।



जैसा कि यह पता चला है, 5% तक की त्रुटि वाले अधिकांश मामलों में इस तरह से गणना किए गए एम्बेडिंग आयाम विशेषज्ञ अनुमानों के आधार पर निर्धारित इष्टतम आयाम के साथ मेल खाते हैं। यह पता चला है (उम्मीद है) कि Word2Vec और GloVe व्यावहारिक रूप से पीछे हटने नहीं थे (PIP नुकसान बहुत बड़े आयामों पर नहीं गिरता है), लेकिन LSA काफी दृढ़ता से पीछे हट जाता है।

लेखकों द्वारा गिथब पर पोस्ट किए गए कोड का उपयोग करके, Word2Vec (स्किप-ग्राम), GloVe, LSA के इष्टतम आयाम की खोज की जा सकती है।

फ़्रैग: फ़्रिक्वेंसी-अज्ञेयवादी शब्द प्रतिनिधित्व

अमूर्त
कोड

लेखक इस बारे में बात करते हैं कि कैसे एम्बेडिंग दुर्लभ और लोकप्रिय शब्दों के लिए अलग तरह से काम करती है। लोकप्रिय से मेरा मतलब है कि हम शब्दों को नहीं रोकेंगे (हम उन पर बिल्कुल भी विचार नहीं करते हैं), लेकिन जानकारीपूर्ण शब्द जो बहुत दुर्लभ नहीं हैं।

अवलोकन इस प्रकार हैं:

यदि हम लोकप्रिय शब्दों के बारे में बात करते हैं, तो कॉशन माप में उनकी निकटता बहुत अच्छी तरह से दर्शाती है

1. उनकी अर्थपूर्ण आत्मीयता। दुर्लभ शब्दों के लिए, यह ऐसा नहीं है (जो अपेक्षित है), और (जो कि कम अपेक्षित है) सबसे करीबी कोसने शब्द एक दुर्लभ शब्द के लिए भी दुर्लभ हैं और एक ही समय में शब्दार्थ से संबंधित नहीं हैं। यही है, एम्बेडिंग के स्थान पर दुर्लभ और अक्सर शब्द अलग-अलग स्थानों में रहते हैं (विभिन्न शंकुओं में, अगर हम कोसाइन के बारे में बात कर रहे हैं)
2. प्रशिक्षण के दौरान, लोकप्रिय शब्दों के वैक्टर अधिक बार अपडेट किए जाते हैं और औसतन, शुरुआती शब्दों से दोगुना होते हैं, क्योंकि दुर्लभ शब्दों के लिए वैक्टर। यह इस तथ्य की ओर जाता है कि दुर्लभ शब्दों का एम्बेडिंग औसतन मूल के करीब है। सच कहूं तो, मैं हमेशा मानता था कि, इसके विपरीत, दुर्लभ शब्द एम्बेडिंग औसतन लंबे समय तक हैं और मुझे नहीं पता कि लेखकों के बयान से कैसे संबंधित हैं =)

एम्बेडिंग के एल 2 मानदंडों के बीच जो भी संबंध है, लोकप्रिय और दुर्लभ शब्दों की पृथक्करणता बहुत अच्छी घटना नहीं है। हम एक शब्द के शब्दार्थ को प्रतिबिंबित करने के लिए एम्बेड करना चाहते हैं, न कि इसकी आवृत्ति।



तस्वीर SVD के बाद Word2Vec लोकप्रिय (लाल) और दुर्लभ (नीला) शब्द दिखाती है। यहाँ लोकप्रिय आवृत्ति में शीर्ष 20% शब्दों को संदर्भित करता है।

यदि समस्या केवल एम्बेडिंग के एल 2 मानदंडों में थी, तो हम उन्हें सामान्य कर सकते हैं और खुशी से रह सकते हैं, लेकिन, जैसा कि मैंने पहले पैराग्राफ में कहा था, दुर्लभ शब्द कॉज़ीन निकटता (ध्रुवीय निर्देशांक) द्वारा लोकप्रिय लोगों से अलग होते हैं।

लेखक, निश्चित रूप से, GAN का सुझाव देते हैं। आइए पहले की तरह ही काम करें, लेकिन एक ऐसा डिस्क्रिमिनेटर जोड़ें जो लोकप्रिय और दुर्लभ शब्दों के बीच अंतर करने की कोशिश करेगा (फिर, हम लोकप्रिय होने की आवृत्ति में शीर्ष-एन% शब्दों पर विचार करते हैं)।

यह कुछ इस तरह दिखता है:



लेखक शब्द समानता, मशीन अनुवाद, पाठ वर्गीकरण और भाषा मॉडलिंग के कार्यों पर दृष्टिकोण का परीक्षण करते हैं और हर जगह वे आधार रेखा से बेहतर प्रदर्शन करते हैं। शब्द समानता में, यह कहा गया है कि गुणवत्ता विशेष रूप से दुर्लभ शब्दों पर ध्यान देती है।

एक उदाहरण: नागरिकता। छोड़ें-चने के मुद्दे: आनंद, पाकीस्तान, खारिज, पुष्ट। फ्रेम के मुद्दे: जनसंख्या, स्टैडिसचेन, गरिमा, बर्जर। FRAGE में नागरिक और नागरिक शब्द 79 वें और 7 वें स्थान पर हैं, क्रमशः (नागरिकता के निकटता में), स्किप-ग्राम में वे शीर्ष 10000 में नहीं हैं।

किसी कारण से, लेखकों ने केवल मशीन अनुवाद और भाषा मॉडलिंग, शब्द समानता और पाठ वर्गीकरण कार्यों के लिए कोड पोस्ट किया, दुर्भाग्य से, प्रतिनिधित्व नहीं किया जाता है।

भाषण और पाठ एम्बेडिंग रिक्त स्थान का अनुपयोगी क्रॉस-मोडल संरेखण

अमूर्त
कोड: कोई कोड नहीं है, लेकिन मैं चाहूंगा

हाल के अध्ययनों से पता चला है कि दो अलग-अलग भाषाओं में पाठ निकायों पर एम्बेडिंग एल्गोरिदम (उदाहरण के लिए, word2vec) का उपयोग करके प्रशिक्षित दो वेक्टर रिक्त स्थान दो भवनों के बीच मार्कअप और सामग्री मिलान के बिना एक दूसरे से मेल खा सकते हैं। विशेष रूप से, यह दृष्टिकोण फेसबुक पर मशीन अनुवाद के लिए उपयोग किया जाता है। एम्बेडिंग रिक्त स्थान के प्रमुख गुणों में से एक का उपयोग किया जाता है: उनके अंदर, समान शब्द ज्यामितीय रूप से करीब होना चाहिए, और असमान वाले, इसके विपरीत, एक दूसरे से दूर होना चाहिए। यह माना जाता है कि, सामान्य रूप से, वेक्टर अंतरिक्ष की संरचना उस भाषा की परवाह किए बिना संरक्षित होती है, जिसमें कॉर्पस शिक्षण के लिए था।

लेख के लेखकों ने आगे बढ़कर स्वचालित भाषण मान्यता और अनुवाद के क्षेत्र में समान दृष्टिकोण लागू किया। ब्याज की भाषा (उदाहरण के लिए, विकिपीडिया) में पाठ कॉर्पस के लिए अलग से वेक्टर स्पेस को प्रशिक्षित करने का प्रस्ताव है, रिकॉर्ड किए गए भाषण के ऑडियो (ऑडियो प्रारूप में) के लिए अलग से, संभवतः किसी अन्य भाषा में, पहले शब्दों में टूट गया, और फिर दो के साथ उसी तरह से दो रिक्त स्थान की तुलना करें पाठ के मामले।



पाठ कॉर्पस के लिए, शब्द 2vec का उपयोग किया जाता है, और भाषण के लिए, एक समान दृष्टिकोण, जिसे स्पीच 2vec कहा जाता है, LSTM पर आधारित है और शब्द 2vec (CBOW / स्किप-ग्राम) के लिए उपयोग की जाने वाली कार्यप्रणालियां हैं, इसलिए यह माना जाता है कि यह प्रासंगिक और अर्थ संबंधी विशेषताओं द्वारा शब्दों को जोड़ती है, और लग नहीं रहा है।

दोनों वेक्टर रिक्त स्थान प्रशिक्षित होने के बाद और एम्बेडिंग के दो सेट होते हैं - एस (भाषण के शरीर पर), आयाम d1 और T के एन एम्बेडिंग से मिलकर (पाठ के शरीर पर), आयाम d2 के एम एम्बेड से मिलकर, आपको उनकी तुलना करने की आवश्यकता है। आदर्श रूप से, हमारे पास एक शब्दकोश है जो यह निर्धारित करता है कि एस से कौन सा वेक्टर टी से किस वेक्टर से मेल खाता है। फिर तुलना के लिए दो मैट्रिक्स बनते हैं: के एम्बेडिंग एस से चुने जाते हैं, जो आकार 1 डी 1 एक्स के मैट्रिक्स एक्स बनाते हैं; T से, k का अनुरेखण इसी (डिक्शनरी के अनुसार) है जो पहले S से चुना गया था, वह भी चयनित है, और d2 x k के आकार का एक मैट्रिक्स Y प्राप्त होता है। इसके बाद, आपको एक रेखीय मानचित्रण W को खोजने की आवश्यकता है जैसे:



लेकिन चूंकि लेख अनर्गल दृष्टिकोण पर विचार करता है, शुरू में कोई शब्दकोश नहीं है, इसलिए, दो भागों से मिलकर एक सिंथेटिक शब्दकोश उत्पन्न करने के लिए एक प्रक्रिया प्रस्तावित है। सबसे पहले, हमें डोमेन-प्रतिकूल प्रशिक्षण (जीएएन जैसे एक प्रतिस्पर्धी मॉडल, लेकिन जनरेटर के बजाय डब्ल्यू का एक रैखिक मानचित्रण) का उपयोग करके डब्ल्यू का पहला अनुमान प्राप्त होता है, जिसके साथ हम एक दूसरे से एस और टी अप्रभेद्य बनाने की कोशिश करते हैं, और भेदभावकर्ता एम्बेडिंग की वास्तविक उत्पत्ति का निर्धारण करने की कोशिश करता है)। फिर, उन शब्दों के आधार पर जिनके एम्बेडिंग ने एक दूसरे के लिए सबसे अच्छा मैच दिखाया और दोनों इमारतों में सबसे अधिक बार पाए जाते हैं, एक शब्दकोश बनता है। उसके बाद, उपरोक्त सूत्र के अनुसार डब्ल्यू का शोधन होता है।

यह दृष्टिकोण लेबल डेटा पर सीखने के लिए तुलनीय परिणाम देता है, जो दुर्लभ भाषाओं से भाषण को पहचानने और अनुवाद करने के कार्य में बहुत उपयोगी हो सकता है, जिसके लिए बहुत कम समानांतर भाषण-पाठ मामले हैं, या वे अनुपस्थित हैं।

जियोमेट्रिक ट्रांसफॉर्मेशन का उपयोग करते हुए डीप एनोमली डिटेक्शन

अमूर्त
कोड

विसंगति का पता लगाने में एक असामान्य दृष्टिकोण, जो, लेखकों के अनुसार, अन्य दृष्टिकोणों को बहुत हरा देता है।

विचार यह है: आइए K विभिन्न ज्यामितीय परिवर्तनों (पारियों, 90 डिग्री रोटेशन और प्रतिबिंब के संयोजन) के साथ आते हैं और उन्हें मूल डेटासेट के प्रत्येक चित्र पर लागू करते हैं। आई-वें परिवर्तन के परिणामस्वरूप प्राप्त तस्वीर अब कक्षा i से संबंधित होगी, यानी कुल में K कक्षाएं होंगी, उनमें से प्रत्येक को उन तस्वीरों की संख्या से दर्शाया जाएगा जो मूल रूप से डेटासेट में थीं। अब हम इस तरह के मार्कअप (लेखकों ने विस्तृत रेज़नेट चुना) पर एक मल्टीस्केल्स वर्गीकरण पढ़ाएंगे।

अब हम एक नई तस्वीर के लिए आयाम K के K vectors y (Ti (x)) प्राप्त कर सकते हैं, जहां Ti i-th परिवर्तन है, x चित्र है, y मॉडल आउटपुट है। "सामान्यता" की मूल परिभाषा इस प्रकार है:

यहाँ, छवि x के लिए, हमने सभी परिवर्तनों के लिए सही वर्गों की अनुमानित संभावनाओं को जोड़ा। "सामान्यता" जितनी अधिक होती है, उतनी ही अधिक संभावना होती है कि छवि को प्रशिक्षण नमूने के समान वितरण से लिया जाता है। लेखकों का दावा है कि यह पहले से ही बहुत अच्छा काम करता है, लेकिन फिर भी अधिक जटिल तरीका पेश करता है जो थोड़ा बेहतर काम करता है। हम यह मानेंगे कि प्रत्येक Ti परिवर्तन के लिए वेक्टर y (Ti (x)) Dirichlet वितरित है और हम छवि के "सामान्यता" के एक उपाय के रूप में संभावना लघुगणक लेंगे। एक प्रशिक्षण सेट पर डिरिचलेट वितरण मापदंडों का अनुमान है।

लेखक अन्य दृष्टिकोणों की तुलना में अविश्वसनीय प्रदर्शन को बढ़ावा देते हैं।

वितरण के नमूने और सलाहकार के हमलों का पता लगाने के लिए एक सरल एकीकृत ढांचा

अमूर्त
कोड

प्रशिक्षण के नमूने के वितरण से काफी भिन्न मामलों के मॉडल के आवेदन के लिए नमूने में पहचान मुख्य व्यावसायिक परिणाम प्राप्त करने के लिए मुख्य आवश्यकताओं में से एक है। इसी समय, तंत्रिका नेटवर्क को उन विशेषताओं के लिए जाना जाता है जो उच्च स्तर के आत्मविश्वास (और गलत तरीके से) के लिए उन वस्तुओं को वर्गीकृत करते हैं जो प्रशिक्षण में सामने नहीं आए थे, या जानबूझकर दूषित (प्रतिकूल उदाहरण) थे।



लेख के लेखक उन दोनों और अन्य "खराब" मामलों की पहचान करने के लिए एक नई विधि प्रदान करते हैं। दृष्टिकोण इस प्रकार कार्यान्वित किया जाता है: पहला, सामान्य सॉफ्टमैक्स आउटपुट के साथ एक तंत्रिका नेटवर्क को प्रशिक्षित किया जाता है, फिर इसकी पेनलेट लेयर का आउटपुट लिया जाता है, और जेनेरेटरी क्लासिफायर को इस पर प्रशिक्षित किया जाता है। आज्ञा देना x - कि एक विशेष वर्गीकरण वस्तु के लिए मॉडल इनपुट को खिलाया जाता है, y - इसी वर्ग लेबल, तो मान लें कि हमारे पास फॉर्म का एक पूर्व-प्रशिक्षित सॉफ्टमैक्स क्लासिफायर है:



जहाँ wc और bc वर्ग c, और f (।) के लिए सॉफ्टमैक्स लेयर के वज़न और स्थिरांक होते हैं, वहीं प्रायद्वीपीय सोयाबीन DNN का उत्पादन होता है।

इसके अलावा, पूर्व-प्रशिक्षित क्लासिफायर में किसी भी बदलाव के बिना, जनरेटिव क्लासिफायरियर, अर्थात् विभेदक विश्लेषण के लिए एक परिवर्तन किया जाता है। यह माना जाता है कि सॉफ्टमैक्स क्लासिफायर की पारगम्य परत से ली गई सुविधाओं में एक बहुआयामी सामान्य वितरण होता है, जिसके प्रत्येक घटक एक वर्ग से मेल खाते हैं। फिर सशर्त वितरण को बहुआयामी वितरण के साधनों के वेक्टर और उसके सहसंयोजक मैट्रिक्स के माध्यम से निर्दिष्ट किया जा सकता है:



जनरेटिव क्लासिफायरियर के मापदंडों का मूल्यांकन करने के लिए, अनुभवजन्य औसत की गणना प्रत्येक वर्ग के लिए की जाती है, साथ ही प्रशिक्षण नमूने {(X1, y1), ..., (xN, yN)} से मामलों के लिए सहसंयोजक की गणना की जाती है:



जहां N प्रशिक्षण सेट में संबंधित वर्ग के मामलों की संख्या है। फिर, परीक्षण नमूने पर विश्वसनीयता की एक माप की गणना की जाती है - परीक्षण मामले के बीच महालनोबिस की दूरी और इस मामले के निकटतम सामान्य वर्ग वितरण।



जैसा कि यह पता चला है, इस तरह की मीट्रिक सॉफ्टमैक्स परत की तरह उच्च अनुमानों को बाहर किए बिना, एटिपिकल या क्षतिग्रस्त वस्तुओं पर अधिक मज़बूती से काम करती है। अलग-अलग डेटा पर अधिकांश तुलनाओं में, प्रस्तावित विधि ने ऐसे परिणाम दिखाए जो वर्तमान मामलों में अत्याधुनिक हैं जो प्रशिक्षण में नहीं थे, और जानबूझकर खराब हो गए थे।

इसके अलावा, लेखक अपनी कार्यप्रणाली के एक और दिलचस्प अनुप्रयोग पर विचार करते हैं: नई कक्षाओं को उजागर करने के लिए जेनरेटिव क्लासिफायरियर का उपयोग करें, जो परीक्षण में प्रशिक्षण में नहीं थे, और फिर क्लासिफायर के मापदंडों को स्वयं अपडेट करें ताकि भविष्य में इस नई कक्षा को निर्धारित कर सकें।

एडवरसैरियल उदाहरण है कि मूर्ख कंप्यूटर विजन और टाइम-लिमिटेड इंसान दोनों हैं
सार: https://arxiv.org/abs/1802.08195

adversarial examples . , . adversarial example . , , , , , , , adversarial attacks.



adversarial examples. adversarial examples , ( , ).

, adversarial example, . , , 63 . accuracy 10% , adversarial. , adversarial , . , perturbation perturbation , accuracy .



adv — adversarial example, image — , flip — + adversarial perturbation, .

Sanity Checks for Saliency Maps

Abstract

— . deep learning, saliency maps. Saliency maps . saliency map, , “”.



: “ saliency maps?” , :

1. Saliency map
2. Saliency map ,

, : cascading randomization ( , , saliency map) independent randomization ( ). : , saliency maps.
saliency map , , saliency maps. : “To our surprise, some widely deployed saliency methods are independent of both the data the model was trained on, and the model parameters”, — . , , saliency maps, , cascading randomization:



, . , saliency maps .

, — saliency maps , , confirmation bias. , .

An intriguing failing of convolutional neural networks and the CoordConv solution
Abstract: https://arxiv.org/abs/1807.03247
: , 10 .

Uber. , , , . , :



: ( CoodrConv ) i j, :



, :

1. ImageNet'. , , , ,
2. CoordConv object detection. MNIST, Faster R-CNN, IoU 21%
3. CoordConv GAN .
   
   
   
   GAN' : LSUN. , — c. , GAN' , , . CoordConv , . LSUN d , , CoordConv GAN,
   
4. 4. CoordConv A2C ( ) .

, , . CoordConv U-net : https://arxiv.org/abs/1812.01429, https://www.kaggle.com/c/tgs-salt-identification-challenge/discussion/69274 , https://github.com/mjDelta/Kaggle-RSNA-Pneumonia-Detection-Challenge .

.

Regularizing by the Variance of the Activations' Sample-Variances

Abstract


batch normalization. - . : S1 S2 :



जहां and2 क्रमशः S1 और S2 में नमूना संस्करण हैं, the प्रशिक्षित सकारात्मक गुणांक है। लेखक इस बात को विचरण कांस्टेन्सी लॉस (VCL) कहते हैं और इसे कुल नुकसान में शामिल करते हैं।

प्रयोगों के बारे में अनुभाग में, लेखक शिकायत करते हैं कि अन्य लोगों के लेखों के परिणामों को कैसे पुन: प्रस्तुत नहीं किया जाता है और खुद को एक प्रतिलिपि प्रस्तुत करने योग्य कोड (बाहर रखी) करने के लिए प्रतिबद्ध है। सबसे पहले, उन्होंने छोटी तस्वीरों (CIFAR-10 और CIFAR-100) के डेटासेट पर 11-परत की जाली के साथ प्रयोग किया। हमें पता चला कि वीसीएल साबित हो रहा है, अगर आप लीकेज ReLU या ELU को सक्रियण के रूप में उपयोग करते हैं, लेकिन बैच सामान्यीकरण ReLU के साथ बेहतर काम करता है। फिर वे परतों की संख्या 2 गुना बढ़ाते हैं और टिनी इमेगेनेट पर स्विच करते हैं - 200 कक्षाओं के साथ इमेनेजेट का सरलीकृत संस्करण और 64x64 का संकल्प। सत्यापन में, वीसीएल, एएलयू के साथ-साथ रेसनेट -११० और डेंसनेट -४० के साथ एक ग्रिड पर बैच सामान्यीकरण करता है, लेकिन वाइड-रेसनेट -३२ से बेहतर प्रदर्शन करता है। एक दिलचस्प बात यह है कि सबसे अच्छे परिणाम तब प्राप्त होते हैं जब सबसेट S1 और S2 में दो नमूने होते हैं।

इसके अलावा, लेखक फ़ीड-फॉरवर्ड नेटवर्क में वीसीएल का परीक्षण करते हैं और वीसीएल बैच सामान्यीकरण या नियमितीकरण के बिना नेटवर्क की तुलना में कुछ अधिक बार जीतता है।

ड्रॉपमैक्स: एडेप्टिव वेरिएशनल सॉफ्टमैक्स

अमूर्त
कोड

यह प्रत्येक नमूने के लिए ग्रेडिएंट वंश के प्रत्येक पुनरावृत्ति पर बहुरंगी वर्गीकरण समस्या में कुछ संख्या में गलत वर्गों को बेतरतीब ढंग से छोड़ने के लिए प्रस्तावित है। इसके अलावा, वह संभावना जिसके साथ हम एक या किसी अन्य वस्तु के लिए एक या दूसरी कक्षा छोड़ते हैं, उसे भी प्रशिक्षित किया जा रहा है। नतीजतन, यह पता चलता है कि नेटवर्क "ध्यान केंद्रित" को अलग-अलग वर्गों के लिए सबसे कठिन के बीच भेद करता है।



MNIST, CIFAR, और Imagenet सबसेट पर प्रयोग बताते हैं कि DropMax मानक SoftMax और इसके कुछ संशोधनों दोनों से बेहतर प्रदर्शन करता है।

पेयरवाइज इंटरैक्शन के साथ सटीक इंटेलिजेंट मॉडल
(फ्रेंड्स दोस्तों को ब्लैक-बॉक्स मॉडल्स पर निर्भर नहीं रहने देते: मशीन लर्निंग में इंटेलिजेंस का महत्व)

सार: http://www.cs.cornell.edu/~yinlou/papers/lou-kdd13.pdf
कोड: यह वहाँ नहीं है। मुझे इस बात में बहुत दिलचस्पी है कि लेखक कोड की कमी के साथ इस तरह के एक छोटे से अनिवार्य नाम को कैसे लागू करते हैं। शिक्षाविद, सर =)

आप इस पैकेज को देख सकते हैं, उदाहरण के लिए: https://github.com/dswah/pyGAM । फ़ीचर इंटरैक्शन को इसमें बहुत पहले नहीं जोड़ा गया था (जो वास्तव में GAM को GA2M से अलग करता है)।

इस लेख को कार्यशाला की रूपरेखा में प्रस्तुत किया गया था "ऑडियो, भाषण, और भाषा में व्याख्या और रोबस्टनेस", हालांकि यह सामान्य रूप से मॉडल की व्याख्या के लिए समर्पित है, और ध्वनि और भाषण विश्लेषण के क्षेत्र के लिए नहीं। संभवत:, मॉडल व्याख्या और मॉडल के बीच चयन की दुविधा के साथ हर किसी का कुछ हद तक सामना किया गया था। इसकी सटीकता। यदि हम सामान्य रैखिक प्रतिगमन का उपयोग करते हैं, तो हम गुणांकों द्वारा समझ सकते हैं कि प्रत्येक स्वतंत्र चर निर्भरता को कैसे प्रभावित करता है। यदि हम ब्लैक-बॉक्स मॉडल का उपयोग करते हैं, उदाहरण के लिए, जटिलता या गहरी तंत्रिका नेटवर्क पर प्रतिबंधों के बिना ढाल को बढ़ावा देना, उपयुक्त डेटा पर एक सही ढंग से ट्यून किया गया मॉडल बहुत सटीक होगा, लेकिन उन सभी पैटर्नों को ट्रैक करना और उन्हें समझाना जो डेटा में पाए गए मॉडल समस्याग्रस्त होंगे। तदनुसार, ग्राहक को मॉडल की व्याख्या करना और यह ट्रैक करना मुश्किल होगा कि क्या उसने कुछ सीखा है जो हम पसंद नहीं करेंगे। नीचे दी गई तालिका विभिन्न प्रकार के मॉडल की सापेक्ष व्याख्या और सटीकता का अनुमान प्रदान करती है।



ऐसी स्थिति का एक उदाहरण जहां मॉडल की खराब व्याख्या महान जोखिमों के साथ जुड़ी हुई है: चिकित्सा डेटासेट में से एक पर, निमोनिया से रोगी के मरने की संभावना की भविष्यवाणी करने की समस्या हल हो गई थी। डेटा में निम्नलिखित दिलचस्प पैटर्न पाया गया था: यदि किसी व्यक्ति को ब्रोन्कियल अस्थमा है, तो निमोनिया से मरने की संभावना इस बीमारी के बिना लोगों की तुलना में कम है। जब शोधकर्ताओं ने डॉक्टरों को अभ्यास करने के लिए बदल दिया, तो यह पता चला कि इस तरह का एक पैटर्न वास्तव में मौजूद है, क्योंकि निमोनिया के मामले में अस्थमा से पीड़ित लोगों को सबसे त्वरित मदद और मजबूत दवाएं मिलती हैं। यदि हम इस डेटासेट पर xgboost को प्रशिक्षित करते हैं, तो सबसे अधिक संभावना है कि उसने इस पैटर्न को पकड़ा होगा, और हमारा मॉडल अस्थमा के रोगियों को कम जोखिम वाले समूह के रूप में वर्गीकृत करेगा और तदनुसार, उनके लिए एक कम प्राथमिकता और उपचार तीव्रता की सिफारिश करेगा।

लेख के लेखक एक विकल्प प्रदान करते हैं जो एक ही समय में व्याख्यात्मक और सटीक दोनों है - यह GA2M है, सामान्यीकृत योजक मॉडल की एक उप-प्रजाति।

क्लासिक जीएएम को जीएलएम के आगे सामान्यीकरण के रूप में माना जा सकता है: एक मॉडल एक राशि है, जिसका प्रत्येक शब्द आश्रित पर केवल एक स्वतंत्र चर के प्रभाव को दर्शाता है, लेकिन प्रभाव एक वजन गुणांक द्वारा नहीं व्यक्त किया जाता है, जैसा कि जीएलएम में है, लेकिन एक चिकनी nonparametric फ़ंक्शन द्वारा (एक नियम के रूप में, एक टुकड़ा के रूप में परिभाषित किया गया है) फ़ंक्शंस - "स्टंप" सहित छोटी गहराई के विभाजन या पेड़)। इस सुविधा के कारण, GAM एक साधारण रेखीय मॉडल की तुलना में अधिक जटिल संबंध बना सकते हैं। दूसरी ओर, सीखा निर्भरता (कार्य) कल्पना और व्याख्या की जा सकती है।



हालांकि, मानक GAM अभी भी अक्सर ब्लैक-बॉक्स एल्गोरिदम की सटीकता तक नहीं पहुंचते हैं। इसे ठीक करने के लिए, लेख के लेखक एक समझौता करते हैं - मॉडल समीकरण में जोड़ने के लिए, एक चर के कार्यों के अलावा, दो चर के कार्यों की एक छोटी संख्या - सावधानी से चयनित जोड़े जिनकी परस्पर निर्भरता की भविष्यवाणी के लिए बातचीत महत्वपूर्ण है। इस प्रकार, GA2M प्राप्त किया जाता है।

सबसे पहले, एक मानक GAM बनाया गया है (चर की बातचीत पर विचार किए बिना), और फिर चर के जोड़े को चरण दर चरण जोड़ा जाता है (शेष GAM को लक्ष्य चर के रूप में उपयोग किया जाता है)। मामले के लिए जब बहुत सारे चर होते हैं और प्रत्येक चरण के बाद मॉडल को अपडेट करना कम्प्यूटेशनल रूप से कठिन होता है, तो एक फास्ट रैंकिंग एल्गोरिदम प्रस्तावित किया जाता है, जिसके साथ आप संभावित रूप से उपयोगी जोड़े का चयन कर सकते हैं और पूर्ण गणना से बच सकते हैं।

यह दृष्टिकोण हमें असीमित जटिलता के मॉडल के करीब गुणवत्ता प्राप्त करने की अनुमति देता है। तालिका विभिन्न डेटासेट पर वर्गीकरण समस्या को हल करने के लिए यादृच्छिक वन की तुलना में सामान्यीकृत योज्य मॉडल की त्रुटि दर को दर्शाती है, और ज्यादातर मामलों में GA2M के लिए FAST के साथ और यादृच्छिक जंगलों के लिए पूर्वानुमान की गुणवत्ता में काफी भिन्नता नहीं है।



मैं शिक्षाविदों के काम की विशेषताओं की ओर ध्यान आकर्षित करना चाहूंगा जो इन बूस्टिंग और डीप लेरिंग को भट्ठी में भेजने की पेशकश करते हैं। कृपया ध्यान दें कि जिन डेटासेट पर परिणाम प्रस्तुत किए जाते हैं उनमें 20 हजार से अधिक ऑब्जेक्ट नहीं होते हैं (सभी डेटासेट यूसीआई रिपॉजिटरी से)। एक स्वाभाविक सवाल उठता है: क्या वास्तव में 2018 में इस तरह के प्रयोगों के लिए सामान्य आकार का कोई खुला डेटासेट नहीं है? आप आगे जा सकते हैं और 50 वस्तुओं के डेटासेट पर तुलना कर सकते हैं - एक मौका है कि निरंतर मॉडल एक यादृच्छिक जंगल से महत्वपूर्ण रूप से भिन्न नहीं होगा।

अगला बिंदु नियमितीकरण का है। बड़ी संख्या में संकेतों पर बातचीत के बिना भी पीछे हटना बहुत आसान है। लेखक यह मान सकते हैं कि यह समस्या मौजूद नहीं है, और एकमात्र समस्या ब्लैक-बॉक्स मॉडल है। कम से कम लेख में, नियमितीकरण कहीं भी नहीं कहा गया है, हालांकि यह स्पष्ट रूप से आवश्यक है।

और आखिरी, व्याख्या के बारे में। यहां तक ​​कि अगर हमारे पास बहुत सारी विशेषताएं हैं, तो भी रैखिक मॉडल व्याख्यात्मक नहीं हैं। जब आपके पास 10 हजार सामान्य रूप से वज़न वितरित किया जाता है (एल 2-नियमितिकरण का उपयोग करने के मामले में यह कुछ इस तरह होगा), तो यह कहना असंभव है कि कौन से संकेत इस तथ्य के लिए जिम्मेदार हैं कि भविष्यवाणी_प्रोपा 0.86 देता है। व्याख्या के लिए, हम न केवल एक रैखिक मॉडल चाहते हैं, बल्कि विरल भार के साथ एक रैखिक मॉडल भी चाहते हैं। ऐसा लगता है कि यह एल 1-नियमितीकरण द्वारा प्राप्त किया जा सकता है, लेकिन यहां भी, इतना सरल नहीं है। दृढ़ता से सहसंबद्ध सुविधाओं के एक सेट से, एल 1-नियमितीकरण दुर्घटना से लगभग एक का चयन करेगा। बाकी को 0 का वजन मिलेगा, हालांकि अगर इन विशेषताओं में से एक में अनुमानित क्षमता है, तो अन्य स्पष्ट रूप से केवल शोर नहीं हैं। मॉडल की व्याख्या के संदर्भ में, यह ठीक हो सकता है, सुविधाओं और लक्ष्य चर के संबंध को समझने के मामले में, यह बहुत बुरा है। यही है, रैखिक मॉडल के साथ भी, सब कुछ इतना सरल नहीं है, व्याख्यात्मक और विश्वसनीय मॉडल के बारे में अधिक विवरण यहां पाया जा सकता है ।

मशीन लर्निंग के लिए विज़ुअलाइज़ेशन: यूएमएपी

absract
कोड

ट्यूटोरियल के दिन, सबसे पहले प्रदर्शन में से एक था "मशीन लर्निंग के लिए विज़ुअलाइज़ेशन" Google मस्तिष्क द्वारा। ट्यूटोरियल के भाग के रूप में, हमें पहले रेखांकन के निर्माता से शुरू होने वाले विज़ुअलाइज़ेशन के इतिहास के बारे में बताया गया था, साथ ही साथ मानव मस्तिष्क और धारणा और तकनीकों की विभिन्न विशेषताओं के बारे में बताया गया था, जिनका उपयोग चित्र में सबसे महत्वपूर्ण बात पर ध्यान आकर्षित करने के लिए किया जा सकता है, यहां तक ​​कि कई छोटे विवरण भी शामिल हैं - उदाहरण के लिए, हाइलाइटिंग आकार, रंग, फ्रेम, आदि, जैसा कि नीचे की तस्वीर में है। मैं इस हिस्से को छोड़ दूंगा, लेकिन एक अच्छी समीक्षा है ।



व्यक्तिगत रूप से, मैं सबसे अधिक बहुआयामी डेटासेट के विज़ुअलाइज़ेशन के विषय में रुचि रखता था, विशेष रूप से, यूनिफ़ॉर्म मैनिफोल्ड अप्रीमेंशन एंड प्रोजेक्शन (यूएमएपी) दृष्टिकोण - आयाम को कम करने का एक नया गैर-रैखिक तरीका। यह इस साल फरवरी में प्रस्तावित किया गया था, इसलिए बहुत कम लोग अभी तक इसका उपयोग करते हैं, लेकिन यह दोनों काम के समय के संदर्भ में और दो-आयामी विज़ुअलाइज़ेशन में कक्षाओं को अलग करने की गुणवत्ता के संदर्भ में आशाजनक लग रहा है। इसलिए, विभिन्न डेटासेट पर, UMAP गति के संदर्भ में टी-एसएनई और अन्य तरीकों से 2-10 गुना आगे है, और डेटा आयाम जितना बड़ा होगा, प्रदर्शन में अंतर उतना ही अधिक होगा:



इसके अलावा, टी-एसएनई के विपरीत, यूएमएपी ऑपरेटिंग समय नए स्थान के आयाम से लगभग स्वतंत्र है जिसमें हम अपने डेटासेट (नीचे आंकड़ा देखें) को एम्बेड करेंगे, जो इसे अन्य कार्यों के लिए एक उपयुक्त उपकरण बनाता है (दृश्य के अलावा) - विशेष रूप से, मॉडल को प्रशिक्षित करने से पहले आयाम को कम करने के लिए।



इसी समय, विभिन्न डेटासेट पर परीक्षण से पता चला कि यूएमएपी विज़ुअलाइज़ेशन के लिए कोई बदतर काम नहीं करता है, और टी-एसएनई स्थानों में बेहतर है: उदाहरण के लिए, एमएनआईएसटी और फैशन एमएनआईएसटी डेटासेट पर, कक्षाएं यूएमएपी के साथ संस्करण में बेहतर रूप से अलग हो जाती हैं:



एक अतिरिक्त प्लस एक सुविधाजनक कार्यान्वयन है: UMAP वर्ग को स्केलेर वर्गों से विरासत में मिला है, इसलिए आप इसे स्केलेर पाइपलाइन में एक नियमित ट्रांसफार्मर के रूप में उपयोग कर सकते हैं। इसके अलावा, यह तर्क दिया जाता है कि टीएम-एसएनई की तुलना में यूएमएपी अधिक व्याख्यात्मक है बेहतर वैश्विक डेटा संरचना को बनाए रखता है।

भविष्य में, लेखक अर्ध-पर्यवेक्षित प्रशिक्षण के लिए समर्थन जोड़ने की योजना बनाते हैं - अर्थात, यदि हमारे पास कम से कम कुछ वस्तुओं के लिए टैग हैं, तो हम इस जानकारी के आधार पर UMAP का निर्माण कर सकते हैं।

आपको कौन सा लेख पसंद आया? टिप्पणियां लिखें, सवाल पूछें, हम उनका जवाब देंगे।