शीर्षक "आपके लिए लेख पढ़ें।" अक्टूबर - दिसंबर 2019

नमस्कार, हेब्र! हम चैनल #article_essense से ओपन डेटा साइंस समुदाय के सदस्यों के वैज्ञानिक लेखों की समीक्षाओं को प्रकाशित करना जारी रखते हैं। यदि आप उन्हें हर किसी से पहले प्राप्त करना चाहते हैं - समुदाय में शामिल हों!

आज के लिए लेख:

1. पॉली-एनकोडर: ट्रांसफार्मर आर्किटेक्चर और प्री-ट्रेनिंग स्ट्रैटेजीज़ फॉर फास्ट एंड एक्यूरेट मल्टी-वाक्य स्कोरिंग (फेसबुक, 2019)
2. भिन्नता संबंधी ऑटोइंकोडर में इंप्लांटेड डिस्क्रिमिनेटर (भारतीय प्रौद्योगिकी संस्थान रोपड़, 2019)
3. नॉइज़ स्टूडेंट के साथ सेल्फ ट्रेनिंग से इमेजनेट वर्गीकरण (गूगल रिसर्च, कार्नेगी मेलन यूनिवर्सिटी, 2019) में सुधार होता है
4. अनसुनीकृत विज़ुअल रिप्रेजेंटेशन लर्निंग के लिए मोमेंटम कंट्रास्ट (फेसबुक, 2019)
5. बेंचमार्किंग न्यूरल नेटवर्क रॉबनेस टू कॉमन करप्शन एंड पर्टर्बेशन्स (कैलिफोर्निया विश्वविद्यालय, ओरेगन स्टेट यूनिवर्सिटी, 2019)
6. डिस्टिलबर्ट, BERT का एक आसुत संस्करण: छोटा, तेज, सस्ता और हल्का (हगिंग फेस, 2019)
7. प्लग एंड प्ले लैंग्वेज मॉडल: एक सरल दृष्टिकोण नियंत्रित करने के लिए जनरेशन (उबर एआई, कैलटेक, एचकेयूएसटी, 2019)
8. पॉलीफोनिक संगीत में F0 अनुमान के लिए गहरा नम्रता प्रतिनिधित्व (न्यूयॉर्क विश्वविद्यालय, यूएसए, 2017)
9. स्टाइलगन की छवि गुणवत्ता का विश्लेषण और सुधार (NVIDIA, 2019)

1. पॉली-एनकोडर: ट्रांसफार्मर आर्किटेक्चर और प्री-ट्रेनिंग स्ट्रैटेजीज़ फॉर फास्ट एंड एक्यूरेट मल्टी-वाक्य स्कोरिंग

लेखक: सैमुअल हम्उ, कर्ट शस्टर, मैरी-ऐनी लचाक्स, जेसन वेस्टन (फेसबुक, 2019)
→ मूल लेख
लेखक की समीक्षा करें: एलेक्सी (सुस्त ज़िरजेमली में)

TLDR

लेख वाक्य के जोड़े (बयान) स्कोर करने के लिए एक नया दृष्टिकोण प्रस्तावित करता है। यह प्रक्रिया एक सशर्त संदर्भ की प्रतिक्रिया के पत्राचार की भविष्यवाणी करने के कार्यों में, साथ ही साथ अगले संवेदी पूर्वानुमान जैसे कार्यों में प्रासंगिक है। प्रस्तावित पॉली-एनकोडर विधि की तुलना द्वि-एनकोडर और क्रॉस-एनकोडर रणनीतियों के साथ की जाती है। विधि द्वि-एनकोडर (प्रतिक्रियाओं की प्रस्तुति को कैश करने की क्षमता) और क्रॉस-एनकोडर (संदर्भ और उत्तर एनकोडर के बिना शर्त प्रशिक्षण नहीं) का लाभ जोड़ती है

बहु वाक्य स्कोरिंग

(बी और क्रॉस एनकोडर दृष्टिकोण के बारे में एक छोटा सा अनुस्मारक। जो लोग परिचित हैं, आप उन्हें छोड़ सकते हैं)

मौजूदा उत्तरों के सेट पर संदर्भ (उपयोगकर्ता अनुरोध या बयान) के पत्राचार को निर्धारित करने का कार्य ज्यादातर संवाद और सूचना-पुनर्प्राप्ति प्रणालियों में प्रासंगिक है। यह या तो संदर्भ और प्रतिक्रिया के एन्कोडेड अभ्यावेदन के बीच एक निश्चित गति (डॉट उत्पाद) को खोजने के द्वारा हल किया जाता है, या संयुक्त रूप से संदर्भ और एक वेक्टर में प्रतिक्रिया के बाद एक स्केलर में रैखिक परिवर्तन के साथ।

पहले दृष्टिकोण को बी-एनकोडर कहा जाता है और इस पद्धति का स्पष्ट लाभ सभी उपलब्ध उत्तरों के अभ्यावेदन को ऑफ़लाइन-गिनने की क्षमता है। ये दृश्य कैश्ड हैं, और अनुमान के दौरान आपको केवल क्वेरी वेक्टर खोजने की जरूरत है, प्रतिक्रिया वैक्टर के साथ एक डॉट उत्पाद बनाएं और परिणाम की व्यवस्था करें। इसके अलावा, यह दृष्टिकोण प्रशिक्षण चरण में अधिक कुशल नकारात्मक नमूनाकरण की अनुमति देता है। अर्थात्, प्रत्येक बैच के भीतर, सकारात्मक नमूनों के लिए अभ्यावेदन पर विचार किया जाता है, और नकारात्मक उदाहरणों को सीधे उसी बैच से लिया जा सकता है। संक्षेप में, सकारात्मक और नकारात्मक उदाहरणों के लिए आगे पास का पुन: उपयोग करें। द्वि-एनकोडर दृष्टिकोण का नुकसान तथ्य यह है कि संदर्भ और प्रतिक्रिया प्रतिनिधित्व लगभग स्वतंत्र रूप से सीखते हैं। एकमात्र बिंदु जहां अनुरोध और प्रतिक्रिया विचारों के बीच कम से कम किसी प्रकार का सूचना प्रवाह संभव है, अंतिम डॉट उत्पाद के रूप में बॉटनेट है। किसी भी पाठ्य सुविधाओं के स्तर पर, जानकारी धूमिल नहीं होती है।

दूसरा दृष्टिकोण क्रॉस-एनकोडर है। इसमें सीखने की प्रक्रिया और अनुमान में संदर्भ और प्रतिक्रिया की अधिक शक्तिशाली बातचीत शामिल है। यहां, अनुरोध और प्रतिक्रिया टोकन अनुक्रमों को एक में समाहित किया गया है। उनके बीच एक विशेष विभाजक टोकन रखा जाता है, और प्रत्येक भाग (अनुरोध, प्रतिक्रिया) में एक विशेष एम्बेडिंग जोड़ा जाता है। वास्तव में, यह एम्बेडिंग कुछ निरंतर द्वारा प्रतिक्रिया टोकन के इनपुट अभ्यावेदन को स्थानांतरित करता है, ताकि मॉडल उन्हें अनुरोध टोकन से आसानी से अलग कर सके। नतीजतन, मॉडल अनुरोध और प्रतिक्रिया का एक संयुक्त प्रतिनिधित्व खोजने के लिए सीखता है, जैसे कि अंतिम रैखिक परत (वेक्टर -> स्केलर) एक दूसरे से मेल खाने वाले वाक्यों के जोड़े के लिए एक बड़े लॉगिट मान और अन्यथा एक छोटा मान लौटाता है। इस दृष्टिकोण का नुकसान ऑफ़लाइन-गिनती की जवाबदेही की असंभवता है: उन्हें अनुरोध टोकन के एक सशर्त सेट के साथ, एक अनुमान चरण में मूल्यांकन किया जाना चाहिए। इसके अलावा, प्रशिक्षण के स्तर पर नकारात्मक और सकारात्मक उदाहरणों के विचारों का पुन: उपयोग करने की चाल अब यहां काम नहीं करेगी। आपको बैच के गठन से पहले नकारात्मक नमूने एकत्र करने होंगे।

प्रेरणा
निम्नलिखित एक समाधान है जो आपको कमियों को कम करने और द्वि और क्रॉस एनकोडर दृष्टिकोणों के लाभों को संयोजित करने की अनुमति देता है। विचार यह है कि हम एक एनकोडर को प्रशिक्षित करना चाहते हैं, जो एक ओर, अनुरोध टोकन पर प्रतिक्रिया टोकन की सशर्त निर्भरता को ध्यान में रखेगा, और दूसरी ओर, इस निर्भरता का उपयोग प्रतिक्रिया और अनुरोध के पूर्व मूल्यांकन किए गए अभ्यावेदन पर होना चाहिए। ज्यामितीय रूप से, मैं व्यक्तिगत रूप से कुछ इस तरह की कल्पना करता हूं: बॉटनेट (दो सबमिशन का अंतिम डॉट उत्पाद) को नेटवर्क पर थोड़ा कम स्थानांतरित करें। अनुरोध और प्रतिक्रिया विचारों के बीच कुछ इंटरैक्शन बनाएं। इसी समय, इस तरह की बातचीत को लागू करना अंतिम परत से बहुत दूर नहीं है, ताकि अनुरोध एनकोडर का मुख्य हिस्सा प्रतिक्रिया एनकोडर से स्वतंत्र रहे।

कार्यान्वयन
इस तरह के एक विचार का कार्यान्वयन काफी सरल है: उम्मीदवार एनकोडर द्वि-एनकोडर के मामले में काम करता है: हमें ट्रांसफॉर्मर-आधारित मॉडल (बीईआरटी) का उपयोग करके वेक्टर फॉर्म ([सीएलएस] टोकन) में अनुक्रम प्रतिनिधित्व मिलता है। हम मॉडल को प्रशिक्षित करने के बाद इन अभ्यावेदन को कैश करते हैं।

संदर्भ एनकोडर, बदले में, एक एकल वेक्टर में इनपुट अनुक्रम के प्रतिनिधित्व को संपीड़ित नहीं करता है। यहां हम मॉडल द्वारा एन्कोड किए गए सभी अनुक्रम वैक्टर को छोड़ देते हैं।

संदर्भ (वैक्टर का एक सेट) और उम्मीदवार (एक वेक्टर) की अनुरूपता का आकलन प्राप्त करने के लिए, ध्यान तंत्र का उपयोग किया जाता है। इस मामले में उम्मीदवार वेक्टर एक अनुरोध है, और संदर्भ वेक्टर कुंजी है। यह डॉट उत्पाद माना जाता है और इसके परिणामस्वरूप मूल्यों के अनुसार सॉफ्टमैक्स। प्रसंग वाले वैक्टर को परिणामी वितरण द्वारा भारित किया जाता है और जोड़ा जाता है। नतीजतन, हमें एकल वेक्टर के रूप में संदर्भ प्रतिनिधित्व मिलता है। और आगे, सामान्य द्वि-एनकोडर की तरह, हम संदर्भ और उम्मीदवार के डॉट उत्पाद पर विचार करते हैं।

इसके अलावा, लेख ने संदर्भ वैक्टर के भार को तेज करने के कई तरीके प्रस्तावित किए। सबसे अधिक काम करने वाला विकल्प ध्यान की गिनती की एक ऐसी प्रक्रिया थी, जिसमें केवल संदर्भ अनुक्रम के पहले m वैक्टर को लिया गया था।

परिणाम
नतीजतन, यह पता चला कि क्रॉस-एनकोडर अभी भी सबसे अच्छा काम करता है। लेकिन क्वालिटी मेट्रिक्स के मामले में पॉली-एनकोडर इससे बहुत पीछे नहीं है, और अनुमान गति के मामले में यह सैकड़ों गुना तेजी से काम करता है।

2. विविधतापूर्ण ऑटोकेनोडर में निहित विभेदक

लेखक: प्रतीक मुंजाल, आकांक्षा पॉल, नारायणन सी। कृष्णन (भारतीय प्रौद्योगिकी संस्थान रोपड़, 2018)
→ मूल लेख
लेखक की समीक्षा करें: एलेक्स चिरोन (स्लेरोन शेरोन 8bit में)

लेख में, लेखकों ने एक वास्तुकला का प्रस्ताव किया जो छवि निर्माण के लिए VAE और GAN दृष्टिकोणों के लाभों को संयोजित करने का प्रयास करता है, प्रत्येक दृष्टिकोण में निहित नुकसानों को दरकिनार करता है: ऑटोसेरोडर्स के मामले में धुंधलापन, मोडर्स / मोडर्स के विपरीत प्रशिक्षण के मामले में गायब। वे एनकोडर और डिस्क्रिमिनेटर और आम जनरेटर / डिकोडर के बीच कुल वजन के कारण इसे प्राप्त करते हैं, जो, सबसे पहले, नेटवर्क वेट की संख्या को कम करता है, और दूसरी बात, अगर हम जनरेटर / डिकोडर नहीं गिरते हैं, तो हमें भेदभावकर्ताओं से उपयोगी जानकारी प्राप्त करने की अनुमति देता है। वास्तविक डेटा वितरण में।

प्राथमिक अथवा प्रारम्भिक लक्षण
पीढ़ी की समस्याओं में, वास्तविक डेटा पी के वितरण के साथ उत्पन्न डेटा क्यू के वितरण के संयोग से एक महत्वपूर्ण भूमिका निभाई जाती है, जिसे कुल्बैक-लीब्लर विचलन के माध्यम से मापा जाता है। वितरणों की पश्चाताप की इस माप की एक विशिष्ट विशेषता यह है कि यह असममित है। तदनुसार, हमें अलग-अलग चित्र मिलेंगे, जो इस बात पर निर्भर करते हैं कि हम Div_KL (P || Q) या Div_KL (Q. P) पर विचार करते हैं या नहीं। यदि हम वितरण की तुलना करने के लिए दो विकल्पों पर विचार करते हैं (नीचे दी गई छवि में), तो Div_KL (P || Q) (उर्फ फॉरवर्ड-केएल, उर्फ़ ज़ीरो अवॉइडिंग) के साथ, दूसरा विकल्प कम मूल्य देगा, और Div_KL (Q P) के लिए || (यह पीछे-केएल, यह भी शून्य मजबूर है) पहले विकल्प से वितरण को करीब वितरण माना जाएगा। वास्तव में, वीएई और जीएएन के परिणाम बहुत भिन्न होते हैं: पुनर्निर्माण (एल 2) हानि आगे-केएल विचलन को कम करने में मदद करता है (और इस प्रकार हम सभी मोड को संरक्षित करते हैं, लेकिन हमें धुंधली छवियां मिलती हैं), और एक विवेचक के साथ प्रशिक्षण मदद करता है किवर्ड-केएल विचलन को कम करता है (चित्र अधिक प्राप्त किए जाते हैं) स्पष्ट है, लेकिन आधुनिक लंघन का खतरा है)

वास्तुकला, हानियाँ और प्रशिक्षण
जैसा कि पहले उल्लेख किया गया है, लेखक दोनों मोड की कमियों को ध्यान में रखते हैं और नेटवर्क आर्किटेक्चर (नीचे दी गई तस्वीर) के कारण दोनों कम से कम संयोजन करते हैं, जिसमें अधिकांश एनकोडर और डिस्क्रिमिनेटर वज़न आम हैं (केवल पूरी तरह से जुड़े हुए हैं जो छवि की 'वास्तविकता' की भविष्यवाणी करते हैं और पैरामीटर अलग-अलग हैं। म्यू, VAE अव्यक्त परत का सिग्मा), और प्रशिक्षण मोड के कारण भी। एनकोडर और जनरेटर समान हैं। उपयोग किए गए अधिकांश नुकसान काफी मानक हैं: L_enc एनकोडर लॉस में, पुनर्प्राप्ति का L2 त्रुटि और N (0,1) को Kullback-Leibler विचलन (L_pyer) का उपयोग किया जाता है, बाकी का प्रतिकूल प्रशिक्षण है (हम भेदभावपूर्ण आउटपुट को कम करते हैं जब भेदभाव करने वाला प्रशिक्षण होता है) डिकोडर / जनरेटर सीखते समय), लेकिन 2 विशिष्ट विशेषताएं हैं:

• प्रतिकूल प्रशिक्षण-संबंधी मामलों में, विभक्त को 2 अलग-अलग प्रकार के उत्पन्न डेटा खिलाए जाते हैं: एनकोडर / डिकोडर के माध्यम से पुनर्प्राप्त और एन (0,1) से नमूनों से एक जनरेटर / डिकोडर द्वारा उत्पन्न होता है।

  
  

• L_dec डिकोडर के नुकसान में, एक सदस्य होता है जिसमें डिस्क्रिमिनेटर (फिर से, यह डिस्क्रिमिनेटर और एनकोडर के बीच अंतिम आम परत है) की विशेषताओं की तुलना वास्तविक और बहाल छवियों के लिए की जाती है।

  
  

परिणाम
लेखकों ने VAE और अन्य कार्यों के साथ परिणामों की तुलना की, एक तरह से या किसी अन्य ने VAE और GAN (VAE-GAN, अल्फ़ा-GAN और AGE को दिमित्री उल्यानोव और विक्टर लेम्पिट्स्की से) सेलेबा और cifar10 डेटासेट पर धन्यवाद देने की कोशिश की (धन्यवाद mnist के लिए नहीं)। पुनर्निर्माण त्रुटि और फ्रीचेट इंसेप्शन डिस्टेंस मीट्रिक (वास्तविक और उत्पन्न छवियों के लिए पूर्व-प्रशिक्षित मेष के लिए सक्रियण आंकड़ों की तुलना) के बारे में लगभग सर्वश्रेष्ठ संकेतक प्राप्त हुए। यह अलग से नोट किया गया था कि एफआईडी द्वारा रैंकिंग दृढ़ता से चुने गए आर्किटेक्चर पर निर्भर करती है, इसलिए परिणाम 'विशेषज्ञों' (विभिन्न आर्किटेक्चर) के पहनावा पर जांच करना बेहतर है।

3. शोर छात्र के साथ स्व-प्रशिक्षण ImageNet वर्गीकरण में सुधार करता है

लेखक: किज़े ज़ी, एडुआर्ड होवी, मिन्ह-थांग लुओंग, क्वोक वी। ले (गूगल रिसर्च, कार्नेगी मेलन यूनिवर्सिटी, 2019)
→ मूल लेख
लेखक की समीक्षा करें: अलेक्जेंडर बेल्स्की (सुस्त बेल्सिख में)

Google को छवि पर शीर्ष 1 का 87.4% और छवि पर सटीकता के शीर्ष 5 का 98.2% प्राप्त हुआ। ज़युज़ाली अस्पष्ट छद्म डिमिंग और बहुत बोल्ड नेटवर्क। दृष्टिकोण को शोर छात्र कहा जाता था।

एल्गोरिथ्म कुछ इस तरह है:

1. हम एक शिक्षक मॉडल लेते हैं, हम एक सामान्य छवि सिखाते हैं।
2. हम JFT डेटासेट से छवियों पर सॉफ्ट सोडो लेबल बनाते हैं।
3. हम छात्र को नरम छद्म लेबल पर मॉडल सिखाते हैं, और हम जितनी जल्दी हो सके हस्तक्षेप करते हैं: मजबूत आसनों, ड्रॉपआउट्स और स्टोचैस्टिक गहराई
4. छात्र मॉडल लें, इसे चरण 2 में शिक्षक के रूप में उपयोग करें और प्रक्रिया को दोहराएं। डेटासेट निम्नानुसार वर्गों के अनुसार संतुलित है। शुरुआत करने के लिए, हमने EfficNet-B0 लिया, छवि पर प्रशिक्षित, JFT डेटासेट पर अपनी भविष्यवाणियों को निकाल दिया। फिर उन्होंने उन उदाहरणों को लिया जिनके लिए अधिकतम आत्मविश्वास 0.3 से ऊपर है। प्रत्येक वर्ग के लिए, 130K छवियों को लिया गया था (यदि 0.3 ट्रैशहोल्ड द्वारा फ़िल्टर करने के बाद वे कम थे - डुप्लिकेट किए गए, यदि अधिक - उच्चतम विधेय स्कोप के अनुसार लिया गया)। 130M चित्र, डुप्लिकेट उत्सर्जन, 81M प्राप्त किया

वास्तुकला:
EfficeintNet, इसके अलावा, छात्र मॉडल बहुत अधिक शिक्षक शिक्षक मॉडल लेता है। उन्होंने एफिशिएंटनेट को भी एफीशिएंट-एल0 / एल 1 / एल 2 में स्कैन किया, जिसके परिणामस्वरूप 480 एम मापदंडों के साथ एक एल 2 मॉडल (रेसनेट 50 में तुलना के लिए 26 एम पैरामीटर है)

सीखने की प्रक्रिया:
ब्यूटिसेक 2048. सोता मॉडल L2 ने 350 युग सिखाए। क्लाउड टीपीयू v3 पॉड पर 2048 कोर के साथ 3.5 दिनों के लिए इस मोड में सबसे बड़ा एल 2 मॉडल का अध्ययन किया गया।

Iterative सीखने की प्रक्रिया:
पहले तो उन्होंने बी 7 को एक छात्र और एक शिक्षक के रूप में पढ़ाया। फिर, बी 7 को शिक्षकों के रूप में उपयोग करते हुए, उन्होंने एक छात्र के रूप में लैटर एल 0 को पढ़ाया। फिर, इस तरह से अपने स्थानों को बदलते हुए, हम L2 मॉडल के पास पहुंचे, जो अंत में हमने उसी L2 मॉडल के लिए एक शिक्षक के रूप में उपयोग किया। परिणाम :: sota: पिछले सेल की तुलना में 2 गुना कम मॉडल मापदंडों के साथ (FixRes ResNeXt-101 WSL)। 829M पैरामीटर)

ImageNet-A / C / P पर भी बहुत अच्छे परिणाम मिले

4. Unsupervised विज़ुअल रिप्रेजेंटेशन लर्निंग के लिए मोमेंटम कंट्रास्ट

लेख के लेखक: काइमिंग हे, हाओकी फैन, युक्सिन वू, स्निइंग ज़ी, रॉस गिरशिक (फेसबुक, 2018)
→ मूल लेख
लेखक की समीक्षा करें: आर्सेनी क्रावचेंको (सुस्त आर्सेनिको में)

सोता कई कंप्यूटर विज़न कार्यों (वर्गीकरण से लेकर घनी मुद्रा अनुमान तक), विभिन्न डेटासेट (इमेजनेट, इंस्टाग्राम) और मुख्य कार्यों (इमेजनेट, सीओसीओ, सिटीस्केप्स, एलवीआईएस इत्यादि) पर परीक्षण के लिए एक अप्रकाशित ढोंग है।

कैसे अनर्गल दिखावा करते हैं? हम किसी प्रकार के कार्य के लिए आते हैं जिसके लिए लेबल की आवश्यकता नहीं होती है, हम एनकोडर सीखते हैं, इसे फ्रीज करते हैं, और फिर हम लापता परतों (वर्गीकरण के लिए रैखिक, विभाजन के लिए डिकोडर्स, और इसी तरह) को जोड़कर मुख्य समस्या को हल करते हैं। इस आला में सबसे लोकप्रिय कार्यों में से एक उदाहरण भेदभाव है, यह विपरीत हानि पर आधारित है, अर्थात। हम एक ही तस्वीर के विभिन्न संवर्द्धन की विशेषताएं एक दूसरे के करीब होना चाहते हैं (उदाहरण के लिए, कोसाइन दूरी के संदर्भ में), और विभिन्न लोगों की विशेषताएं बहुत दूर हैं।

आप इस कार्य को एंड-टू-एंड सिखाने की कोशिश कर सकते हैं, लेकिन बहुत कुछ बैच के आकार पर निर्भर करता है: गुणवत्ता बैच के अंदर के उदाहरणों की विविधता पर निर्भर करती है। प्रयोगों से पता चलता है कि बैच आकार बढ़ने के साथ, अंतिम गुणवत्ता में सुधार होता है। लेकिन बैच कुछ हद तक मॉस्को के समान है: यह रबर नहीं है, यह माथे में इसे बढ़ाने के लिए लंबे समय तक काम नहीं करेगा।

पिछले दोस्तों के पास-सेल के दोस्तों ने एक मेमोरी बैंक को खराब कर दिया: पिछले बैचों की विशेषताओं को मेमोरी में अलग-अलग संग्रहीत किया गया था और नकारात्मक लोगों को उत्पन्न करने के लिए भी उपयोग किया गया था, अर्थात। प्रसार के नमूने। इसने आंशिक रूप से मदद की, लेकिन अपूर्ण रूप से भी: प्रशिक्षण के दौरान, एनकोडर वेट बदलते हैं और पुरानी विशेषताएं खराब हो जाती हैं।

अंत में, लेख का विचार:

1. आइए एक सरल मेमोरी बैंक को एक कतार के साथ बदलें जहां काफी ताज़ा सुविधाएँ झूठ होंगी;
2. हम एनकोडर के दो संस्करणों को रखेंगे: एक का उपयोग वर्तमान बैच के लिए किया जाता है और प्रशिक्षित किया जाता है, और दूसरा अधिक स्थिर होता है, इसका वजन पहले संस्करण से अपडेट किया जाता है, लेकिन एक बड़ी गति के साथ;
3. बैच की विशेषताओं को पहले एनकोडर माना जाता है, कतार में सुविधाओं को दूसरे एनकोडर द्वारा गिना जाता है।

यह दृष्टिकोण एंड-टू-एंड प्रशिक्षण की गुणवत्ता के करीब जाना संभव बनाता है, लेकिन, लंबी लाइन-अप के लिए धन्यवाद, यह एक गैर-सूचीबद्ध बड़े बैच के संभावित परिणामों को प्राप्त करता है। इस तरह आपको विभिन्न कार्यों के लिए कूल मेट्रिक्स मिलते हैं, जिनमें शामिल हैं कुछ स्थानों पर यह कल्पना की पारंपरिक पर्यवेक्षित छवि से थोड़ा बेहतर है।

5. बेंचमार्किंग न्यूरल नेटवर्क रॉबनेस टू कॉमन करप्शन एंड पर्टर्बेशन्स

लेखक: डैन हेंड्रिक्स, थॉमस डाइटरिच (कैलिफोर्निया विश्वविद्यालय, ओरेगन स्टेट यूनिवर्सिटी, 2019)
→ मूल लेख
लेखक की समीक्षा करें: व्लादिमीर इग्लोविकोव (टर्ननस स्लैक में)

इसे ICLR 2019 में स्वीकार किया गया था और जैसा कि मैं इसे समझता हूं, यह उन DL कार्यों में से एक है जिसे किसी भी नेटवर्क में प्रशिक्षित नहीं किया गया है।

यह कार्य इस तरह था - लेकिन आइए ImageNet सत्यापन के लिए वृद्धि की कोशिश करें, लेकिन हम अखंड एक पर प्रशिक्षित करेंगे। इसके अलावा, adevrsarial के विपरीत, हमारे पास परिवर्तनों को आंख से छोटा और अदृश्य बनाने का कार्य नहीं है।

क्या किया गया है:

1. वृद्धि का एक सेट चुना गया है। लेखक कहते हैं कि यह सबसे आम है, लेकिन, मेरी राय में, वे झूठ बोलते हैं।
   उन्होंने इस्तेमाल किया: गाऊसीएनोइस, इस्नोइस, डाउस्केल, डिफोकस, मोशनब्लूर, जूमब्लूर, फ्रॉस्टेडग्लासब्लूर, जेपीकंपनी, स्नो, फॉग, रेन, इलास्टिक टोफॉर्म, आदि।
2. इन सभी परिवर्तनों को इमेजनेट सत्यापन के लिए लागू किया गया है। परिणामी डेटासेट को ImageNet-C नाम दिया गया था
3. ImageNet-P नामक एक भिन्नता भी प्रस्तावित की गई थी जिसमें प्रत्येक चित्र पर विभिन्न शक्तियों के परिवर्तनों के सेट लगाए गए थे।
4. मॉडल की स्थिरता का आकलन करने के लिए एक मीट्रिक प्रस्तावित किया गया था।
5. इस मीट्रिक के संदर्भ में कई मॉडलों का मूल्यांकन किया गया था: एलेक्सनेट, वीजीजी -11, वीजीजी -19, रेसनेट -50, रेसनेट -18, वीजीजी -19 + बीएन, आदि।

निष्कर्ष:

1. वृद्धि जितनी मजबूत होती है, मॉडल की सटीकता उतनी ही अधिक होती है। : केपिटान_बोस:
2. मॉडल जितना जटिल होगा, उतना ही स्थिर होगा।
3. अनुमान से पहले तस्वीरों में CLAHE लगाने से थोड़ी मदद मिलती है।
4. DenseNet या Resnext मदद की तरह एकत्रीकरण ब्लॉक की सुविधा।
5. मल्टीसेले वाले नेटवर्क अधिक स्थिर होते हैं। ऐसे नेटवर्क का एक उदाहरण MSDNet है, मल्टीग्रिड (मैंने ऐसे नेटवर्क के बारे में नहीं सुना है)

कोड

6. डिस्टिलबर्ट, BERT का एक आसुत संस्करण: छोटा, तेज, सस्ता और हल्का

लेखक: विक्टर सनह, लिसेंड्रे डेब्यूट, जूलियन चौमॉन्ड, थॉमस वुल्फ (हगिंग फेस, 2019)
→ मूल लेख
लेखक की समीक्षा करें: यूरी काश्नीत्स्की (योर्को स्लैक में)

लेख छोटा है, इसे पढ़ना बहुत आसान है। शुरुआत में, एनएलपी और पर्यावरण पदचिह्न में हथियारों की दौड़ के बारे में कुछ सामान्य शब्द। इसके अलावा, आसवन के विचार (और हिंटन ने यहां भी किया था) भाषा मॉडलिंग के कार्य में, हम संदर्भ में अगले शब्द का मानक रूप से अनुमान लगाते हैं। आमतौर पर, क्रॉस एन्ट्रॉपी लॉस एक द्विआधारी वेक्टर के साथ अनुमानित संभावनाओं (पूरे शब्दकोश की लंबाई) के वेक्टर की तुलना करता है, जहां प्रशिक्षण सेट में दिए गए स्थान पर वास्तविक शब्द को इंगित करने वाली केवल एक इकाई है। अर्थात् दूसरा, तीसरा आदि। मॉडल जिस शब्द को उपयुक्त मानता है उसे नुकसान की अनदेखी की जाती है। एक उदाहरण लेख में दिया गया है: "मुझे लगता है कि यह एक खूबसूरत [MASK] की शुरुआत है, इसके बजाय [MASK] BERT पूरे दिन या जीवन का पहला विकल्प चुनना चाहता है, लेकिन भविष्य की संभाव्यता भविष्य, कहानी और दुनिया द्वारा पूर्वानुमानित शब्द भी अच्छे हैं। क्या हम किसी तरह इस तथ्य को ध्यान में रख सकते हैं कि मॉडल एक अच्छी संभावना वितरण पैदा करता है? मोटे तौर पर, इस तथ्य के लिए मॉडल को पुरस्कृत करने के लिए कि शीर्ष में कोई मर्डॉक, सहिष्णुता, मातृत्व और अन्य कुछ उपयुक्त शब्द नहीं हैं।

आसवन का विचार
एक विशिष्ट शिक्षक-छात्र योजना का विचार यह है कि हमारे पास एक बड़ा शिक्षक मॉडल ( शिक्षक , BERT) और एक छोटा मॉडल ( छात्र , DistilBERT) है, जो शिक्षक मॉडल से "ज्ञान" प्रसारित करेगा। छात्र मॉडल आसवन हानि का अनुकूलन करेगा, अर्थात्, शिक्षक और छात्र के संभाव्यता वितरण के लिए परिभाषित क्रॉस एन्ट्रापी नुकसान: एल = _ t_i * लॉग (s_i)। अर्थात्, [MASK] प्रतीक द्वारा मिटाए गए एक विशिष्ट शब्द के लिए, और जिसे संदर्भ द्वारा भविष्यवाणी की जानी चाहिए, हम शब्दकोश से प्रत्येक शब्द की उपस्थिति के दो प्रायिकता वितरण की तुलना करते हैं: {t_i} और {s_i} - भविष्यवाणी, क्रमशः, शिक्षक मॉडल और मॉडल द्वारा छात्र। इस प्रकार, एक समृद्ध प्रशिक्षण संकेत प्राप्त होता है - प्रत्येक शब्द पर छात्र मॉडल एक संकेत प्राप्त करता है जिसे न केवल प्रशिक्षण नमूने में वास्तविक शब्द के साथ अपने पूर्वानुमान वेक्टर की तुलना करके, बल्कि शिक्षक मॉडल के प्रक्षेपण वेक्टर के साथ तुलना करके।

डिस्टिलबर्ट मॉडल
, — , . DistilBERT — BERT, . token-type embeddings pooler, , . , DistilBERT 40% — 66 . 110 BERT

DistilBERT
DistilBERT distillation loss — masked language modeling loss, BERT cosine embedding loss — ( , , "" - , "" ). : ablation studies, , masked language modeling loss, , .. distillation loss cosine embedding loss. , RoBERTa next sentence prediction dynamic masking.

, BERT (eng. wiki + Toronto Book Corpus) 90 8 V100 (16 GB). RoBERTa 1024 V100 (32 GB).

BERT — "it performed surprisingly well", DistilBERT — GLUE surprisingly well — 5 9 , BERT , SQuAD IMDb — . , DistilBERT 60% — .

DistilBERT iPhone 7 Plus. 70% , BERT-base ( ), 200 . ablation studies: , — distillation loss cosine embedding loss.

3 , DistilBERT — BERT, 40% , 60% "97% " BERT ( ML).

-, BERT, .

:
Jay Alammar
, DistilBERT + Catalyst:

7. Plug and Play Language Models: A Simple Approach To Controlled Text Generation

: Sumanth Dathathri, Andrea Madotto, Janice Lan, Jane Hung, Eric Frank, Piero Molino, Jason Yosinski, and Rosanne Liu (Uber AI, Caltech, HKUST, 2019)
→
: ( Egor Timofeev)

. , / / (, . https://arxiv.org/pdf/1909.05858.pdf ). , , , , .

( x_prev ), p(x), conditional LM (, — CTRL) p(x|a).

: p(x|a) ∝ p(x)p(a|x), p(x) , (, GPT2), p(a|x) — . — , /. , , .

:

1. , log(p(a|x)) ( ). hidden state .
2. , hidden state log(p(a|x)). H_new.
3. : p(x). , : -, KL(H, H_new), -, .. post-norm fusion ( https://arxiv.org/pdf/1809.00125.pdf ), p(x) non conditional LM , .
4. .

, p(a|x).

, - topic relevance. : (GPT2) < + << < + .

8. Deep Salience Representation for F0 Estimation in Polyphonic Music

: Rachel M. Bittner, Brian McFee, Justin Salamon, Peter Li, Juan Pablo Bello ( New York University, USA, 2017)
→
: ( nglaz)

. , . , – . , - . constant-Q , ( ) .

. constant-Q - f_min - F. f_min f_min * h, , , . h {0.5, 1, 2, 3, 4, 5}, . , 3- , 2- 3- (, , ). , , , , (0.5f, f, 2f, 3f, 4f, 5f), . ( 55) . , , dilated-.

, , constant-Q F, .

F0 estimation, , . 2017 , , state-of-the-art. , .

9. Analyzing and Improving the Image Quality of StyleGAN

: Tero Karras, Samuli Laine, Miika Aittala, Janne Hellsten, Jaakko Lehtinen, Timo Aila (NVIDIA, 2019)
→
: ( shiron8bit)

GAN- , , . , , , , ( FID) :

• droplet-like ( / ), AdaIN.
• , ProGAN- / end-to-end MSG-GAN. , /, .
• Path Length Regularization.
• : W, , stylegan2.

बूंद कलाकृतियों और AdaIN
लेख के लेखक AdaIN परत का उपयोग करने के खिलाफ निम्नलिखित तर्क देते हैं: प्रत्येक विशेषता मानचित्र को सामान्य करता है, इस प्रकार एक दूसरे के सापेक्ष परिमाण मूल्यों के बारे में जानकारी को नष्ट कर देता है, और छोटी बूंद जनरेटर द्वारा इस जानकारी को एक अलग तरीके से धकेलने का एक प्रयास है। AdaIN को कमजोर करने के विकल्प के रूप में, निम्नलिखित का प्रस्ताव किया गया था: हम ब्लॉक स्केल A से आने वाली शैली और आउटगोइंग सिग्नल (mu (y) / y_ {b, i} AdaIN में) की ऑफसेट के आधार पर सीधे सभी स्केलिंग (मॉड्यूलेशन / डिमॉड्यूलेशन) करेंगे। ब्लॉक बी को परिवर्तित करें। एक ही समय में इस नवाचार ने उन्हीं परिस्थितियों में प्रशिक्षण में तेजी लाने की अनुमति दी।

प्रज्ञान से विफलता
MSG-GAN के बारे में लेख में, स्किप कनेक्शन का उपयोग करने का सुझाव दिया गया था, जो कि मिलान जनरेटर ब्लॉक और डिस्क्रिमिनेटर ब्लॉक को जोड़ता है। स्टाइलगन लेखकों ने इस संकल्प को सभी प्रस्तावों के जनरेटर ब्लॉक (अपसम्पलिंग के साथ) से आउटपुट को जोड़कर और प्रत्येक विभेदक ब्लॉक के इनपुट के लिए छवि के इसी डाउनडम्स्ड संस्करण को खिलाकर इस विचार को विकसित किया। यह सुझाव दिया गया कि अवशिष्ट ब्लॉकों को दूसरे विकल्प के रूप में उपयोग किया जाता है, जबकि जनरेटर में कनेक्शन को छोड़ दें और विवेचक में अवशिष्ट ब्लॉकों ने सर्वोत्तम परिणाम दिखाए (भेदभावकर्ता LAPGAN के समान है, लेकिन प्रत्येक संकल्प के लिए भेदभाव किए बिना, फीचर मैप्स को आगे अग्रेषित किया गया)। प्रोगान के मामले में, शुरुआती पुनरावृत्तियों में, कम रिज़ॉल्यूशन और समग्र चित्र के लिए जिम्मेदार ग्रिड के हिस्से अधिक योगदान करते हैं, और फिर छोटे विवरणों पर जोर दिया जाता है।

पथ लंबाई नियमितीकरण
यह देखते हुए कि कम FID मान हमेशा उच्च-गुणवत्ता वाली छवियां नहीं देते हैं, और छवि गुणवत्ता और PPL मैट्रिक (अवधारणात्मक पथ लंबाई - शुरुआत में Z में छोटे चरणों के साथ छवियों के vgg-features के बीच अंतर, लेकिन अंतर LPIPS द्वारा प्रतिस्थापित किया गया था) के बीच एक संबंध नहीं है, लेखकों ने पथ प्रस्तावित किया लंबाई नियमितीकरण, जो कार्यक्षमता को कम करने के लिए है

$$

$$J ^ T_w y = \ nabla_w (g (w) y)$$

जहां जी खुद जनरेटर है, J_w अव्यक्त अंतरिक्ष चर में याकूबियन है। इस मामले में, जैकोबियन गणना बैकप्रॉप के माध्यम से की जा सकती है, और यह भी कहा जाता है कि गणना की सुविधा के लिए, रेग्युलर को केवल प्रत्येक 16 बैच के लिए गिना जा सकता है। जैकबियन मानदंड के घातीय मूविंग एवरेज के रूप में गणना की जाती है। पथ लंबाई नियमितीकरण का उपयोग छिपे हुए अंतरिक्ष डब्ल्यू के अधिक 'सुचारू' प्रक्षेप के लिए अनुमति देता है, जो छवि गुणवत्ता में सुधार के अलावा, प्रतिवर्तीता में सुधार कर सकता है (वह, वह डब्ल्यू जो जनरेटर के माध्यम से चलने के बाद दी गई छवि देता है), और एनिमेशन के संदर्भ में भी दृष्टिकोण खुलता है और मुख्य फ्रेम के बीच प्रक्षेप होता है (नए आर्किटेक्चर में, समान छवियों के अनुमानों के बीच करीब छवियों के लिए जिम्मेदार बिंदु होने चाहिए। मैं)। इस नियमितीकरण की शुरूआत ने इस वास्तुकला द्वारा उत्पन्न छवियों का पता लगाने को सरल बनाने में भी भूमिका निभाई है।

1024 * 1024 के संकल्प पर 8 GPU के लिए प्रशिक्षण का समय अलग-अलग कॉन्फ़िगरेशन के लिए 2 से 9 दिनों तक था।