शीर्षक "आपके लिए लेख पढ़ें।" जुलाई - सितंबर 2019

नमस्कार, हेब्र! हम चैनल #article_essense से ओपन डेटा साइंस समुदाय के सदस्यों के वैज्ञानिक लेखों की समीक्षाओं को प्रकाशित करना जारी रखते हैं। यदि आप उन्हें हर किसी से पहले प्राप्त करना चाहते हैं - समुदाय में शामिल हों!

आज के लिए लेख:

1. परत रोटेशन: गहरे नेटवर्क में सामान्यीकरण का एक आश्चर्यजनक शक्तिशाली संकेतक? (यूनिवर्सिटी कैथोलिक डे लौवेन, बेल्जियम, 2018)
2. एनएलपी के लिए पैरामीटर-कुशल स्थानांतरण सीखना (Google रिसर्च, जगियेलोनियन यूनिवर्सिटी, 2019)
3. RoBERTa: एक मजबूत अनुकूलित BERT Pretraining दृष्टिकोण (वाशिंगटन विश्वविद्यालय, फेसबुक एआई, 2019)
4. एफिशिएंटनेट: कन्वेंशनल न्यूरल नेटवर्क्स के लिए रिथिंकिंग मॉडल स्केलिंग (Google रिसर्च, 2019)
5. कैसे मस्तिष्क संक्रमण से अचेतन धारणा के लिए (संयुक्त राज्य अमेरिका, अर्जेंटीना, स्पेन, 2019)
6. उत्पाद कुंजी के साथ बड़ी मेमोरी परतें (फेसबुक एआई रिसर्च, 2019)
7. क्या हम वास्तव में बहुत प्रगति कर रहे हैं? हालिया तंत्रिका अनुशंसा दृष्टिकोण (पोलिटेकनिको डी मिलानो, यूनिवर्सिटी ऑफ़ क्लैगनफ़र्ट, 2019) का एक चिंताजनक विश्लेषण
8. ओमनी-स्केल फ़ीचर लर्निंग फॉर पर्सन रि-आइडेंटिफिकेशन (यूनिवर्सिटी ऑफ़ सरे, क्वीन मैरी यूनिवर्सिटी, सैमसंग एआई, 2019)
9. तंत्रिका पुनर्संरचना में संरचनात्मक अनुकूलन में सुधार होता है (Google रिसर्च, 2019)

1. परत रोटेशन: गहरे नेटवर्क में सामान्यीकरण का एक आश्चर्यजनक शक्तिशाली संकेतक?

लेखक: साइमन कार्बोनेल, क्रिस्टोफ़ डे वेलेस्चौवर (यूनिवर्सिटी कैथोलिक डे लौवेन, बेल्जियम, 2018)
→ मूल लेख
लेखक की समीक्षा करें: Svyatoslav Skoblov (सुस्त एरर_एडिवेटिव में)

इस लेख में, लेखकों ने एक बल्कि सरल अवलोकन पर ध्यान आकर्षित किया: आरंभीकरण के दौरान परत भार के बीच कोसाइन दूरी और प्रशिक्षण के बाद (प्रशिक्षण के दौरान दूरी बढ़ाने की प्रक्रिया को परत रोटेशन कहा जाता है)। सज्जनों का कहना है कि अधिकांश प्रयोगों में, सभी परतों में 1 की दूरी तक पहुंचने वाले नेटवर्क अन्य कॉन्फ़िगरेशन की सटीकता में लगातार बेहतर हैं। कागज भी Layca एल्गोरिथ्म (परत-स्तर नियंत्रित वजन रोटेशन की मात्रा) प्रस्तुत करता है, जो इस परत-वार सीखने की दर को नियंत्रित करने के लिए इस समान परत रोटेशन को नियंत्रित करने की अनुमति देता है। वास्तव में, यह ऑर्थोगोनल प्रक्षेपण और सामान्यीकरण की उपस्थिति से सामान्य SGD एल्गोरिथ्म से भिन्न होता है। प्रशिक्षण योजना के साथ एल्गोरिथ्म की एक विस्तृत सूची लेख में पाई जा सकती है।

मुख्य विचार यह है कि लेखक कटौती करते हैं: परत की घुमाव जितनी बड़ी होगी, सामान्यीकरण प्रदर्शन उतना ही बेहतर होगा । अधिकांश लेख प्रयोगों का एक रिकॉर्ड है जहां विभिन्न प्रशिक्षण परिदृश्यों का अध्ययन किया गया था: एमएनआईएसटीआर, सीआइएफएआर -10 / सीआईएफएआर -100, विभिन्न आर्किटेक्चर वाले छोटे इमेजनेट का उपयोग किया गया था, जो सिंगल-लेयर नेटवर्क से रेसनेट परिवार तक थे।

प्रयोगों की एक श्रृंखला को कई चरणों में तोड़ा गया:

1. वेनिला SGD यह पता चला है कि, कुल मिलाकर, तराजू का व्यवहार परिकल्पना के साथ मेल खाता है (सबसे बड़े मीट्रिक मूल्यों के अनुरूप दूरी में बड़े बदलाव), हालांकि, समस्याओं को भी देखा गया था: वांछित मूल्यों से बहुत पहले परत का घुमाव बंद हो गया; बदलती दूरी में अस्थिरता भी देखी गई।
2. SGD + वजन घटने से वज़न मानक घटने से प्रशिक्षण चित्र में बहुत सुधार हुआ: अधिकांश परतें अधिकतम दूरी तक पहुँच गईं, और परीक्षण प्रदर्शन प्रस्तावित Layca के समान है। लेखक की विधि का निस्संदेह लाभ एक अतिरिक्त हाइपरपरमीटर की कमी है।
3. LR वार्मअप यह पता चला कि वार्मअप से अस्थिर परत घुमाव की समस्या से उबरने में मदद मिलती है, हालांकि, लैका पर इसका कोई प्रभाव नहीं पड़ता है।
4. अनुकूली ग्रेडिएंट विधियां प्रसिद्ध सत्य के अलावा (इन विधियों का उपयोग करके सामान्यीकरण के स्तर को प्राप्त करना कठिन है जो कि SGD + वजन क्षय दे सकते हैं), यह पता चला है कि परत के रोटेशन के प्रभाव बहुत भिन्न होते हैं: पहली परत में घूर्णन में वृद्धि, जबकि प्रारंभिक परतों में SGD । लेखक संकेत देते हैं कि यह अनुकूली तरीकों का मतलब हो सकता है। और वे उनके साथ संयोजन के रूप में Layca का उपयोग करने का सुझाव देते हैं (अनुकूली तरीकों में सामान्यीकरण करने की क्षमता में सुधार और SGD में सीखने में तेजी)।

घटना की व्याख्या करने के प्रयास के साथ लेख समाप्त हुआ। ऐसा करने के लिए, लेखकों ने एमएनआईएसटी के एक छीन-डाउन संस्करण पर 1 छिपी हुई परत के साथ एक नेटवर्क को प्रशिक्षित किया, जिसके बाद उन्होंने यादृच्छिक न्यूरॉन्स की कल्पना की, जो काफी तार्किक निष्कर्ष पर पहुंच गया: परत रोटेशन का अधिक से अधिक हिस्सा प्रारंभिककरण के कम प्रभाव और सुविधाओं के बेहतर अध्ययन से मेल खाता है, जो बेहतर सामान्यीकरण में योगदान देता है।

कार्यान्वित एल्गोरिथ्म का कोड (tf / keras) और प्रतिलिपि प्रस्तुत करने के प्रयोगों का कोड अपलोड किया गया है ।

2. एनएलपी के लिए पैरामीटर-एफ़िशिएंसी ट्रांसफर लर्निंग

लेख के लेखक: नील हौल्स्बी, आंद्रेई ग्यूरिगु, स्टानिस्लाव जास्त्रेज़्स्की, ब्रूना मॉरोन, क्वेंटिन डी लारूसिल्हे, एंड्रिया गेसमुंडो, मोनेन अटारीयन, सिल्वेन जेल्ली (गूगल रिसर्च, जगियेलोनियन यूनिवर्सिटी, 2019)
→ मूल लेख
लेखक की समीक्षा करें: एलेक्सी कर्नाचेव (सुस्त ज़िरजेमली में)

यहां सज्जन एनएलपी मॉडल (इस मामले में, BERT) के लिए एक सरल लेकिन प्रभावी फाइन-ट्यूनिंग तकनीक प्रदान करते हैं। विचार सीखने की परतों (एडेप्टर) को सीधे नेटवर्क में एम्बेड करना है। ऐसी प्रत्येक परत एक अड़चन वाला एक नेटवर्क है, जो मूल मॉडल के अव्यक्त राज्यों को एक विशिष्ट डाउन-स्ट्रीम कार्य के लिए अनुकूल करता है। मूल मॉडल के वजन, बदले में, जमे हुए रहते हैं।

प्रेरणा
स्ट्रीमिंग-प्रशिक्षण (या निकट-ऑनलाइन प्रशिक्षण) की शर्तों में, जहाँ बहुत सारे डाउन-स्ट्रीम कार्य हैं, मैं वास्तव में पूरे मॉडल को दर्ज नहीं करना चाहता। सबसे पहले, एक लंबे समय के लिए, और दूसरी बात, यह मुश्किल है, और तीसरी बात, भले ही यह तंग हो, मॉडल को किसी तरह संग्रहीत करने की आवश्यकता है: डंप करने या स्मृति में रखने के लिए। और हम निम्नलिखित कार्य के लिए इस मॉडल का पुन: उपयोग नहीं कर पाएंगे: हर बार हमें एक नए तरीके से ट्यून करना होगा। परिणामस्वरूप, हम वर्तमान समस्या के लिए छिपे हुए नेटवर्क राज्यों को अनुकूलित करने का प्रयास कर सकते हैं। इसके अलावा, मूल मॉडल अछूता रहता है, और एडेप्टर मुख्य मॉडल की तुलना में बहुत अधिक क्षमता वाले होते हैं (मापदंडों की कुल संख्या का 4%)

कार्यान्वयन
समस्या को सरल तरीके से हल किया जाता है: हम मॉडल की प्रत्येक परत में 2 एडेप्टर जोड़ते हैं। ट्रांसफॉर्मर-आधारित मॉडल में परत के सामान्यीकरण से पहले, स्किप-कनेक्शन होता है: मूल इनपुट में ट्रांसफ़ॉर्म किए गए इनपुट (वर्तमान छिपे हुए राज्य) को जोड़ा जाता है।

प्रत्येक ट्रांसफार्मर परत में 2 ऐसे खंड होते हैं। एक बहु-सिर पर ध्यान देने के बाद, दूसरा आगे फ़ीड के बाद। इस प्रकार, इन वर्गों के छिपे हुए राज्यों को एडेप्टर के माध्यम से अतिरिक्त रूप से पारित किया जाता है: 1-टोंटी छिपी हुई परत के साथ एक उथले नेटवर्क और आउटपुट के साथ इनपुट के समान आयाम। अशुद्धि को टोंटी स्थिति पर लागू किया जाता है, और इनपुट (स्किप-कनेक्शन) आउटपुट में जोड़ा जाता है। यह पता चला है कि प्रशिक्षित मापदंडों की कुल संख्या है: 2md + m + d, जहां d मूल मॉडल के छिपे हुए राज्य का आयाम है, मी टोंटी एडेप्टर परत का आकार है। यह पता चला है कि BERT- बेस मॉडल (12 लेयर्स, 110M पैरामीटर्स) के लिए और अडैप्टर टोंटी के आकार के लिए 128, हमें मापदंडों की कुल संख्या का 4.3% मिलता है।

परिणाम
पूर्ण मॉडल ट्यूनिंग के साथ तुलना की गई थी। सभी कार्यों के लिए, इस दृष्टिकोण ने मैट्रिक्स में मामूली हानि (औसतन 1 अंक से कम), प्रशिक्षित भार की संख्या के साथ - कुल का 3%। मैं स्वयं कार्यों को सूचीबद्ध नहीं करूंगा, उनमें से कई हैं, लेख में एक टैबलेट है।

ठीक ट्यूनिंग
इस मॉडल में, केवल एडेप्टर भाग को ट्यून किया जाता है (+ आउटपुट क्लासिफायर स्वयं)। एडेप्टर तराजू के लिए, वे निकट-पहचान आरंभीकरण करने का प्रस्ताव करते हैं। इस प्रकार, एक अप्रशिक्षित मॉडल किसी भी तरह से छिपे हुए नेटवर्क राज्यों को नहीं बदलेगा, और इससे मॉडल को प्रशिक्षित करने की प्रक्रिया पहले से ही संभव हो जाएगी ताकि यह तय किया जा सके कि कौन सा राज्य कार्य के लिए अनुकूल है और कौन सा अपरिवर्तित छोड़ना है।

सीखने की दर मानक बीईआरटी परिशोधन के साथ अधिक लेने की सलाह देते हैं। व्यक्तिगत रूप से, मेरे कार्य पर, 1e-04 lr ने अच्छा काम किया। इसके अलावा, ट्यूनिंग प्रक्रिया के दौरान (पहले से ही व्यक्तिगत रूप से मेरा अवलोकन), मॉडल लगभग हमेशा ढ़ाल का विस्फोट करता है, इसलिए आपको क्लिपिंग करने के लिए याद रखना आवश्यक है। ऑप्टिमाइज़र - वार्मअप 10% के साथ एडम

कोड
उनके लेख में कोड संलग्न है। टेन्सलफ्लो पर कार्यान्वयन ।
मशाल के लिए, समीक्षा के लेखक ने पाइटरॉच-ट्रांसफार्मर को फोर्क किया और एक एडेप्टर परत (README.md फ़ाइल की शुरुआत में एक छोटा लॉन्च मैनुअल है) जोड़ा

3. RoBERTa: एक मजबूत अनुकूलित BERT Pretraining दृष्टिकोण

लेखक लेखक: यिहान लियू, मायल ओट, नमन गोयल, जिंगफेई डू, मंदार जोशी, डेंकी चेन, ओमर लेवी, माइक लेविस, ल्यूक ज़ेट्लेमॉययर, वेसलिन स्टोयानोव (वाशिंगटन विश्वविद्यालय, फेसबुक एआई, 2019)
→ मूल लेख
लेखक की समीक्षा करें: अर्टेम रॉडिच (सुस्त चुदाई में)

नाटकीय रूप से BERT मॉडल की गुणवत्ता को बढ़ाया, GLUE लीडरबोर्ड पर पहला स्थान और कई एनएलपी कार्यों पर SOTA। उन्होंने BERT मॉडल को प्रशिक्षित करने के कई तरीके सुझाए जो बिना मॉडल आर्किटेक्चर के किसी भी बदलाव के बिना संभव हो सके।

मूल BERT के साथ मुख्य अंतर:

1. 16 जीबी कच्चे पाठ से 160 जीबी तक ट्रेन बिल्डिंग में 10 गुना वृद्धि हुई
2. प्रत्येक नमूने के लिए गतिशील मास्किंग बनाया
3. नुकसान के अगले वाक्य भविष्यवाणी के उपयोग को हटा दिया
4. मिनी नमूनों का आकार 256 नमूनों से बढ़ाकर 8k कर दिया गया
5. यूनिकोड से बाइट्स तक डेटाबेस का अनुवाद करके बेहतर BPE एन्कोडिंग।

सर्वश्रेष्ठ अंतिम मॉडल को 5 दिनों के लिए 1024 एनवीडिया वी 100 कार्ड (128 डीजीएक्स -1 सर्वर) पर प्रशिक्षित किया गया था।

दृष्टिकोण का सार:

डाटा। विकी गोले और बुककॉर्पस (कुल 16GB) के अलावा, जिसने मूल BERT को सिखाया, उन्होंने 3 और बड़े गोले जोड़े, सभी अंग्रेजी में:

1. SS-News ने 76GB पर 2.5 वर्षों में 63 मिलियन समाचार
2. OpenWebText वह फ्रेमवर्क है जिस पर OpenAI को GPT2 मॉडल सिखाया गया था। ये क्रॉल किए गए लेख हैं जिनके लिंक पर कम से कम तीन अपडेट के साथ एक रेडिट पर पोस्ट दिए गए थे। 38GB डेटा
3. कहानियाँ - ३१ जीबी कॉमनक्रॉल स्टोरी केस

गतिशील मास्किंग। मूल बीईआरटी में, प्रत्येक नमूने में 15% टोकन नकाबपोश होते हैं और इन टोकन को अनुक्रम के अनमास्क भाग का उपयोग करके भविष्यवाणी की जाती है। प्रीप्रोसेसिंग के दौरान एक बार प्रत्येक नमूने के लिए एक मुखौटा उत्पन्न होता है और बदलता नहीं है। एक ही समय में, ट्रेन में एक ही नमूना कई बार हो सकता है, जो शरीर में युगों की संख्या पर निर्भर करता है। डायनेमिक मास्किंग का विचार प्रीप्रोसेसिंग में निश्चित एक का उपयोग करने के बजाय हर बार अनुक्रम के लिए एक नया मास्क बनाना है।

अगला वाक्य भविष्यवाणी उद्देश्य। आइए बस इस objektiv को काटें और देखें कि क्या यह खराब हो गया है? क्या यह बेहतर हो गया है या यह भी बना हुआ है - SQuAD, MNLI, SST और RACE कार्यों पर।

मिनी-बैच का आकार बढ़ाएं। कई स्थानों पर, विशेष रूप से मशीन ट्रांसलेशन में, यह दिखाया गया कि जितना बड़ा मिनी-बैच होगा, ट्रेन के अंतिम परिणाम उतने ही बेहतर होंगे। उन्होंने दिखाया कि यदि आप मूल नमूने में 256 के नमूने को बढ़ाकर, जैसे कि मूल BERT में, 2k तक और फिर 8k तक बढ़ाते हैं, तो सत्यापन की बूंदों पर गड़बड़ी, और MNLI और SST-2 पर मैट्रिक्स बढ़ते हैं।

BPE। मूल बीईआरटी कार्यान्वयन से बीपीई, यूनीकोड ​​वर्णों को सब-यूनिट के आधार के रूप में उपयोग करता है। यह इस तथ्य की ओर जाता है कि बड़े और विविध मामलों पर शब्दकोश का एक महत्वपूर्ण हिस्सा व्यक्तिगत यूनिकोड वर्णों द्वारा कब्जा कर लिया जाएगा। GPT2 में OpenAI बैक ने यूनिकोड वर्णों का उपयोग नहीं करने का सुझाव दिया, लेकिन उप-पासवर्ड के आधार के रूप में बाइट्स। यदि हम 50k बीपीई शब्दकोश का उपयोग करते हैं, तो हमारे पास अज्ञात टोकन नहीं होंगे। मूल बीईआरटी की तुलना में, मॉडल का आकार आधार मॉडल के लिए 15 एम पैरामीटर और बड़े के लिए 20 एम से बढ़ा है, अर्थात 5-10% अधिक है।

परिणाम:
BERT-बड़े और XLNet- बड़े का उपयोग तुलना के लिए मॉडल के रूप में किया जाता है। RoBERTa स्वयं BERT-large के मापदंडों में समान है। परिणामस्वरूप, उन्होंने GLUE बेंचमार्क पर पहला स्थान प्राप्त किया। हमने बहु-कार्य फ़ाइल ट्यूनिंग करने वाले GLUE बेंचमार्क शीर्ष के कई अन्य तरीकों के विपरीत एकल-कार्य फ़ाइल ट्यूनिंग का उपयोग किया। GLUE में लड़कियों पर, एकल मॉडल परिणामों की तुलना की जाती है, उन्हें सभी 9 कार्यों पर SOTA मिला। परीक्षण सेट पर, मॉडल का पहनावा तुलना की जाती है, 9 कार्यों में से 4 के लिए SOTA और अंतिम गोंद गति। SOTA देव नेटवर्क पर SQuAD के दो संस्करणों पर, XLNet स्तर पर परीक्षण सेट पर। इसके अलावा, XLNet के विपरीत, वे SQuAD को हल करने से पहले अतिरिक्त QA पैकेज पर नहीं पकड़े जाते हैं।

SOTA ऑन RACE कार्य जिसमें पाठ का एक टुकड़ा दिया गया है, इस पाठ पर एक प्रश्न और 4 उत्तर विकल्प जहां आपको सही चुनने की आवश्यकता है। इस कार्य को हल करने के लिए, वे पाठ को संक्षिप्त करते हैं, प्रश्न और उत्तर देते हैं, बीईआरटी के माध्यम से चलाते हैं, सीएलएफ टोकन से एक प्रतिनिधित्व प्राप्त करते हैं, एक पूरी तरह से कनेक्ट की गई परत पर लागू होते हैं और अनुमान लगाते हैं कि उत्तर सही है या नहीं। यह 4 बार किया जाता है - प्रत्येक उत्तर विकल्प के लिए।

हमने फेयरसेक शलजम में RoBERTa मॉडल का कोड और प्रीटेन पोस्ट किया। आप इसका उपयोग कर सकते हैं, सब कुछ साफ और सरल दिखता है।

4. एफिशिएंटनेट: कन्वेंशनल न्यूरल नेटवर्क्स के लिए रीथिंकिंग मॉडल स्केलिंग

लेखक: मिंगक्सिंग टैन, क्वोक वी। ले (गूगल रिसर्च, 2019)
→ मूल लेख
लेखक की समीक्षा करें: अलेक्जेंडर डेनिसेंको (सुस्त अलेक्जेंडर डेनिसेंको में)

वे मॉडल के स्केलिंग (स्केलिंग) का अध्ययन करते हैं और नेटवर्क की गहराई और चौड़ाई (चैनलों की संख्या) और साथ ही ग्रिड में छवियों के समाधान के बीच संतुलन स्थापित करते हैं। वे एक नया स्केलिंग तरीका प्रदान करते हैं जो समान रूप से गहराई / चौड़ाई / रिज़ॉल्यूशन को मापता है। MobileNet और ResNet पर इसकी प्रभावशीलता दिखाएं।

वे एक नया जाल बनाने के लिए न्यूरल आर्किटेक्चर खोज का भी उपयोग करते हैं और इसे स्केल करते हैं, जिससे नए मॉडल की एक श्रेणी प्राप्त होती है - एफ़िशनेट्स। वे पिछले ग्रिड की तुलना में बेहतर और अधिक किफायती हैं। इमेजनेट पर, एफिशिएंटनेट-बी 7 अत्याधुनिक 84.4% टॉप -1 और 97.1% टॉप -5 सटीकता प्राप्त करता है, जो वर्तमान बेस्ट-इन-क्लास कन्वेंशन की तुलना में 8.4 गुना कम और 6.1 गुना तेज है। यह अन्य डेटासेट में अच्छी तरह से स्थानांतरित हो जाता है - उन्हें 8 सबसे लोकप्रिय डेटासेट में से 5 पर SOTA मिला।

कंपाउंडिंग मॉडल स्केलिंग
स्केलिंग तब होती है जब ग्रिड के अंदर किए गए ऑपरेशन तय हो जाते हैं और केवल गहराई (समान मॉड्यूल की पुनरावृत्ति की संख्या) d, चौड़ाई (कनवल्शन में चैनलों की संख्या) w और रिज़ॉल्यूशन r बदल जाते हैं। पेजर में, स्केलिंग को एक अनुकूलन समस्या के रूप में तैयार किया गया है - हम चाहते हैं कि अधिकतम सटीकता (नेट (d, w, r)) इस तथ्य के बावजूद कि हम स्मृति और FLOPS से बाहर क्रॉल न करें।

हमने प्रयोग किए और यह सुनिश्चित किया कि यह वास्तव में चौड़ाई में स्केलिंग करते समय गहराई और रिज़ॉल्यूशन में मदद करता है। उसी FLOPS के साथ, हम ImageNet पर एक बेहतर परिणाम प्राप्त करते हैं (ऊपर चित्र देखें)। सामान्य तौर पर, यह उचित है, क्योंकि ऐसा लगता है कि नेटवर्क छवि के रिज़ॉल्यूशन में वृद्धि के साथ, ग्रहणशील क्षेत्र और अधिक चैनलों को बढ़ाने के लिए गहराई में अधिक परतों की आवश्यकता होती है ताकि उच्च रिज़ॉल्यूशन के साथ छवि में सभी पैटर्नों को कैप्चर किया जा सके।

कंपाउंड स्केलिंग का सार: हम कंपाउंड गुणांक phi लेते हैं, जो समान रूप से इस स्केल के साथ d, w और r को मापता है: $$$d = \ Alpha ^ \ phi, w = \ beta ^ \ phi, r = \ gamma ^ \ phi,$जहाँ $$$\ अल्फा, \ बीटा, \ गामा$- स्रोत ग्रिड पर एक छोटे ग्रिड दृश्य से प्राप्त स्थिरांक। $$$\ phi$- उपलब्ध कंप्यूटिंग संसाधनों की मात्रा को गुणांक गुणांक।

कुशल जाल
ग्रिड बनाने के लिए, हमने उनके बीच व्यापार बंद के लिए जिम्मेदार पैरामीटर के साथ बहु-उद्देश्यीय तंत्रिका वास्तुकला खोज, अनुकूलित सटीकता और FLOPS का उपयोग किया। इस तरह की खोज ने एफिशिएंट-बी 0 दिया। संक्षेप में - Conv1x1, पूल, FC के अंत में कई MBConv के बाद रूपांतरण।

फिर स्केलिंग दो चरणों में करें:

1. शुरू करने के लिए, हम ठीक करते हैं $$$\ phi = 1$, खोज के लिए ग्रिड खोज करें $$$\ अल्फा, \ बीटा, \ गामा$।
2. डी, डब्ल्यू और आर के लिए सूत्रों का उपयोग करके ग्रिड को स्केल करें। EffiientNet-B1 मिला। इसी तरह, बढ़ती जा रही है $$$\ phi$, E कुशलNet-B2, ... B7 प्राप्त करें।

अलग-अलग ResNet और MobileNet के लिए स्केल किए गए, हर जगह ImageNet पर महत्वपूर्ण सुधार प्राप्त हुए, कंपाउंड स्केलिंग ने केवल एक आयाम में स्केलिंग की तुलना में एक महत्वपूर्ण वृद्धि दी। हमने आठ और लोकप्रिय डेटासेट पर एफिशिएंट के साथ प्रयोग किए, हर जगह हमें एसओटीए मिला या इसके परिणाम स्वरूप यह काफी कम संख्या में मापदंडों के साथ मिला।

कोड।

5. कैसे मस्तिष्क परिवर्तन से सचेत करने के लिए अचेतन धारणा

लेख के लेखक: फ्रांसेस्का एरेस लुसिनी, गीनो डेल फेरारो, मारियानो सिगमैन, हर्नान ए। माकसे (यूएसए, अर्जेंटीना, स्पेन, 2019)
→ मूल लेख
लेखक की समीक्षा करें: Svyatoslav Skoblov (सुस्त एरर_एडिवेटिव में)

यह लेख देहाने, S, Naccache, L, कोहेन, L, ले बिहान, D, Mangin, JF, Poline, JB, & Rivie`re, D. सेस्ब्रल मैकेनिज्म ऑफ़ वर्ड मास्किंग और अचेतन पुनरावृत्ति भड़काना , के कार्य को जारी रखने और पुनर्विचार है । जिसमें लेखकों ने सचेत और अचेतन मस्तिष्क क्रिया के तौर-तरीकों पर विचार करने की कोशिश की।

प्रयोग:
स्वयंसेवकों को चित्र (4-अक्षर के शब्द, या एक रिक्त स्क्रीन, या स्क्रिबल्स) दिखाए जाते हैं। उनमें से प्रत्येक को 30 एमएस के लिए दिखाया गया है, सामान्य तौर पर, पूरी कार्रवाई 5 मिनट तक चलती है।

1. प्रयोग के "सचेत" मोड में, शब्दों के साथ एक रिक्त स्क्रीन वैकल्पिक होती है, जो व्यक्ति को सचेत रूप से पाठ को देखने की अनुमति देती है।
2. "अचेतन" मोड में, शब्द वैकल्पिक रूप से स्क्रिबल्स के साथ होते हैं, जो एक सचेत स्तर पर पाठ की धारणा के साथ प्रभावी रूप से हस्तक्षेप करता है।

जानकारी:
इस प्रस्तुति के दौरान, हमारे प्राइमेट्स के दिमाग को fMRI के उपयोग से स्कैन किया गया था। कुल मिलाकर, शोधकर्ताओं के पास 15 स्वयंसेवक थे, प्रत्येक ने 5 बार प्रयोग दोहराया, कुल 75 एफएमआरआई स्ट्रीम। यह ध्यान देने योग्य है कि voxel स्कैन काफी बड़ा निकला (बहुत सरलीकृत: voxel एक 3D घन है जिसमें काफी बड़ी संख्या में कोशिकाएँ होती हैं) - 4x4x4mm।

जादू:
चलो नोड को हमारे स्ट्रीम से सक्रिय स्वर कहते हैं। चूंकि मस्तिष्क एक मॉड्यूलर वॉशक्लॉथ है, हम इसमें दो प्रकार के कनेक्शन पेश करते हैं: बाहरी और आंतरिक (नोड्स की स्थानिक व्यवस्था के अनुरूप)। कनेक्शन एक दिलचस्प तरीके से इकट्ठा किए जाते हैं: हम नोड्स के बीच एक क्रॉस-सहसंबंध मैट्रिक्स का निर्माण करते हैं और नोड्स को एक कनेक्शन के साथ जोड़ते हैं यदि सहसंबंध कुछ अनुकूली पैरामीटर लैम्ब्डा से अधिक है। यह पैरामीटर हमारे नेटवर्क के निर्वहन को प्रभावित करता है।

पैरामीटर समायोजन "फ़िल्टरिंग" प्रक्रिया का उपयोग करके किया जाता है। यदि हम अपने लंबोदर को थोड़ा-सा हिलाते हैं, तो नेटवर्क के अंतिम आयामों के बीच तेज बदलाव ध्यान देने योग्य हो जाते हैं (यानी, पर्याप्त रूप से छोटा पैरामीटर परिवर्तन आकार में बड़ी वृद्धि से मेल खाता है)।

तो: आंतरिक कनेक्शन लैम्ब्डा -1 मान द्वारा सक्रिय होते हैं, जो एक तेज संक्रमण से ठीक पहले लैम्ब्डा मूल्य से मेल खाती है। बाहरी - लैम्ब्डा -2 मूल्य एक तेज संक्रमण के तुरंत बाद लैम्बडा मूल्य के अनुरूप है।

जादू 2:
k- कोर फ़िल्टरिंग। K- कोर अवधारणा नेटवर्क कनेक्टिविटी का वर्णन करती है और इसे काफी सरल रूप से तैयार किया जाता है: अधिकतम सबनेट, जिसके सभी नोड्स में कम से कम k पड़ोसी होते हैं। इस तरह के एक सबनेट को पड़ोसी से कम के साथ नोड्स के पुनरावृत्ति हटाने के द्वारा प्राप्त किया जा सकता है। चूंकि शेष नोड्स पड़ोसियों को खो देंगे, प्रक्रिया तब तक जारी रहती है जब तक कि हटाने के लिए कुछ भी नहीं है। जो रहता है वह k- कोर नेटवर्क है।

परिणाम:
इस आर्टिलरी को हमारे दिमाग में लागू करते हुए, आप बहुत सारी दिलचस्प विशेषताओं को देख सकते हैं।

1. K- कोर में छोटे / बहुत बड़े k के साथ नोड्स की संख्या बहुत बड़ी है। लेकिन मध्यम कश्मीर के लिए, इसके विपरीत, यह पर्याप्त नहीं है। तस्वीर में, यह यू आकार की तरह दिखता है, अर्थात्, ऐसा नेटवर्क कॉन्फ़िगरेशन सिस्टम की सबसे बड़ी स्थिरता (स्थानीय और वैश्विक त्रुटियों दोनों के लिए प्रतिरोध) देता है।
2. और छोटे k के साथ k-core से संबंधित सबसे महत्वपूर्ण नोड्स नेटवर्क के लगभग किसी भी राज्य में देखे जा सकते हैं। लेकिन बहुत बड़े कश्मीर के साथ एक k- कोर केवल मस्तिष्क के उन हिस्सों के लिए विशेषता है जो अचेतन अवस्था फ्यूसीफॉर्म गाइरस और लेफ्ट प्रीसेन्ट्रल गाइरस में सक्रिय हैं। कोर्टेक्स के समान भाग सबसे अधिक सक्रिय और सचेत अवस्था में होते हैं।

परिणाम की जांच करने के लिए, लेखकों ने वास्तविक लोगों के आधार पर एक लाख यादृच्छिक नेटवर्क बनाया, जो रैंडम रीवेयरिंग करते हुए, नोड्स की मूल डिग्री (ग्राफ में वर्टेक्स की डिग्री के समान) को बनाए रखता है। वास्तविक नेटवर्क अधिकतम k के बहुत बड़े मूल्यों द्वारा यादृच्छिक लोगों से भिन्न होते हैं। इसी समय, क्लस्टर में नोड्स की संख्या का यू आकार यादृच्छिक नेटवर्क में ध्यान देने योग्य रहा, जिसने लेखकों को इस विचार के लिए प्रेरित किया कि यह नोड्स की डिग्री है जो इस घटना के लिए जिम्मेदार है।

निष्कर्ष:
, , , . , , , - ( , , , ).

, , , , , , , - . , , qualia.

6. Large Memory Layers with Product Keys

: Guillaume Lample, Alexandre Sablayrolles, Marc'Aurelio Ranzato, Ludovic Denoyer, Hervé Jégou (Facebook AI Research, 2019)
→
: ( belerafon)

, key-value , .

- attention. q, k v. q, k, , value . , . , . , , . - q (, -10). . .

— q k . , "Product Keys". , q , . -10 , , O(N) "" , (sqrt(N)).

key-value . , ( , ). , BERT 28 . , , . : 12- 2 , 24- , perplexity .

( self-attention). , - . , multy-head attention. यानी query , value, . -.

, , , , BERT . .

7. Are We Really Making Much Progress? A Worrying Analysis of Recent Neural Recommendation Approaches

: Maurizio Ferrari Dacrema, Paolo Cremonesi, Dietmar Jannach (Politecnico di Milano, University of Klagenfurt, 2019)
→
: ( netcitizen)

DL , , .

DL top-n. DL KDD, SIGIR, TheWebConf (WWW) RecSys :

2. -

1. 7/18 (39%)
2. “” train/test, ., , , .
3. (Variational Autoencoders for Collaborative Filtering (Mult-VAE) ± ) KNN, SVD, PR.

DL, CV, NLP , .

8. Omni-Scale Feature Learning for Person Re-Identification

: Kaiyang Zhou, Yongxin Yang, Andrea Cavallaro, Tao Xiang (University of Surrey, Queen Mary University, Samsung AI, 2019)
→
: ( graviton)

Person Re-Identification, Face Recognition, , . (Kaiyang Zhou) deep-person-reid , (OSNet), Person Re-Identification. .

Person Re-Identification:

:

1. conv1x1 deepwise conv3x3 conv3x3 (figure 3).
2. , . ResNeXt , Inception (figure 4).
3. “aggregation gate” . , Inception .

OSNet , .. , : ( , ) .

OSNet के लिए रीड परीक्षा परिणाम (लगभग 2 मिलियन पैरामीटर) अन्य प्रकाश मॉडल (मार्केट: R1 93.6%, OSNet और R1 87.0% के लिए mAP 81.0%, MobileNetV2 के लिए mAP 69.5%) और सटीकता के साथ एक महत्वपूर्ण अंतर के अभाव में इस वास्तुकला के लाभ का संकेत देते हैं। ResNet और DenseNet के भारी मॉडल (बाज़ार: R1 94.8%, OSNet के लिए mAP 84.9% और R1 94.8%, ResNet के लिए mAP 86.0%)।

एक अन्य चुनौती डोमेन अनुकूलन है : एक डेटासेट पर प्रशिक्षित मॉडल में दूसरे पर खराब गुणवत्ता होती है। OSNet भी इस सेगमेंट में "अनपर्वलाइज्ड डोमेन अडेप्टेशन" के उपयोग के बिना अच्छे परिणाम दिखाता है (डेटा के वितरण को असंगत रूप में परीक्षण डेटा का उपयोग करके)।

इमेजनेट पर वास्तुकला का परीक्षण भी किया गया था, जहां इसने मोबाइलनेट वी 2 के साथ कम मापदंडों के साथ समान सटीकता हासिल की, लेकिन अधिक संचालन।

9. तंत्रिका पुनर्संरचना में संरचनात्मक अनुकूलन में सुधार होता है

लेखक: स्टीफ़न होयर, जस्सा सोहल-डिकस्टीन, सैम ग्रीडेनस (गूगल रिसर्च, 2019)
→ मूल लेख
लेखक की समीक्षा करें: एलेक्सी (अरेच सुस्त में)

निर्माण और अन्य प्रौद्योगिकियों में, कुछ समाधान की संरचना / टोपोलॉजी के अनुकूलन के कार्य हैं। मोटे तौर पर, यह एक प्रश्न का एक कंप्यूटर उत्तर है, उदाहरण के लिए, एक हवाई जहाज / टरबाइन ब्लेड / ब्लाब्लाब्ला के पुल / भवन / विंग को कैसे डिज़ाइन किया जाए, ताकि कुछ प्रतिबंधों को पूरा किया जा सके और संरचना पर्याप्त रूप से मजबूत हो। "मानक" समाधान विधियों का एक सेट है - यह काम करता है, लेकिन वहां सब कुछ हमेशा चिकना नहीं होता है।

Google के ये लोग क्या लेकर आए थे? उन्होंने कहा: आइए हम एक तंत्रिका नेटवर्क (यूनेट के अपसम्पलिंग भाग) द्वारा एक समाधान उत्पन्न करते हैं, और फिर एक विभेदक भौतिक मॉडल का उपयोग करते हैं, जो सभी बलों और गुरुत्वाकर्षण के प्रभाव के तहत एक समाधान के व्यवहार की गणना करेगा, उद्देश्य फ़ंक्शन की गणना करेगा - शक्ति (अधिक सटीक, इसका उलटा - अनुपालन) ) डिजाइन। फिर, चूंकि सब कुछ स्वचालित रूप से भिन्न होता है, हमें उद्देश्य फ़ंक्शन का ग्रेडिएंट मिलता है, जिसे संपूर्ण संरचना के माध्यम से वजन और तंत्रिका नेटवर्क के इनपुट पर वापस धकेल दिया जाता है। हम वज़न और प्रविष्टि बदलते हैं और एक स्थिर समाधान तक अभिसरण होने तक चक्र जारी रखते हैं।

परिणाम छोटे (संभव समाधान के स्थान के आकार के संदर्भ में) समस्याओं के लिए पारंपरिक तरीकों की तुलना में टोपोलॉजी के अनुकूलन के लिए निकला है, और बड़ी समस्याओं के लिए, वे पारंपरिक लोगों की तुलना में काफ़ी बेहतर हैं (116 समस्याओं में से 99 बनाम 66 में अधिक वजन)। इसके अलावा, परिणामस्वरूप समाधान अक्सर आधारभूत निर्णयों की तुलना में काफी अधिक तकनीकी और इष्टतम होते हैं।

यानी वास्तव में, उन्होंने संरचना के भौतिक मॉडल को पैरामीटर बनाने के लिए एक मुश्किल तरीके से एनएस का उपयोग किया, जो कि स्पष्ट रूप से (एनएस की वास्तुकला के लिए धन्यवाद) पैरामीटर मूल्यों पर कुछ उपयोगी प्रतिबंध लगाने में सक्षम है (एनएस को विधि से हटाकर और पिक्सेल मूल्यों के प्रत्यक्ष अनुकूलन)।

स्रोत कोड

हब्र पर इस लेख का अधिक विस्तृत अवलोकन।