👩🏽‍🏭 🛷 🎼 वैरिएबल ऑप्टिमाइज़ेशन का उपयोग करके तंत्रिका नेटवर्क में कमी 🍩 🦕 ⭕️

हाय, हैब्र। आज मैं वैरिएबल ऑप्टिमाइजेशन के विषय को विकसित करना चाहता हूं और यह बताना चाहता हूं कि इसे तंत्रिका नेटवर्क (प्रूनिंग) में अनइनफॉर्मेटिव चैनलों को ट्रिम करने के काम में कैसे लागू किया जाए। इसका उपयोग करते हुए, कोई भी अपनी वास्तुकला को हिलाए बिना एक तंत्रिका नेटवर्क की "आग की दर" को आसानी से बढ़ा सकता है।

मशीन लर्निंग एल्गोरिदम में निरर्थक तत्वों को कम करने का विचार बिल्कुल नया नहीं है। वास्तव में, यह गहरी सीखने की अवधारणा से भी पुराना है: यह केवल पहले था कि निर्णायक पेड़ों की शाखाओं को काट दिया गया था, और अब एक तंत्रिका नेटवर्क में वजन होता है।

मूल विचार सरल है: हम नेटवर्क में बेकार वजन का एक उपसमूह पाते हैं और उन्हें शून्य करते हैं। संपूर्ण खोज के बिना यह कहना मुश्किल है कि कौन सा वजन वास्तव में भविष्यवाणी में भाग लेता है, और जो केवल दिखावा करता है, लेकिन इसकी आवश्यकता नहीं है। विभिन्न नियमितीकरण के तरीके, इष्टतम मस्तिष्क क्षति और अन्य एल्गोरिदम अच्छी तरह से काम करते हैं। किसी भी वजन को क्यों हटाएं? यह पता चलता है कि यह नेटवर्क की सामान्यीकरण क्षमता में सुधार करता है: एक नियम के रूप में, महत्वहीन वजन या तो केवल भविष्यवाणी में शोर का परिचय देते हैं, या विशेष रूप से प्रशिक्षण डाटासेट (यानी, फिर से तैयार करने की एक कलाकृतियों) के संकेतों के लिए तेज किया जाता है। इस अर्थ में, कनेक्शन की कमी की तुलना नेटवर्क प्रशिक्षण के दौरान यादृच्छिक न्यूरॉन्स (ड्रॉपआउट) को डिस्कनेक्ट करने की विधि से की जा सकती है। इसके अलावा, यदि नेटवर्क में कई शून्य हैं, तो यह संग्रह में कम जगह लेता है और कुछ आर्किटेक्चर पर तेजी से पढ़ने में सक्षम है।

यह अच्छा लगता है, लेकिन अलग-अलग वज़न को बाहर फेंकने के लिए यह बहुत अधिक दिलचस्प है, लेकिन पूरे बंडल से पूरी तरह से जुड़े परतों या चैनलों से न्यूरॉन्स। इस मामले में, नेटवर्क संपीड़न और भविष्यवाणियों के त्वरण का प्रभाव अधिक स्पष्ट रूप से देखा जाता है। लेकिन यह व्यक्तिगत भार को नष्ट करने की तुलना में अधिक जटिल है: यदि आप ऑप्टिमल ब्रेन डैमेज को अंजाम देने की कोशिश करते हैं, तो एक कनेक्शन के बजाय पूरे बंडल को लेना, परिणाम बहुत प्रभावशाली नहीं होने की संभावना है। दर्द रहित रूप से एक न्यूरॉन को हटाने में सक्षम होने के लिए, इसे बनाने के लिए आवश्यक है ताकि इसका एक भी उपयोगी कनेक्शन न हो। ऐसा करने के लिए, आपको किसी तरह मजबूत बनने के लिए "मजबूत" न्यूरॉन्स को प्रेरित करने की जरूरत है, और कमजोर होने के लिए "कमजोर" वाले। यह कार्य हमारे लिए पहले से ही परिचित है: वास्तव में, हम नेटवर्क को भार के समूहीकरण पर कुछ प्रतिबंधों के साथ उत्पन्न होने के लिए मजबूर करते हैं।

ध्यान दें कि एक न्यूरॉन या कन्वेन्शनल चैनल को हटाने के लिए, आपको वेट के दो मैट्रिक्स को संशोधित करना होगा। मैं दृढ़ चैनल और न्यूरॉन्स के बीच अंतर नहीं करूंगा: उनके साथ काम समान है, केवल विशिष्ट हटाए गए वज़न और ट्रांसपोज़ेशन की विधि अलग है।

आसान तरीका: समूह एल 1 नियमितीकरण

आरंभ करने के लिए, मैं आपको नेटवर्क - समूह LASSO- नियमितीकरण से अतिरिक्त न्यूरॉन्स निकालने के सबसे सरल और प्रभावी तरीके के बारे में बताऊंगा। ज्यादातर अक्सर इसका उपयोग शून्य के करीब नेटवर्क में बेकार वजन रखने के लिए किया जाता है; यह चैनल-दर-मामला केस का सामान्य रूप से सामान्यीकरण करता है। नियमित नियमितीकरण के विपरीत, हम सीधे वजन या परत सक्रियण को नियमित नहीं करते हैं, यह विचार थोड़ा पेचीदा है। [चैनल डीप न्यूरल नेटवर्क में तेजी लाने के लिए प्रूनिंग; यिहुई वह एट अल; 2017]

वजन वेक्टर के साथ एक विशेष मुखौटा परत पर विचार करें

M = (b e t a_{1}, B e t a_{2}, d o t s, B e t a_{n})

$M = (\ beta_1, \ Beta_2, \ dots, \ Beta_n)$ । उनका निष्कर्ष सिर्फ एक टुकड़ा काम है

ए म

$एम$ पिछली परत के निष्कर्ष में, उसका कोई सक्रियण कार्य नहीं है। हम प्रत्येक परत के बाद मास्किंग परत में रखते हैं, जिन चैनलों को हम त्यागना चाहते हैं, और इन परतों में भार को एल 1-नियमितीकरण के अधीन करते हैं। इस प्रकार मास्क का वजन

b e t a_{i}

$\ beta_i$ परत के ith आउटपुट से गुणा करने से यह सभी भार पर प्रतिबंध लगाता है, जिस पर यह निष्कर्ष निर्भर करता है। अगर इन वज़न के बीच, आधा उपयोगी कहें, तो

b e t a_{i}

$beta_i$ एकता के करीब रहेगा, और यह निष्कर्ष अच्छी तरह से जानकारी प्रसारित करने में सक्षम होगा। लेकिन अगर केवल एक या कोई नहीं,

b e t a_{i}

$beta_i$ यह शून्य पर गिर जाएगा, जो न्यूरॉन के आउटपुट को रीसेट करेगा और वास्तव में, उन सभी भार को रीसेट करेगा, जिस पर यह निष्कर्ष निर्भर करता है (सक्रियण फ़ंक्शन के मामले में शून्य के बराबर शून्य)। कृपया ध्यान दें कि इस तरह से नेटवर्क को कानूनी रूप से बड़े वजन, या कानूनी रूप से मजबूत प्रतिक्रिया की स्थिति में कम नकारात्मक सुदृढीकरण प्राप्त होता है। पूरे मामले के रूप में न्यूरॉन की उपयोगिता।

यह इस सूत्र को बताता है:

जहाँ

l a m b d a

$\ lambda$ - loss'a नेटवर्क और loss'a विरलता का लगातार वजन। यह सामान्य एल 1-नियमितीकरण फार्मूले की तरह दिखता है, केवल दूसरे शब्द में मास्किंग परतों के वैक्टर होते हैं, न कि नेटवर्क के वजन के।

नेटवर्क के प्रशिक्षण के बाद, हम न्यूरॉन्स और उनके मास्किंग मूल्यों पर जाते हैं। अगर

b e t a_{i}

$beta_i$ एक निश्चित सीमा से अधिक, फिर न्यूरॉन वज़न से गुणा किया जाता है

b e t a_{i}

$beta_i$ यदि कम है, तो न्यूरॉन से संबंधित तत्वों को आने वाले और बाहर जाने वाले भार के मैट्रिस से हटा दिया जाता है (जैसा कि तस्वीर में थोड़ा अधिक है)। इसके बाद, मास्क को गिराया जा सकता है और नेटवर्क पूरा हो गया।

समूह LASSO के आवेदन में कई सूक्ष्मताएं हैं:

सामान्य नियमितीकरण। मास्क वेट के नियमितीकरण के साथ-साथ, एल 1 / एल 2 नियमितीकरण को अन्य सभी नेटवर्क वेट पर लागू किया जाना चाहिए। इसके बिना, असंतृप्त सक्रियण कार्यों (ReLu, ELu) के मामले में वजन कम करने में कमी को आसानी से वजन में वृद्धि से मुआवजा दिया जाएगा, और अशक्त प्रभाव काम नहीं करेगा। हां, और साधारण सिग्मोइड के लिए, यह आपको सकारात्मक प्रतिक्रिया के साथ प्रक्रिया को बेहतर ढंग से शुरू करने की अनुमति देता है: $M_i$ अनइनफॉर्मेटिव आउटपुट छोटा हो जाता है, यही कारण है कि ऑप्टिमाइज़र को प्रत्येक विशिष्ट भार के बारे में अधिक दृढ़ता से सोचना पड़ता है, जो आउटपुट को और भी अधिक असंक्रामक बनाता है, यही कारण है $M_i$ और भी बहुत कुछ घट जाता है।
लेख के लेखक परतों के वजन पर एक गोलाकार प्रतिबंध लगाने की भी सलाह देते हैं $| W_i | _2 = 1$ । यह संभवतः कमजोर से मजबूत न्यूरॉन्स तक संतुलन के "प्रवाह" में योगदान करना चाहिए, लेकिन मुझे बहुत अंतर नहीं दिखाई दिया।
पुश-पुल ट्रेनिंग। लेख के लेखक तंत्रिका नेटवर्क के सामान्य वजन और मास्किंग भार को वैकल्पिक रूप से प्रशिक्षित करने का सुझाव देते हैं। यह एक समय में सब कुछ सिखाने से अधिक लंबा है, लेकिन जैसे कि परिणाम थोड़े बेहतर हैं?
मास्क को ठीक करने के बाद नेटवर्क की लंबी फाइन ट्यूनिंग (फाइन-ट्यूनिंग) के बारे में मत भूलना, यह बहुत महत्वपूर्ण है।
ध्यान से निगरानी करें कि आपके मुखौटे कैसे खड़े हैं: सक्रियण फ़ंक्शन से पहले या बाद में। आपके पास सक्रियण के साथ समस्याएं हो सकती हैं जो तर्क शून्य होने पर बराबर नहीं होती हैं (उदाहरण के लिए, एक सिग्मोइड)।
Pruning बैटकॉरम के साथ उसी कारण से अनुकूल नहीं है जो ड्रॉपआउट इसके साथ अनुकूल नहीं है: सामान्यीकरण के दृष्टिकोण से, जब पैकेट 32 में 32 मान शून्य होते हैं, और जब पैकेट में 20 मान बहुत भिन्न परिस्थितियां होती हैं। शून्य बैलेंस को फाड़ने के बाद, बैटचन परत द्वारा सीखा गया वितरण वैध होना बंद हो जाता है। आपको या तो बैटमोरम परतों के बाद छंटाई की परतें डालने की जरूरत है, या किसी तरह बाद को संशोधित करना होगा।
ब्रांचिंग आर्किटेक्चर और अवशिष्ट नेटवर्क (रेसनेट) में चैनल कटौती को लागू करने में भी कठिनाइयां हैं। शाखाओं के विलय के दौरान अतिरिक्त न्यूरॉन्स को ट्रिम करने के बाद, आयाम संयोग नहीं हो सकते हैं। यह बफर परतों की शुरूआत से आसानी से हल हो जाता है, जिसमें हम न्यूरॉन्स को अस्वीकार नहीं करते हैं। इसके अलावा, यदि नेटवर्क शाखाएं अलग-अलग मात्रा में जानकारी लेती हैं, तो यह अलग सेट करने के लिए समझ में आता है $\ lambda$ ताकि यह पता न चले कि प्रूनिंग ने कम से कम सूचनात्मक शाखा में सभी न्यूरॉन्स को काट दिया। हालांकि, यदि सभी न्यूरॉन्स काट दिए जाते हैं, तो क्या यह इतनी महत्वपूर्ण शाखा नहीं है?
समस्या के मूल कथन में, गैर-शून्य चैनलों की संख्या पर सख्त प्रतिबंध है, लेकिन मेरे विचार में यह प्रारंभिक नुकसान के केवल मापक मापदंडों को बदलने के लिए पर्याप्त है और मास्किंग भार के L1- नुकसान, और फिर ऑप्टिमाइज़र को यह तय करने दें कि कितने चैनल छोड़ने हैं।
मुखौटे कैद कर लो। यह मूल लेख में नहीं है, लेकिन मेरी राय में, यह अभिसरण में सुधार के लिए एक अच्छा व्यावहारिक तंत्र है। जब मास्क का मूल्य एक निश्चित पूर्व निर्धारित कम मूल्य पर पहुँच जाता है, तो हम इसे रीसेट कर देते हैं और मास्क के इस हिस्से को बदलने पर रोक लगा देते हैं। इस प्रकार, कमजोर वजन पूरी तरह से मॉडल के प्रशिक्षण के दौरान पहले से ही भविष्यवाणी में योगदान करने के लिए बंद हो जाता है, और इसी मात्रा में कोई आवारा मूल्यों का परिचय नहीं देता है। सैद्धांतिक रूप से, यह संभावित रूप से उपयोगी चैनल को सेवा में लौटने से रोक सकता है, लेकिन मुझे नहीं लगता कि यह व्यवहार में हो रहा है।

कठिन तरीका: L0 नियमितीकरण

लेकिन हम आसान तरीकों की तलाश नहीं कर रहे हैं, है ना?

L1 नियमितीकरण का उपयोग कर चैनल अस्वीकृति पूरी तरह से उचित नहीं है। यह चैनल को "मजबूत प्रतिक्रिया" - "कमजोर प्रतिक्रिया" - "शून्य प्रतिक्रिया" के पैमाने पर आगे बढ़ने की अनुमति देता है। केवल जब मास्किंग वजन शून्य के करीब होता है, हम कैप्चर मास्क का उपयोग करके चैनल को छोड़ देते हैं। इस तरह की हरकत तस्वीर को बहुत विचलित करती है और प्रशिक्षण के दौरान अन्य चैनलों में बदलाव करती है: इससे पहले कि वे सीख सकें कि क्या करना है जब पिछले न्यूरॉन को पूरी तरह से बंद कर दिया जाता है, तो उन्हें सीखना चाहिए कि क्या करना है जब यह व्यवस्थित रूप से कमजोर प्रतिक्रिया देता है।

मुझे आपको याद दिलाना है कि, आदर्श रूप से, हम नेटवर्क से कम से कम सूचनात्मक चैनल का बेसब्री से चयन करना चाहते हैं, इसके बिना नेटवर्क सीखना जारी रखें, अगले कम से कम सूचनात्मक चैनल को हटाएं, फिर से नेटवर्क समायोजित करें, और इसी तरह। काश, इस तरह के निर्माण में, कार्य अपेक्षाकृत सरल नेटवर्क के लिए भी कम्प्यूटेशनल रूप से असहनीय होता है। इसके अलावा, यह दृष्टिकोण चैनलों को एक दूसरा मौका नहीं छोड़ता है - एक बार एक दूरस्थ न्यूरॉन फिर से ऑपरेशन के लिए वापस नहीं लौट सकता है। चलो कार्य को थोड़ा बदल दें: हम कभी-कभी न्यूरॉन को हटा देंगे, और कभी-कभी इसे छोड़ देंगे। इसके अलावा, अगर एक पूरे के रूप में न्यूरॉन उपयोगी है, तो इसे अधिक बार छोड़ दिया जाता है, लेकिन अगर यह बेकार है - इसके विपरीत। इसके लिए, हम उसी मास्किंग परतों का उपयोग करेंगे, जैसा कि एल 1-नियमितीकरण के मामले में है (यह बिना कारण नहीं था कि उन्हें पेश किया गया था!)। केवल उनका वजन शून्य पर आकर्षित करने वाले के साथ पूरे वास्तविक अक्ष के साथ नहीं जाएगा, लेकिन 0 और 1 के आसपास केंद्रित होगा। ऐसा नहीं है कि यह बहुत सरल हो गया है, लेकिन कम से कम न्यूरॉन्स के स्पष्ट हटाने की समस्या को हल किया है।

नेटवर्क ट्रेनर की वृत्ति बताती है कि संपूर्ण खोज द्वारा समस्या को हल करने के लिए आवश्यक नहीं है, लेकिन आपको मौजूदा रन टू लॉस फ़ंक्शन में परतों में सक्रिय न्यूरॉन्स की संख्या को जोड़ने की आवश्यकता है। हालांकि, इस तरह की अवधि में नुकसान कदम के लिए स्थिर होगा, और ढाल वंश इसके साथ काम नहीं कर सकता है। किसी भी प्रकार की ढाल की अनुपस्थिति के बावजूद, समय-समय पर कुछ न्यूरॉन्स को सीखना एल्गोरिदम को सिखाना आवश्यक है।

हमारे पास न्यूरॉन्स को अस्थायी रूप से हटाने का एक तरीका है: हम मुखौटा परत पर एक ड्रॉपआउट लागू कर सकते हैं। प्रशिक्षण के दौरान दें

B e t a_{i} = 1

$\ Beta_i = 1$ संभावना के साथ

p i

$\ pi$ और

B e t a_{i} = 0

$\ Beta_i = 0$ संभावना के साथ

1 - p i

$1 - \ pi$ । अब नुकसान फ़ंक्शन में आप राशि डाल सकते हैं

p i

$\ pi$ जो एक वास्तविक संख्या है। यहां हमें एक और बाधा का सामना करना पड़ रहा है: वितरण असतत है, यह स्पष्ट नहीं है कि इसके साथ बैकप्रॉपैगैशन कैसे काम करता है। सामान्य तौर पर, विशेष अनुकूलन एल्गोरिदम हैं जो हमें यहां मदद कर सकते हैं (देखें संदर्भ), लेकिन हम एक अलग दृष्टिकोण लेंगे।

और फिर वह क्षण आया जहां परिवर्तनीय अनुकूलन खेल में आता है: हम एक निरंतर एक द्वारा मास्किंग परत में शून्य और लोगों के असतत वितरण को अनुमानित कर सकते हैं और सामान्य बैकप्रॉपैजेशन एल्गोरिथ्म का उपयोग करके उत्तरार्द्ध के मापदंडों का अनुकूलन कर सकते हैं। यह काम के पीछे का विचार है [L0 नियमितिकरण के माध्यम से विरल तंत्रिका नेटवर्क सीखना; क्रिस्टोस लुइज़ोस एट अल; 2017]।

निरंतर वितरण की भूमिका कठिन कंक्रीट वितरण द्वारा निभाई जाएगी [कंक्रीट वितरण: असतत रैंडम वेरिएबल्स की एक निरंतर विश्राम; क्रिस मैडिसन; २०१,], यहाँ लकड़हारे से ऐसी मुश्किल बात है जो बर्नौली वितरण का अनुमान लगाती है:

अ ल ् फ ा

$\ अल्फा$ - केंद्र के सापेक्ष ऑफसेट वितरण, और

ब ी ट ा

$\ बीटा$ - तापमान। पर

ब ी ट ा द ा ई ं ओ र 0 ड ॉ ल

$\ बीटा \ दाईं ओर 0 डॉल$ वितरण अधिक से अधिक सही बर्नौली वितरण को अनुमानित करना शुरू करता है, लेकिन इसकी भिन्नता खो देता है। पर

0 < ब ी ट ा < 1

$0 <\ बीटा <1$ वितरण घनत्व अवतल है (यह वह मामला है जिसमें हम रुचि रखते हैं), के लिए

ब ी ट ा > 1

$\ बीटा> 1$ - उत्तल। हम एक कठोर सिग्मॉइड के माध्यम से इस वितरण को पास करते हैं ताकि यह कुशलतापूर्वक एक परिमित नॉनजरो संभावना के साथ दे सके

z = 0

$z = 0$ और

z = 1

$z = 1$ , और अंतराल (0, 1) पर यह एक निरंतर विभेदक घनत्व था। छंटाई खत्म करने के बाद, हम देखते हैं कि वितरण किस दिशा में स्थानांतरित हो गया है और यादृच्छिक चर को प्रतिस्थापित कर रहा है

z

$z$ एक विशिष्ट मुखौटा मूल्य के लिए

ब ी ट ा

$\ बीटा$ और हम इस शर्त पर एक पहले से निर्धारित मॉडल पर आते हैं।

थोड़ा बेहतर वितरण महसूस करने के लिए, मैं विभिन्न मापदंडों के लिए इसके घनत्व के कुछ उदाहरण दूंगा:

वितरण घनत्व

अ ल ् फ ा = 0.0, ब ी ट ा = 0.8

$\ अल्फा = 0.0, \ बीटा = 0.8$ :

अ ल ् फ ा = 1.0, ब ी ट ा = 0.8

$\ अल्फा = 1.0, \ बीटा = 0.8$ :

अ ल ् फ ा = 2.0, ब ी ट ा = 0.8

$\ अल्फा = 2.0, \ बीटा = 0.8$ :

अ ल ् फ ा = 0.0, ब ी ट ा = 0.5

$\ अल्फा = 0.0, \ बीटा = 0.5$ :

अ ल ् फ ा = 1.0, ब ी ट ा = 0.5

$\ अल्फा = 1.0, \ बीटा = 0.5$ :

अ ल ् फ ा = 2.0, ब ी ट ा = 0.5

$\ अल्फा = 2.0, \ बीटा = 0.5$ :

अ ल ् फ ा = 2.0, ब ी ट ा = 0.1

$\ अल्फा = 2.0, \ बीटा = 0.1$ :

अ ल ् फ ा = 2.0, ब ी ट ा = 2.0

$\ अल्फा = 2.0, \ बीटा = 2.0$ :

संक्षेप में, हमारे पास एक "स्मार्ट" ड्रॉपआउट परत है जो यह सीखती है कि निष्कर्ष को अधिक बार क्या फेंकना चाहिए। लेकिन हम वास्तव में क्या अनुकूलन कर रहे हैं? नुकसान में, आपको वितरण घनत्व के अभिन्न को गैर-शून्य क्षेत्र में रखना चाहिए (संभावना है कि प्रशिक्षण के दौरान मुखौटा गैर-शून्य हो जाएगा, बस डाल दिया):

एल -1-नियमितीकरण पर अध्याय में उल्लिखित पुश-पुल ट्रेनिंग, नियमित नियमितीकरण और अन्य कार्यान्वयन विवरणों में निम्नलिखित विशेषताएं जोड़ी गई हैं:

एक बार फिर: हमारी "स्मार्ट" कुछ ध्यान देने योग्य संभावना के साथ ड्रॉपआउट परत आउटपुट को रीसेट करती है, कुछ के साथ - इसे छोड़ देता है, और इसके अलावा, वहाँ एक छोटा सा मौका होता है $\ बीटा, \ xi, \ गामा$ यह आउटपुट 0 से 1. तक एक यादृच्छिक संख्या से गुणा किया जाएगा। अंतिम भाग हमारे अंतिम लक्ष्य के लिए उपयोगी से अधिक परजीवी है, लेकिन किसी भी तरह से इसके बिना - यह बैकप्रॉपैजिनेशन पासबैक के लिए आवश्यक है।
आम तौर पर और $\ अल्फा$ और $\ बीटा$ - प्रशिक्षण मापदंडों, लेकिन मेरे प्रयोगों में मुझे लगा कि यदि आप थोड़ा पूछें $\ बीटा$ (0.05) और सीखने की प्रक्रिया में यह अभी भी रैखिक रूप से कम है, एल्गोरिथ्म इससे बेहतर रूपांतरित करता है यदि आप ईमानदारी से इसे सीखते हैं। $\ अल्फा$ पर्याप्त बड़ा सेट करना बेहतर है $\ log {\ अल्फा} \ लगभग 2.5$ ताकि शुरुआत में न्यूरॉन्स को अक्सर खारिज कर दिया जाता है, लेकिन नुकसान में सैग्मॉयड को संतृप्त करने के लिए पर्याप्त बड़ा नहीं होता है।
अगर सूत्रों में प्रतिस्थापित किया जाए $\ log {\ अल्फा}$ बस पर $\ अल्फा$ जैसे कि प्रशिक्षण के दौरान नेटवर्क NaN में चलने की बेहतर और कम संभावना को परिवर्तित कर रहा था। इस पैंतरेबाज़ी के साथ, किसी को नुकसान फ़ंक्शन और आरंभीकरण में शब्द बदलना नहीं भूलना चाहिए।
इसके अलावा, यदि आप धोखा देते हैं और नुकसान में सामान्य सिग्मॉइड को प्रतिस्थापित करते हैं, तो प्रतिबंधों के साथ कठोर के साथ $[-4, 4] $ में $ \ लॉग {\ अल्फा} \$ , नियमितीकरण बेहतर अभिसरण और मजबूत कार्य करेगा।
कश्मीर $\ अल्फा$ और $\ बीटा$ आप अतिरिक्त रूप से स्पार्सनेस बढ़ाने के लिए नियमितीकरण लागू कर सकते हैं।
प्रशिक्षण के बाद, आपको परिणामों को कम करना चाहिए और दृढ़ता से नेटवर्क को तब तक प्रशिक्षित करना चाहिए जब तक कि घाटी की सटीकता स्थिर न हो जाए। लेख एक अधिक सटीक सूत्र प्रदान करता है जिसके द्वारा एक न्यूरॉन के आउटपुट को सत्यापन के दौरान या रिलीज में नेटवर्क जारी करने के लिए निर्धारक बनाया जा सकता है, लेकिन ऐसा लगता है कि प्रशिक्षण के अंत तक $\ अल्फा$ काम करने के लिए एक साधारण विधर्मी के लिए पर्याप्त ध्रुवीकरण किया जाना चाहिए: $\ अल्फा <0$ - मास्क 0, $\ अल्फा \ geq 0$ - मास्क 1 (लेकिन यह सटीक नहीं है)। नियतात्मक मुखौटे में जाने के बाद, आपको गुणवत्ता में एक छलांग दिखाई देगी। यह मत भूलो कि हम यहां शून्य वज़न पर आए थे, और एक निश्चित वजन सीमा के नीचे, आपको अभी भी मास्किंग वज़न को ज़ेडोस के साथ बदलने की आवश्यकता है।
L0 दृष्टिकोण का एक अतिरिक्त प्लस - मास्किंग परत एक ड्रॉपआउट की तरह काम करना शुरू कर देता है, जो नेटवर्क के लिए एक शक्तिशाली नियमित प्रभाव लाता है। लेकिन यह एक दोधारी तलवार है: यदि आप बहुत कम प्रशिक्षण लेना शुरू करते हैं $\ अल्फा$ पूर्व-प्रशिक्षित नेटवर्क संरचना को बर्बाद करने का जोखिम है।

प्रयोगों

प्रयोग के लिए, CIFAR-10 डेटासेट और चार संकेंद्रित परतों का एक अपेक्षाकृत सरल नेटवर्क लें, इसके बाद दो पूरी तरह से जुड़े: Conv2D, Mask, Conv2D, Mask, Pool2D, Conv2D, Mask, Conv2D, Mask, Pool2D, Flatten, Dropout (p = 0.5) , डेंस, मास्क, डेंस (लॉगिट्स)। यह माना जाता है कि प्रूनिंग के एल्गोरिदम मोटे नेटवर्क पर बेहतर काम करते हैं, लेकिन यहां मुझे कंप्यूटिंग शक्ति की कमी की विशुद्ध तकनीकी समस्या के बारे में पता चला। एक अनुकूलक के रूप में, एडम का उपयोग सीखने की दर = 0.0015 और बैच आकार = 32 के साथ किया गया था। इसके अलावा, सामान्य L1 (0.00005) और L2 (0.00025) नियमितीकरण का उपयोग किया गया था। छवि वृद्धि लागू नहीं की गई थी। नेटवर्क को अभिसरण से पहले 200 युगों में प्रशिक्षित किया गया था, जिसके बाद इसे संरक्षित किया गया था, और न्यूरॉन कटौती एल्गोरिदम को इसके लिए लागू किया गया था।

छंटाई के लिए ऊपर वर्णित एल्गोरिदम को लागू करने के अलावा, हम यह सुनिश्चित करने के लिए एक तुच्छ संदर्भ बिंदु सेट करते हैं कि एल्गोरिदम बिल्कुल कुछ करता है। आइए प्रत्येक परत के पहले को बाहर निकालने की कोशिश करें

k

$k$ न्यूरॉन्स और परिणामी नेटवर्क को समाप्त करें।

ग्राफ विभिन्न नियमितीकरण शक्ति स्थिरांक के साथ प्रयोगों की एक श्रृंखला के बाद L1 और L0 चैनल कमी एल्गोरिदम की तुलना के परिणामों को दर्शाता है। एल्गोरिथ्म को लागू करने के बाद x- अक्ष वज़न की संख्या में प्रतिशत में कमी का प्रतिनिधित्व करता है। वाई अक्ष पर, सत्यापन नमूने में कट नेटवर्क की सटीकता। बीच में नीली पट्टी एक नेटवर्क की अनुमानित गुणवत्ता है जिसे अभी तक न्यूरॉन्स से नहीं काटा गया है। ग्रीन लाइन एक सरल L1 मास्क लर्निंग एल्गोरिदम का प्रतिनिधित्व करती है। लाल रेखा L0-pruning है। बैंगनी लाइन - पहली हटाने

k

$k$ चैनल। ब्लैक ट्राएंगल - एक ऐसे नेटवर्क का प्रशिक्षण, जिसमें शुरू में कम वजन था।

CIFAR-100 के लिए एक और उदाहरण और लगभग समान वास्तुकला का एक लंबा और व्यापक नेटवर्क और समान प्रशिक्षण मापदंडों के साथ:

रेखांकन में Iiiii यह स्पष्ट रूप से दिखाई देता है कि एक साधारण L1 एल्गोरिथ्म चालाक परिवर्तनीय अनुकूलन से भी बदतर नहीं है, और ऐसा लगता है कि यह कम संपीड़न मूल्यों पर नेटवर्क की गुणवत्ता में थोड़ा और सुधार करता है। परिणाम अन्य डेटासेट और नेटवर्क आर्किटेक्चर के साथ एक बार के प्रयोगों द्वारा भी पुष्टि किए जाते हैं। यह एक पूरी तरह से अपेक्षित परिणाम है, जिसे मैंने उस समय गिना जब मैंने नेटवर्क कटौती पर प्रयोग शुरू किए। ईमानदारी से। आह।

ठीक है, ईमानदार होने के लिए, मैं थोड़ा आश्चर्यचकित था, और एल्गोरिथ्म और नेटवर्क के साथ खेलने की कोशिश की: विभिन्न आर्किटेक्चर, नेटवर्क हाइपरपैरमीटर, सटीक सूत्र कठिन ठोस वितरण, प्रारंभिक मान

अ ल ् फ ा

$\ अल्फा$ और

ब ी ट ा

$\ बीटा$ मध्यवर्ती ट्यूनिंग के युगों की संख्या। एल0-नियमितीकरण सिद्धांत में शांत दिखता है, लेकिन व्यवहार में हाइपरपरमेटर्स लेने में कठिन है, और इसमें अधिक समय लगता है, इसलिए मैं अतिरिक्त प्रयोगों और फ़ाइल प्रसंस्करण के बिना इसका उपयोग करने की अनुशंसा नहीं करूंगा। कृपया लेख को पढ़ते हुए बिताए समय पर विचार न करें: L0-pruning वास्तव में बहुत विश्वसनीय लगता है, और मैं कहूंगा कि मैंने एल्गोरिथ्म को कहीं गलत तरीके से लागू किया, कि मुझे वादा किया लाभ प्राप्त नहीं हुआ। इसके अलावा, वैरिएबल ऑप्टिमाइज़ेशन और भी अधिक उन्नत कमी एल्गोरिदम के लिए आधार है [उदाहरण के लिए, वैरेशनल का उपयोग करते हुए तंत्रिका नेटवर्क को संकुचित करना
सूचना टोंटी, 2018]।

सामान्य तौर पर, निम्नलिखित निष्कर्ष निकाले जा सकते हैं:

. 30-50% . «» , . [The Lottery Ticket Hypothesis: Training Pruned Neural Networks, J. Frankle and M. Carbin, 2018] ( , , , ).
, . . , ?
, . 60-90% . $k$ <7%, .
, (<60%) : , !
L1 L0 (APoZ), , .. , $k$ .
, . , , , , . , , . pruning' , . - , .

याद रखें कि मैंने पोस्ट की शुरुआत में कैसे लिखा था कि चालाक एल्गोरिथ्म को पूरा करने के बाद, आप "नेटवर्क के अतिरिक्त टुकड़े पूरी तरह से काट सकते हैं"? तो, नेटवर्क के अतिरिक्त टुकड़ों को काटना बिल्कुल आसान नहीं है। Tensorflow और अन्य पुस्तकालयों एक कम्प्यूटेशनल ग्राफ का निर्माण, और यह इतनी आसानी से नहीं बदला जा सकता है जब यह पहले से ही ऑपरेशन में है। आपको गणना किए गए मुखौटे के साथ नेटवर्क को सहेजना होगा, इसमें से आवश्यक भार की सूची को फाड़ना होगा, आवश्यकतानुसार भार को स्थानांतरित करना होगा, शून्य समूहों को हटाना होगा, वापस स्थानांतरित करना होगा, और दसियों के आउटपुट सेट के आधार पर एक नया नेटवर्क बनाना होगा। परिणामी नेटवर्क में मूल के समान लेआउट होना चाहिए, लेकिन इसमें कम न्यूरॉन्स होंगे। प्रारंभिक और अंतिम नेटवर्क बनाने के कार्य में समान नेटवर्क योजना को बनाए रखने के साथ सिरदर्द की अपेक्षा करें, खासकर अगर वे रैखिक नहीं हैं, लेकिन शाखा।

संभवतः सुविधाजनक मास्किंग के लिए आपको अपनी खुद की परतें बनानी होंगी। यह आसान है, लेकिन सावधान रहें कि आप किस संग्रह में मास्किंग विकल्प जोड़ते हैं। गलती करना आसान है और गलती से अन्य सभी पैमानों के साथ चैनल कटौती मापदंडों को प्रशिक्षित करना है।

यह ध्यान दिया जाना चाहिए कि बहुत गहरे नहीं आर्किटेक्चर के साथ नेटवर्क के वजन का एक महत्वपूर्ण हिस्सा आमतौर पर एक संवेदी भाग से पूरी तरह से जुड़े एक के लिए संक्रमण पर केंद्रित है। यह इस तथ्य के कारण है कि अंतिम दृढ़ परत को सपाट बनाया गया है, जिसके परिणामस्वरूप, यह था, (चैनलों की संख्या) * (चौड़ाई) * (ऊंचाई) न्यूरॉन्स का गठन होता है, और वजन का अगला मैट्रिक्स बहुत चौड़ा होता है। इन भारों के कटने की संभावना नहीं है; इसके अलावा, यह नहीं किया जाना चाहिए, अन्यथा नेटवर्क की अंतिम परतें कुछ स्थानों पर पाई जाने वाली सुविधाओं के लिए "अंधा" होंगी। ऐसे मामलों में, चैनलों की अंतिम संख्या को छोटा बनाने और मैक्सपूलिंग का उपयोग करने की कोशिश करें या यहां तक कि पूरी तरह से दृढ़ या पूरी तरह से जुड़े आर्किटेक्चर का उपयोग करें।

यदि आप किसी को CIFAR-10 और CIFAR-100 पर प्रयोगों को दोहराने में रुचि रखते हैं, तो आपका ध्यान देने के लिए धन्यवाद,कोड को जीथब पर लिया जा सकता है । आपका दिन शुभ हो!

वैरिएबल ऑप्टिमाइज़ेशन का उपयोग करके तंत्रिका नेटवर्क में कमी

आसान तरीका: समूह एल 1 नियमितीकरण

कठिन तरीका: L0 नियमितीकरण

प्रयोगों

More articles: