तंत्रिका नेटवर्क वास्तुकला

तंत्रिका नेटवर्क आर्किटेक्चर अनुवाद

गहरे तंत्रिका नेटवर्क के एल्गोरिदम ने आज बहुत लोकप्रियता हासिल की है, जो काफी हद तक अच्छी तरह से सोची-समझी वास्तुकला द्वारा सुनिश्चित की गई है। आइए पिछले कुछ वर्षों में उनके विकास के इतिहास को देखें। यदि आप एक गहन विश्लेषण में रुचि रखते हैं, तो इस काम को देखें।


टॉप -1 वन-क्रॉप सटीकता के लिए लोकप्रिय आर्किटेक्चर की तुलना और एक डायरेक्ट पास के लिए आवश्यक संचालन की संख्या। अधिक जानकारी यहाँ ।

LeNet5

1994 में, पहले कॉन्फ्लिक्टल न्यूरल नेटवर्क में से एक को विकसित किया गया था, जिसने गहन सीखने की नींव रखी। 1988 के बाद से कई सफल पुनरावृत्तियों के बाद, यान लेकन द्वारा इस अग्रणी कार्य को LeNet5 कहा गया!



LeNet5 वास्तुकला गहरी सीखने के लिए मौलिक बन गई है, विशेष रूप से पूरे चित्र में छवि गुणों के वितरण के संदर्भ में। विभिन्न मापदंडों से समान गुणों को कुशलतापूर्वक निकालने के लिए कई मापदंडों का उपयोग करने की अनुमति दी गई सीखने के मापदंडों के साथ बातचीत। उन वर्षों में, कोई वीडियो कार्ड नहीं था जो सीखने की प्रक्रिया को गति दे सकता था, और यहां तक ​​कि केंद्रीय प्रोसेसर भी धीमा था। इसलिए, आर्किटेक्चर का मुख्य लाभ एक बड़े बहुपरत तंत्रिका नेटवर्क के लिए अलग-अलग इनपुट डेटा के रूप में प्रत्येक पिक्सेल का उपयोग करने के विपरीत, मापदंडों और गणना परिणामों को बचाने की क्षमता थी। LeNet5 में, पहली परत में पिक्सल का उपयोग नहीं किया जाता है, क्योंकि छवियों को दृढ़ता से स्थानिक रूप से सहसंबद्ध किया जाता है, इसलिए इनपुट गुणों के रूप में व्यक्तिगत पिक्सेल का उपयोग करने से आप इन सहसंबंधों का लाभ नहीं ले पाएंगे।

LeNet5 की विशेषताएं:

• तीन परतों के अनुक्रम का उपयोग करते हुए एक सजातीय तंत्रिका नेटवर्क: कन्वेक्शन लेयर्स, पूलिंग लेयर्स और नॉन-लीनियरिटी लेयर्स -> लेकुन के काम के प्रकाशन के बाद से, यह शायद छवियों के संबंध में गहन सीखने की मुख्य विशेषताओं में से एक है।
• स्थानिक गुणों को प्राप्त करने के लिए दृढ़ संकल्प का उपयोग करता है।
• स्थानिक मानचित्र औसत का उपयोग करके सदस्यता।
• हाइपरबोलिक स्पर्शरेखा या सिग्मॉइड के रूप में नॉनलाइनियरिटी।
• एक बहुपरत तंत्रिका नेटवर्क (एमएलपी) के रूप में अंतिम क्लासिफायरियर।
• परतों के बीच कनेक्टिविटी का विरल मैट्रिक्स गणना की मात्रा को कम करता है।

इस तंत्रिका नेटवर्क ने बाद के कई आर्किटेक्चर का आधार बनाया और कई शोधकर्ताओं को प्रेरित किया।

विकास

1998 से 2010 तक, तंत्रिका नेटवर्क ऊष्मायन की स्थिति में थे। अधिकांश लोगों ने अपनी बढ़ती क्षमताओं पर ध्यान नहीं दिया, हालांकि कई डेवलपर्स ने धीरे-धीरे अपने एल्गोरिदम का सम्मान किया। मोबाइल फोन कैमरों की हेय और डिजिटल कैमरों के सस्ते होने के कारण, अधिक से अधिक प्रशिक्षण डेटा हमारे लिए उपलब्ध हो गया है। उसी समय, कंप्यूटिंग क्षमताओं में वृद्धि हुई, प्रोसेसर अधिक शक्तिशाली हो गए, और वीडियो कार्ड मुख्य कंप्यूटिंग टूल में बदल गए। इन सभी प्रक्रियाओं ने तंत्रिका नेटवर्क के विकास की अनुमति दी, यद्यपि धीरे-धीरे। तंत्रिका नेटवर्क की मदद से हल किए जा सकने वाले कार्यों में रुचि बढ़ रही थी, और आखिरकार स्थिति स्पष्ट हो गई ...

दान सीरसन नेट

2010 में, डैन क्लाउडीयू सीरसन और जुर्गन श्मिधुबर ने GPU तंत्रिका नेटवर्क के कार्यान्वयन के पहले विवरणों में से एक को प्रकाशित किया। उनके काम में NVIDIA GTX 280 पर 9-लेयर न्यूरल नेटवर्क का प्रत्यक्ष और रिवर्स कार्यान्वयन था।

AlexNet

2012 में, अलेक्सई क्रिज़ेव्स्की ने एलेनेट को प्रकाशित किया , लीनेट का एक गहन और विस्तारित संस्करण, जो इमेजनेट प्रतियोगिता में व्यापक अंतर से जीता।



एलेक्सनेट पर, लेनेट गणना के परिणामों को एक बहुत बड़े तंत्रिका नेटवर्क में स्केल किया गया है, जो कि अधिक जटिल वस्तुओं और उनके पदानुक्रमों का अध्ययन करने में सक्षम है। इस समाधान की विशेषताएं:

• गैर-रेखीय के रूप में रैखिक आयतन इकाइयों (ReLU) का उपयोग।
• प्रशिक्षण के दौरान व्यक्तिगत न्यूरॉन्स के चयनात्मक अनदेखी के लिए तकनीकों को त्यागने का उपयोग, जो मॉडल के अति-प्रशिक्षण से बचा जाता है।
• ओवरलैप अधिकतम पूलिंग, जो औसत पूलिंग के प्रभाव से बचा जाता है।
• सीखने में तेजी लाने के लिए NVIDIA GTX 580 का उपयोग करना।

उस समय तक, वीडियो कार्ड में कोर की संख्या में काफी वृद्धि हुई थी, जिसने उन्हें प्रशिक्षण के समय को लगभग 10 गुना कम करने की अनुमति दी थी, और परिणामस्वरूप बहुत बड़े डेटासेट और चित्रों का उपयोग करना संभव हो गया।

एलेक्सनेट की सफलता ने एक छोटी सी क्रांति का शुभारंभ किया, सजातीय तंत्रिका नेटवर्क गहरी सीखने का एक कार्यक्षेत्र बन गए हैं - इस शब्द का अब अर्थ है "बड़े तंत्रिका नेटवर्क जो उपयोगी कार्यों को हल कर सकते हैं।"

Overfeat

दिसंबर 2013 में, जन लेकुन की एनवाईयू प्रयोगशाला ने एलेक्सफनेट के एक संस्करण ओवरफेट का विवरण प्रकाशित किया। इसके अलावा, लेख ने प्रशिक्षित बाउंडिंग बॉक्स का वर्णन किया, और बाद में इस विषय पर कई अन्य कार्यों को प्रकाशित किया गया। हमारा मानना ​​है कि आर्टिफिशियल बाउंडिंग बॉक्स का उपयोग करने के बजाए वस्तुओं को खंडित करना बेहतर है।

VGG

ऑक्सफोर्ड में विकसित किए गए वीजीजी नेटवर्क में, प्रत्येक कंफ्यूज़नल लेयर में, पहली बार 3x3 फ़िल्टर का उपयोग किया गया था, और यहां तक ​​कि इन लेयर्स को कन्वोक्यूशन के एक क्रम में जोड़ा गया था।

यह लेनेट में निर्धारित सिद्धांतों का खंडन करता है, जिसके अनुसार समान छवि गुणों को निकालने के लिए बड़े संकल्पों का उपयोग किया गया था। एलेक्सनेट में उपयोग किए जाने वाले 9x9 और 11x11 फिल्टर के बजाय, उन्होंने 1x1 कनफोल्यूशंस के करीब खतरनाक रूप से बहुत छोटे फिल्टर का उपयोग करना शुरू कर दिया, जिसे लेनेट के लेखकों ने कम से कम नेटवर्क की पहली परतों में बचने की कोशिश की। लेकिन वीजीजी का महान लाभ यह था कि एक क्रम में संयुक्त कई 3x3 संकेतन बड़े ग्रहणशील क्षेत्रों का अनुकरण कर सकते हैं, उदाहरण के लिए, 5x5 या 7x7। इन विचारों को बाद में इनसेप्शन और रेसनेट आर्किटेक्चर में उपयोग किया जाएगा।



वीजीजी नेटवर्क जटिल गुणों का प्रतिनिधित्व करने के लिए कई 3x3 दृढ़ परतों का उपयोग करते हैं। VGG-E में 3, 4 और 5 ब्लॉक पर ध्यान दें: अधिक जटिल गुणों को निकालने और उन्हें संयोजित करने के लिए, 256 × 256 और 512 × 512 3 × 3 फ़िल्टर क्रम का उपयोग किया जाता है। यह तीन परतों के साथ एक बड़े संमिश्र क्लासिफायर 512x512 के बराबर है! यह हमें बड़ी संख्या में पैरामीटर और उत्कृष्ट सीखने की क्षमता प्रदान करता है। लेकिन इस तरह के नेटवर्क को सीखना मुश्किल था, मुझे उन्हें छोटे-छोटे हिस्सों में तोड़ना था, एक-एक करके परतें जोड़ना थीं। इसका कारण मॉडलों को नियमित करने के लिए प्रभावी तरीकों की कमी या बड़े खोज स्थान को सीमित करने के कुछ तरीके थे, जो कई मापदंडों द्वारा पदोन्नत किया जाता है।

कई परतों में वीजीजी बड़ी संख्या में गुणों का उपयोग करते हैं, इसलिए प्रशिक्षण कम्प्यूटेशनल रूप से महंगा था। लोड को गुणों की संख्या को कम करके कम किया जा सकता है, जैसा कि इंसेप्शन आर्किटेक्चर की अड़चन परतों में किया जाता है।

नेटवर्क में नेटवर्क

नेटवर्क-इन-नेटवर्क (NiN) आर्किटेक्चर एक सरल विचार पर आधारित है: 1x1 दृढ़ संकल्पों का उपयोग करके संपीड़ित परतों में गुणों के संयोजन को बढ़ाने के लिए।

NiN में, प्रत्येक दृढ़ संकल्प के बाद, स्थानिक एमएलपी परतों का उपयोग अगली परत को खिलाने से पहले गुणों को बेहतर ढंग से संयोजित करने के लिए किया जाता है। ऐसा प्रतीत हो सकता है कि 1x1 दृढ़ संकल्पों का उपयोग मूल लेनेट सिद्धांतों का खंडन करता है, लेकिन वास्तव में यह संपत्तियों को केवल अधिक दृढ़ परतों को भरने की तुलना में बेहतर संयोजन की अनुमति देता है। यह दृष्टिकोण अगली परत के इनपुट के रूप में नंगे पिक्सल का उपयोग करने से अलग है। इस मामले में, संपत्ति के नक्शे के ढांचे के भीतर दोषी ठहराए जाने के बाद संपत्तियों के स्थानिक संयोजन के लिए 1x1 का उपयोग किया जाता है, इसलिए आप बहुत कम मापदंडों का उपयोग कर सकते हैं जो इन गुणों के सभी पिक्सल के लिए सामान्य हैं!



एमएलपी व्यक्तिगत जटिल परतों की प्रभावशीलता को बहुत अधिक जटिल समूहों में जोड़कर बढ़ा सकते हैं। इस विचार को बाद में अन्य आर्किटेक्चर, जैसे रेसनेट, इनसेप्शन और उनके वेरिएंट में इस्तेमाल किया गया था।

GoogLeNet और इंसेप्शन

Google क्रिश्चियन सज़ीदी गहरे तंत्रिका नेटवर्क में संगणना कम करने के बारे में चिंतित है, और परिणामस्वरूप , GoogLeNet, पहली स्थापना वास्तुकला ।

2014 के आते-आते, डीप लर्निंग मॉडल वीडियो सामग्री और फ़्रेम को वीडियो से वर्गीकृत करने में बहुत उपयोगी हो गए थे। कई संशयवादियों ने गहन शिक्षण और तंत्रिका नेटवर्क के लाभों को मान्यता दी है, और Google सहित इंटरनेट दिग्गज, अपने सर्वर क्षमताओं पर कुशल और बड़े नेटवर्क को तैनात करने में बहुत रुचि रखते हैं।

ईसाई तंत्रिका नेटवर्क में कम्प्यूटेशनल लोड को कम करने के तरीकों की तलाश कर रहे थे, उच्चतम प्रदर्शन (उदाहरण के लिए, इमेजनेट में) प्राप्त कर रहे हैं। या संगणना की मात्रा का संरक्षण, लेकिन फिर भी उत्पादकता में वृद्धि।

परिणामस्वरूप, कमांड ने एक इंसेप्शन मॉड्यूल बनाया:



पहली नज़र में, यह 1x1, 3x3 और 5x5 के समांतर फिल्टर का एक समानांतर संयोजन है। लेकिन हाइलाइट "महंगी" समानांतर ब्लॉकों में सेवा देने से पहले संपत्तियों की संख्या को कम करने के लिए कन्वेक्शन ब्लॉक 1x1 (NiN) का उपयोग था। आमतौर पर इस भाग को अड़चन कहा जाता है, इसे अगले अध्याय में अधिक विस्तार से वर्णित किया गया है।

GoogLeNet प्रारंभिक परत के रूप में इंसेप्शन मॉड्यूल के बिना एक स्टेम का उपयोग करता है, और NiN के समान औसत पूलिंग और सॉफ्टमैक्स क्लासिफायर का भी उपयोग करता है। एलेक्सिनेट और वीजीजी की तुलना में यह क्लासिफायर बहुत कम ऑपरेशन करता है। इसने एक बहुत ही कुशल तंत्रिका नेटवर्क वास्तुकला बनाने में मदद की।

अड़चन की परत

यह परत प्रत्येक परत में गुणों की संख्या (और इसलिए संचालन) को कम करती है, ताकि परिणाम प्राप्त करने की गति को उच्च स्तर पर बनाए रखा जा सके। डेटा को "महँगा" कंफर्म करने के लिए ट्रांसफ़ॉर्म करने से पहले, गुणों की संख्या को घटाकर 4 गुना कर दिया जाता है। यह गणना की मात्रा को बहुत कम कर देता है, जिसने वास्तुकला को लोकप्रिय बना दिया है।

चलिए इसका पता लगाते हैं। मान लीजिए कि हमारे पास इनपुट पर 256 और आउटपुट में 256 गुण हैं, और इनसेप्शन लेयर को केवल 3x3 कॉन्फोल्यूशन करने दें। हमें 256x256x3x3 कन्वेंशन (संचय गुणन के 589,000 ऑपरेशन, यानी मैक ऑपरेशंस) मिलते हैं। यह हमारी कम्प्यूटेशनल गति आवश्यकताओं से परे हो सकता है; मान लें कि Google सर्वर पर 0.5 मिलीसेकंड में एक परत संसाधित होती है। फिर गुना करने के लिए गुणों की संख्या घटाकर 64 (256/4) करें। इस स्थिति में, पहले 256 -> 64 का 1x1 कनवल्शन करें, फिर सभी इंसेप्शन ब्रांच में एक और 64 कनवल्शन, और फिर 64 -> 256 प्रॉपर्टी में से 1x1 कनवल्शन लागू करें। संचालन की संख्या:

• 256 × 64 × 1 × 1 = 16,000
• 64 × 64 × 3 × 3 = 36,000
• 64 × 256 × 1 × 1 = 16,000

केवल 70,000 के बारे में, ऑपरेशन की संख्या लगभग 10 गुना कम कर दी! लेकिन एक ही समय में, हमने इस परत में सामान्यीकरण नहीं खोया। टोंटीलेक परतों ने इमेजनेट डेटासेट पर उत्कृष्ट प्रदर्शन दिखाया है, और बाद के आर्किटेक्चर जैसे रेसनेट में इसका उपयोग किया गया है। उनकी सफलता का कारण यह है कि इनपुट गुणों को सहसंबद्ध किया जाता है, जिसका अर्थ है कि आप 1x1 संकल्पों के साथ गुणों को सही ढंग से जोड़कर अतिरेक से छुटकारा पा सकते हैं। और कम गुणों के साथ तह करने के बाद, आप फिर से उन्हें अगली परत पर एक महत्वपूर्ण संयोजन में तैनात कर सकते हैं।

स्थापना V3 (और V2)

ईसाई और उनकी टीम बहुत प्रभावी शोधकर्ता साबित हुई है। फरवरी 2015 में, बैच-सामान्यीकृत इंसेप्शन आर्किटेक्चर को इंसेप्शन के दूसरे संस्करण के रूप में पेश किया गया था। बैच-सामान्यीकरण आउटपुट परत में सभी संपत्ति वितरण नक्शे के माध्य और मानक विचलन की गणना करता है, और इन मूल्यों के साथ उनकी प्रतिक्रियाओं को सामान्य करता है। यह डेटा के "व्हाइटनिंग" से मेल खाता है, अर्थात, सभी तंत्रिका मानचित्रों की प्रतिक्रियाएं एक ही सीमा में और शून्य माध्य के साथ होती हैं। यह दृष्टिकोण सीखने को आसान बनाता है, क्योंकि इनपुट डेटा के ऑफसेट को याद रखने के लिए अगली परत की आवश्यकता नहीं होती है और केवल गुणों के सर्वोत्तम संयोजन की खोज कर सकता है।

दिसंबर 2015 में, इन्सेप्शन मॉड्यूल का एक नया संस्करण और संबंधित आर्किटेक्चर जारी किया गया था । लेखक का लेख मूल GoogLeNet वास्तुकला की बेहतर व्याख्या करता है, जो किए गए निर्णयों के बारे में बहुत कुछ बताता है। मुख्य विचार:

• इसकी गहराई और चौड़ाई के बीच सावधानीपूर्वक संतुलन के कारण नेटवर्क में सूचना के प्रवाह को अधिकतम करना। प्रत्येक पूलिंग से पहले, संपत्ति के नक्शे बढ़ते हैं।
• बढ़ती गहराई के साथ, गुण या परत की चौड़ाई की संख्या भी व्यवस्थित रूप से बढ़ जाती है।
• प्रत्येक परत की चौड़ाई अगली परत से पहले गुणों के संयोजन को बढ़ाने के लिए बढ़ जाती है।
• संभव हद तक, केवल 3x3 दृढ़ संकल्प का उपयोग किया जाता है। यह देखते हुए कि 5x5 और 7x7 फिल्टर कई 3x3 का उपयोग करके विघटित हो सकते हैं
  
  
  
  नया इंसेप्शन मॉड्यूल इस तरह दिखता है:
  
  
• अधिक जटिल माड्यूलों में चिकने संकल्‍पों का उपयोग करके फिल्टर को विघटित भी किया जा सकता है:
  
  
• इंसेप्शन कैलकुलेशन के दौरान इनसेप्शन मॉड्यूल पूलिंग का उपयोग करके डेटा के आकार को कम कर सकता है। यह एक साधारण पूलिंग परत के साथ समानांतर में स्ट्राइड्स के साथ कन्वेंशन करने के समान है:
  
  

स्थापना अंतिम क्लासिफायर के रूप में सॉफ्टमैक्स के साथ पूलिंग परत का उपयोग करती है।

ResNet

दिसंबर 2015 में, इन्सेप्शन v3 आर्किटेक्चर को पेश किए जाने के लगभग उसी समय, एक क्रांति हुई - उन्होंने ResNet प्रकाशित किया । इसमें सरल विचार शामिल हैं: दो सफल संकेंद्रित परतों का आउटपुट सबमिट करें और अगली परत के लिए इनपुट को बायपास करें!



इस तरह के विचार पहले से ही प्रस्तावित हैं, उदाहरण के लिए, यहां । लेकिन इस मामले में, लेखकों ने दो परतों को दरकिनार किया और बड़े पैमाने पर दृष्टिकोण को लागू किया। एक परत को दरकिनार करने से अधिक लाभ नहीं मिलता है, और दो को दरकिनार करना एक महत्वपूर्ण खोज है। इसे छोटे क्लासिफायरफायर के रूप में, नेटवर्क-इन-नेटवर्क के रूप में देखा जा सकता है!

यह कई सौ, यहां तक ​​कि हजारों परतों के नेटवर्क को प्रशिक्षित करने का पहला उदाहरण था।
बहुपरत ResNet एक ऐसी टोंटी परत का उपयोग करता है, जिसका उपयोग इनसेप्शन में किया जाता है:



यह परत प्रत्येक परत में गुणों की संख्या को कम करती है, पहले 1x1 कनवल्शन का उपयोग कम आउटपुट (आमतौर पर इनपुट का एक चौथाई) के साथ करती है, फिर एक 3x3 परत, और फिर 1x1 को बड़ी संख्या में गुणों में परिवर्तित करती है। जैसे कि इन्सेप्शन मॉड्यूल के मामले में, यह संपत्ति संयोजन की संपत्ति को बनाए रखते हुए कम्प्यूटेशनल संसाधनों को बचाता है। इनसेप्शन V3 और V4 में अधिक जटिल और कम स्पष्ट उपजी के साथ तुलना करें।

ResNet अंतिम क्लासिफायर के रूप में सॉफ्टमैक्स के साथ एक पूलिंग परत का उपयोग करता है।
हर दिन, ResNet वास्तुकला के बारे में अतिरिक्त जानकारी दिखाई देती है:

• इसे एक साथ समानांतर और सीरियल मॉड्यूल की प्रणाली के रूप में माना जा सकता है: कई मॉड्यूल में इन-सिग्नल समानांतर में आता है, और प्रत्येक मॉड्यूल के आउटपुट सिग्नल श्रृंखला में जुड़े हुए हैं।
• ResNet को समानांतर या सीरियल मॉड्यूल के कई पहनावा के रूप में माना जा सकता है।
• यह पता चला कि रेसनेट आमतौर पर नेटवर्क की पूरी लंबाई के साथ क्रमिक रूप से चलने के बजाय समानांतर में काम कर रहे 20-30 परतों के अपेक्षाकृत छोटे गहराई ब्लॉक के साथ संचालित होता है।
• चूंकि आउटपुट सिग्नल वापस आता है और एक इनपुट के रूप में खिलाया जाता है, जैसा कि आरएनएन में किया जाता है, रेसनेट को सेरेब्रल कॉर्टेक्स का एक बेहतर प्रशंसनीय मॉडल माना जा सकता है ।

स्थापना V4

क्रिश्चियन और उनकी टीम ने इंसेप्शन के एक नए संस्करण के साथ फिर से उत्कृष्ट प्रदर्शन किया।

इन्सेप्शन V3 में इन्सेप्शन मॉड्यूल निम्नलिखित स्टेम के समान है:



इस स्थिति में, रिसेप्शन मॉड्यूल को रेसनेट मॉड्यूल के साथ जोड़ा जाता है:



यह वास्तुकला मेरे स्वाद के लिए, अधिक जटिल, कम सुरुचिपूर्ण, और अपारदर्शी हेयुरिस्टिक समाधानों से भी भरी हुई थी। यह समझना मुश्किल है कि लेखकों ने इन या उन निर्णयों को क्यों बनाया, और उन्हें किसी भी तरह का मूल्यांकन देना उतना ही मुश्किल है।

इसलिए, एक साफ और सरल तंत्रिका नेटवर्क के लिए पुरस्कार, समझने और संशोधित करने में आसान, ResNet को जाता है।

SqueezeNet

स्क्वीज़नेट हाल ही में प्रकाशित हुआ है। यह ResNet और इंसेप्शन से कई अवधारणाओं के एक नए तरीके का रीमेक है। लेखकों ने प्रदर्शित किया कि वास्तुकला में सुधार नेटवर्क आकार और जटिल संपीड़न एल्गोरिदम के बिना मापदंडों की संख्या को कम करता है।

ENET

हाल ही के आर्किटेक्चर की सभी विशेषताओं को बहुत ही कम मापदंडों और कंप्यूटिंग शक्ति का उपयोग करके एक बहुत ही कुशल और कॉम्पैक्ट नेटवर्क में संयोजित किया गया है, लेकिन साथ ही साथ उत्कृष्ट परिणाम भी हैं। वास्तुकला को एनेट कहा जाता था, इसे एडम पासज़के ( एडम पासज़के ) द्वारा विकसित किया गया था। उदाहरण के लिए, हमने इसका उपयोग स्क्रीन पर वस्तुओं के बहुत सटीक अंकन और दृश्यों को पार्स करने के लिए किया। एनेट के कुछ उदाहरण । ये वीडियो प्रशिक्षण डेटासेट से संबंधित नहीं हैं।

यहां आप एनेट की तकनीकी जानकारी पा सकते हैं। यह एनकोडर और डिकोडर पर आधारित नेटवर्क है। एनकोडर सामान्य CNN श्रेणीकरण योजना पर बनाया गया है, और डिकोडर एक अपसंस्कृति जाल है जिसे मूल आकार छवि पर श्रेणियों को फैलाकर विभाजन के लिए डिज़ाइन किया गया है। छवि विभाजन के लिए, केवल तंत्रिका नेटवर्क का उपयोग किया गया था, कोई अन्य एल्गोरिदम नहीं।



जैसा कि आप देख सकते हैं, अन्य सभी तंत्रिका नेटवर्क की तुलना में एनेट में सबसे अधिक विशिष्ट सटीकता है।

एनेट को शुरुआत से ही कुछ संसाधनों का उपयोग करने के लिए डिज़ाइन किया गया था। नतीजतन, एनकोडर और डिकोडर fp16 परिशुद्धता के साथ केवल 0.7 एमबी पर कब्जा कर लेते हैं। और इस तरह के एक छोटे आकार के साथ, Enet विभाजन सटीकता या अन्य विशुद्ध रूप से तंत्रिका नेटवर्क समाधान से बेहतर नहीं है।

मॉड्यूल विश्लेषण

सीएनएन मॉड्यूल का एक व्यवस्थित मूल्यांकन प्रकाशित । यह फायदेमंद निकला:

• सामान्यीकरण के साथ बैच सामान्यीकरण (बैटचन) या रेएलयू के बिना ईएलयू गैर-रैखिकता का उपयोग करें।
• आरजीबी रंग अंतरिक्ष के सीखा परिवर्तन लागू करें।
• एक रेखीय अधिगम दर क्षय नीति का उपयोग करें।
• मध्य और अधिकतम पूलिंग परत के योग का उपयोग करें।
• 128 या 256 मिनी-पैकेट का उपयोग करें। यदि यह आपके वीडियो कार्ड के लिए बहुत अधिक है, तो पैकेट आकार के अनुपात में सीखने की गति कम करें।
• अंतिम समाधान देने के लिए पूरी तरह से जुड़े परतों का उपयोग करें जैसे कि संकरी परतें और औसत पूर्वानुमान।
• यदि आप प्रशिक्षण डाटासेट का आकार बढ़ाते हैं, तो सुनिश्चित करें कि आप प्रशिक्षण में पठार तक नहीं पहुंचे हैं। आकार की तुलना में डेटा की सफाई अधिक महत्वपूर्ण है।
• यदि आप इनपुट छवि का आकार नहीं बढ़ा सकते हैं, तो बाद की परतों में स्ट्राइड को कम करें, प्रभाव लगभग समान होगा।
• यदि आपके नेटवर्क में एक जटिल और उच्च अनुकूलित वास्तुकला है, जैसा कि गोगेलनेट में है, तो इसे सावधानी के साथ संशोधित करें।

Xception

Xception ने Inception मॉड्यूल में एक सरल और अधिक सुरुचिपूर्ण वास्तुकला पेश की, जो कि ResNet और Inception V4 से कम कुशल नहीं है।
यह वही है जो Xception मॉड्यूल दिखता है:



किसी को भी अपनी वास्तुकला की सादगी और सुंदरता के कारण यह नेटवर्क पसंद आएगा:



इसमें 36 दृढ़ संकल्प चरण शामिल हैं, और यह ResNet-34 के समान है। उसी समय, मॉडल और कोड सरल होते हैं, जैसा कि ResNet में, और इनसेप्शन V4 की तुलना में बहुत अधिक सुखद है।

इस नेटवर्क का एक टार्च 7 कार्यान्वयन यहाँ उपलब्ध है , जबकि एक केरस / टीएफ कार्यान्वयन यहाँ उपलब्ध है।

मजे की बात है, हाल ही के एक्ससेप्शन आर्किटेक्चर के लेखकों को भी हमारे काम से प्रेरित किया गया था।

MobileNets

M obileNets की नई वास्तुकला अप्रैल 2017 में जारी की गई थी। मापदंडों की संख्या को कम करने के लिए, यह वियोज्य संकल्पनों का उपयोग करता है, जैसे कि एक्ससेप्शन में। कार्य में यह भी कहा गया है कि लेखक मापदंडों की संख्या को बहुत कम करने में सक्षम थे: फेसनेट के मामले में लगभग आधा। :



, 1 (batch of 1) Titan Xp. :

• resnet18: 0,002871
• alexnet: 0,001003
• vgg16: 0,001698
• squeezenet: 0,002725
• mobilenet: 0,033251

! , .

FractalNet , ImageNet ResNet.

, . , .

, , , , ? , . .
, . , .

, . .