तंत्रिका नेटवर्क। यह सब कहां जाता है

लेख में दो भाग हैं:

1. मेरे लिए संसाधनों के सबसे समझने योग्य लिंक के साथ एक छवि और छवि विभाजन में वस्तुओं का पता लगाने के लिए कुछ नेटवर्क आर्किटेक्चर का संक्षिप्त विवरण। मैंने वीडियो स्पष्टीकरण चुनने की कोशिश की और अधिमानतः रूसी में।
2. दूसरा भाग तंत्रिका नेटवर्क आर्किटेक्चर के विकास की दिशा को समझने का प्रयास है। और उन पर आधारित प्रौद्योगिकियां।

चित्र 1 - तंत्रिका नेटवर्क की वास्तुकला को समझना आसान नहीं है

यह सब इस तथ्य से शुरू हुआ कि उसने एंड्रॉइड फोन पर वस्तुओं को वर्गीकृत करने और उनका पता लगाने के लिए दो डेमो एप्लिकेशन बनाए:

• बैक-एंड डेमो , जब डेटा को सर्वर पर संसाधित किया जाता है और फोन पर स्थानांतरित किया जाता है। भालू तीन प्रकार की छवि का वर्गीकरण: भूरा, काला और टेडी।
• जब फोन पर ही डेटा संसाधित किया जाता है तो फ्रंट-एंड डेमो । तीन प्रकार के ऑब्जेक्ट का पता लगाने: हेज़लनट्स, अंजीर और खजूर।

छवियों को वर्गीकृत करने, एक छवि में वस्तुओं का पता लगाने और छवियों को विभाजित करने के कार्यों के बीच एक अंतर है। इसलिए, यह पता लगाने की आवश्यकता थी कि कौन से तंत्रिका नेटवर्क आर्किटेक्चर छवियों में वस्तुओं का पता लगाते हैं और कौन से सेगमेंट कर सकते हैं। मैंने अपने लिए संसाधनों के सबसे अधिक समझने योग्य लिंक के साथ आर्किटेक्चर के निम्नलिखित उदाहरण पाए:

• आर-सीएनएन ( आर इवोल्यूशन विद सी onvolution N etural N etworks फीचर) पर आधारित आर्किटेक्चर की एक श्रृंखला: आर-सीएनएन, फास्ट आर-सीएनएन, फास्टर आर-सीएनएन , मास्क आर-सीएनएन । रीजन प्रपोजल नेटवर्क (RPN) मेकेनिज्म का उपयोग करके किसी इमेज में किसी ऑब्जेक्ट का पता लगाने के लिए, बाउंडिंग बॉक्स आवंटित किए जाते हैं। प्रारंभ में, RPN के बजाय धीमी चयनात्मक खोज तंत्र का उपयोग किया गया था। फिर, चयनित सीमित क्षेत्रों को वर्गीकरण के लिए एक सामान्य तंत्रिका नेटवर्क के इनपुट को खिलाया जाता है। आर-सीएनएन की वास्तुकला में आंतरिक एलेक्सनेट नेटवर्क के माध्यम से 2000 रन तक कुल सीमित क्षेत्रों में "चक्रवृद्धि के चक्र" के लिए स्पष्ट हैं। स्पष्ट रूप से "छोरों" के कारण, छवि प्रसंस्करण की गति धीमी हो जाती है। स्पष्ट चक्रों की संख्या, आंतरिक तंत्रिका नेटवर्क के माध्यम से चलती है, वास्तुकला के प्रत्येक नए संस्करण के साथ घट जाती है, और गति बढ़ाने के लिए और मास्क आर-सीएनएन में वस्तुओं के विभाजन के साथ वस्तुओं का पता लगाने के कार्य को बदलने के लिए दर्जनों अन्य परिवर्तन किए जाते हैं।
• YOLO ( Y ou O nly L ook O nce) पहला न्यूरल नेटवर्क है जो मोबाइल उपकरणों पर वास्तविक समय में वस्तुओं को पहचानता है। विशिष्ट विशेषता: एक रन में वस्तुओं को भेद करना (बस एक बार देखो)। यही है, योलो वास्तुकला में "छोरों" के लिए कोई स्पष्ट नहीं है, यही वजह है कि नेटवर्क तेज है। उदाहरण के लिए, यह एक सादृश्य है: मेट्रिसेस के साथ काम करते समय "लूप्स के लिए कोई स्पष्ट" नहीं हैं, जो कि प्रोग्रामिंग भाषा सी के माध्यम से आर्किटेक्चर के निचले स्तर पर कार्यान्वित किए जाते हैं। योलो पूर्वनिर्धारित खिड़कियों के ग्रिड का उपयोग करता है। एक ही ऑब्जेक्ट को कई बार पता लगाने से रोकने के लिए, विंडो ओवरलैप गुणांक (IoU, इंटरसेक्शन ओ वर्जन यूनियन) का उपयोग किया जाता है। यह वास्तुकला एक विस्तृत श्रृंखला में काम करता है और इसमें उच्च मजबूती है : मॉडल को तस्वीरों में प्रशिक्षित किया जा सकता है, लेकिन एक ही समय में चित्रित चित्रों में अच्छी तरह से काम करता है।
• SSD ( S ingle S hot MultiBox D etector) - योलो आर्किटेक्चर का सबसे सफल "हैक्स" (उदाहरण के लिए, गैर-अधिकतम दमन) का उपयोग किया जाता है और तंत्रिका नेटवर्क को तेज और अधिक सटीक बनाने के लिए नए जोड़े जाते हैं। विशिष्ट सुविधा: छवियों के पिरामिड पर खिड़कियों (डिफ़ॉल्ट बॉक्स) के दिए गए ग्रिड का उपयोग करके एक में वस्तुओं को भेद करना। छवियों का पिरामिड लगातार सजा और पूलिंग ऑपरेशन (अधिकतम-पूलिंग ऑपरेशन के साथ, स्थानिक आयाम कम हो जाता है) के दौरान कन्वेंशन टेंसरों में एन्कोड किया जाता है। इस तरह, बड़ी और छोटी दोनों वस्तुओं को एक एकल नेटवर्क रन में निर्धारित किया जाता है।
• MobileSSD ( मोबाइल NetV2 + SSD ) दो तंत्रिका नेटवर्क आर्किटेक्चर का एक संयोजन है। पहला MobileNetV2 नेटवर्क तेज़ है और मान्यता सटीकता बढ़ाता है। वीजीजी -16 के बजाय मोबाइलनेट वी 2 का उपयोग किया जाता है, जो मूल लेख में मूल रूप से उपयोग किया गया था। दूसरा एसएसडी नेटवर्क छवि में वस्तुओं का स्थान निर्धारित करता है।
• स्क्वीज़नेट एक बहुत छोटा लेकिन सटीक तंत्रिका नेटवर्क है। अपने आप से, यह वस्तुओं का पता लगाने की समस्या को हल नहीं करता है। हालांकि, इसका उपयोग विभिन्न आर्किटेक्चर के संयोजन के साथ किया जा सकता है। और मोबाइल उपकरणों पर इस्तेमाल किया जा सकता है। एक विशिष्ट विशेषता यह है कि पहले डेटा चार 1 × 1 कनफ्लुएंट फ़िल्टर से संपीड़ित होता है, और फिर चार 1 × 1 और चार 3 × 3 कनफ्लुएंट फ़िल्टर तक विस्तारित होता है। डेटा संपीड़न-विस्तार के ऐसे पुनरावृत्ति को "फायर मॉड्यूल" कहा जाता है।
• डीपलैब (दीप कनवैंशनल नेट्स के साथ सिमेंटिक इमेज सेगमेंटेशन) - इमेज में ऑब्जेक्ट्स का विभाजन। वास्तुकला की एक विशिष्ट विशेषता एक पतला दृढ़ संकल्प है, जो स्थानिक संकल्प को संरक्षित करता है। इसके बाद ग्राफिकल प्रोबायिस्टिक मॉडल (सशर्त यादृच्छिक क्षेत्र) का उपयोग करके परिणामों को पोस्ट-प्रोसेसिंग के चरण के बाद किया जाता है, जो आपको विभाजन में छोटे शोर को हटाने और खंडित छवि की गुणवत्ता में सुधार करने की अनुमति देता है। दुर्जेय नाम के पीछे "ग्राफिकल प्रोबेबिलिस्टिक मॉडल" सामान्य गॉसियन फ़िल्टर है, जिसे पांच बिंदुओं द्वारा अनुमानित किया गया है।
• मैंने RefineDet डिवाइस (सिंगल-शॉट रिफाइन मेंटल न्यूरल नेटवर्क फॉर ऑब्जेक्ट डिटेक्शन) को समझने की कोशिश की, लेकिन मैं बहुत कम समझ पाया।
• मैंने यह भी देखा कि कैसे ध्यान तकनीक काम करती है: वीडियो 1 , वीडियो 2 , वीडियो 3 । "ध्यान" आर्किटेक्चर की एक विशिष्ट विशेषता छवि के लिए ध्यान देने के क्षेत्रों (RoI, R egions o f I nterest) के लिए ध्यान देने योग्य क्षेत्रों का स्वचालित आवंटन है, जिसे अटेंशन यूनिट कहा जाता है। बढ़े हुए क्षेत्रों के क्षेत्र सीमित क्षेत्रों (बाउंडिंग बॉक्स) के समान हैं, लेकिन उनके विपरीत, वे छवि पर तय नहीं होते हैं और धुंधली सीमाएं हो सकती हैं। फिर, बढ़े हुए ध्यान के क्षेत्रों से, सुविधाओं (सुविधाओं) को प्रतिष्ठित किया जाता है जो एलएसडीएम, जीआरयू या वेनिला आरएनएन आर्किटेक्चर के साथ आवर्तक तंत्रिका नेटवर्क को "खिलाया" जाता है। पुनरावर्ती तंत्रिका नेटवर्क एक क्रम में संकेतों के संबंध का विश्लेषण करने में सक्षम हैं। पुनरावर्ती तंत्रिका नेटवर्क का उपयोग मूल रूप से पाठ को अन्य भाषाओं में अनुवाद करने के लिए किया जाता था, और अब छवियों को पाठ और पाठ में छवियों का अनुवाद करने के लिए किया जाता है ।

जैसा कि मैंने इन आर्किटेक्चर का अध्ययन किया, मुझे महसूस हुआ कि मुझे कुछ भी समझ में नहीं आया है । और बात यह नहीं है कि मेरे तंत्रिका नेटवर्क को ध्यान तंत्र के साथ समस्याएं हैं। इन सभी आर्किटेक्चर को बनाना किसी तरह के विशाल हैकथॉन की तरह दिखता है जहां लेखक हैक में प्रतिस्पर्धा करते हैं। हैक एक कठिन सॉफ्टवेयर कार्य का एक त्वरित समाधान है। यही है, इन सभी आर्किटेक्चर के बीच कोई दृश्यमान और समझने योग्य तार्किक संबंध नहीं है। उन सभी को एकजुट करता है जो सबसे सफल हैक का एक सेट है जो वे एक दूसरे से उधार लेते हैं, साथ ही प्रतिक्रिया के साथ एक सामान्य दृढ़ संकल्प ऑपरेशन (त्रुटि, बैकप्रोपैजेशन का रिवर्स प्रसार)। कोई प्रणालीगत सोच नहीं! यह स्पष्ट नहीं है कि क्या बदलना है और मौजूदा उपलब्धियों का अनुकूलन कैसे करना है।

हैक के बीच एक तार्किक कनेक्शन की कमी के परिणामस्वरूप, उन्हें याद रखना और अभ्यास में लाना बेहद मुश्किल है। यह खंडित ज्ञान है। सबसे अच्छे मामले में, कई दिलचस्प और अप्रत्याशित क्षणों को याद किया जाता है, लेकिन जो कुछ समझा जाता है और समझ से बाहर होता है वह कुछ दिनों के भीतर स्मृति से गायब हो जाता है। यह अच्छा होगा यदि एक हफ्ते में मैं कम से कम वास्तुकला के नाम को याद करता हूं। लेकिन लेखों को पढ़ने और समीक्षा वीडियो देखने के लिए कई घंटे और यहां तक ​​कि काम के दिन भी लग गए!

चित्रा 2 - तंत्रिका नेटवर्क का चिड़ियाघर

वैज्ञानिक लेखों के अधिकांश लेखक, मेरी व्यक्तिगत राय में, हर संभव कोशिश करते हैं ताकि इस खंडित ज्ञान को भी पाठक समझ न सकें। लेकिन "छत से" लिए गए सूत्रों के साथ दस लाइन वाक्यों में भाग लेने वाला एक अलग लेख ( प्रकाशित या खराब समस्या) के लिए एक विषय है।

इस कारण से, तंत्रिका नेटवर्क पर जानकारी को व्यवस्थित करना आवश्यक हो गया और, इस प्रकार, समझ और याद रखने की गुणवत्ता में वृद्धि हुई। इसलिए, कृत्रिम तंत्रिका नेटवर्क के व्यक्तिगत प्रौद्योगिकियों और आर्किटेक्चर के विश्लेषण का मुख्य विषय निम्नलिखित कार्य था: यह पता लगाने के लिए कि यह सब कहां बढ़ रहा है , और किसी विशेष तंत्रिका नेटवर्क के उपकरण को अलग से नहीं।

यह सब कहां जा रहा है मुख्य परिणाम:

• पिछले दो वर्षों में मशीन लर्निंग के क्षेत्र में स्टार्टअप्स की संख्या तेजी से गिरी है । संभावित कारण: "तंत्रिका नेटवर्क कुछ नया होना बंद हो गया है।"
• हर कोई एक साधारण समस्या को हल करने के लिए एक कामकाजी तंत्रिका नेटवर्क बनाने में सक्षम होगा। ऐसा करने के लिए, तैयार मॉडल को "मॉडल चिड़ियाघर" से लें और Google डेटासेट खोज से या निशुल्क ज्यूपिटर नोटबुक क्लाउड में 25 हजार कागले डेटासेट से तैयार डेटा पर तंत्रिका नेटवर्क ( ट्रांसफर लर्निंग ) की अंतिम परत को प्रशिक्षित करें।
• तंत्रिका नेटवर्क के बड़े निर्माताओं ने "मॉडल चिड़ियाघर" (मॉडल चिड़ियाघर) बनाना शुरू किया। उनका उपयोग करते हुए, आप जल्दी से एक वाणिज्यिक आवेदन कर सकते हैं: टेन्सरफ्लो के लिए टीएफ हब , प्योरटोर के लिए एमएमडेटेक्शन, कैफ 2 के लिए डिटेक्ट्रॉन, चैनर और अन्य के लिए चेनर -मॉडलज़ू ।
• मोबाइल उपकरणों पर वास्तविक समय तंत्रिका नेटवर्क। 10 से 50 फ्रेम प्रति सेकंड।
• ब्राउज़रों (TF.js) और घरेलू सामान (IoT, इंटरनेट और टी hings) में टेलीफोन (TF Lite) में तंत्रिका नेटवर्क का उपयोग। विशेष रूप से उन फोन में जो पहले से ही हार्डवेयर स्तर (न्यूरोकैसेलर) पर तंत्रिका नेटवर्क का समर्थन करते हैं।
• "प्रत्येक डिवाइस, कपड़े, और संभवतः यहां तक ​​कि भोजन में एक आईपी-वी 6 पता होगा और एक दूसरे के साथ संवाद होगा" - सेबस्टियन ट्रुन ।
• मशीन लर्निंग प्रकाशनों में वृद्धि 2015 से मूर के कानून (हर दो साल में दोगुनी) से अधिक होने लगी है। जाहिर है, लेख विश्लेषण तंत्रिका नेटवर्क की जरूरत है।
• निम्नलिखित प्रौद्योगिकियां लोकप्रियता प्राप्त कर रही हैं:
  
  • PyTorch - लोकप्रियता तेजी से बढ़ रही है और TensorFlow से आगे निकल जाती है।
  • ऑटोएमएल हाइपरमेटर्स का स्वचालित चयन - लोकप्रियता आसानी से बढ़ रही है।
  • सटीकता में कमी और गणना की गति में वृद्धि: फजी लॉजिक , एल्गोरिदम को बढ़ावा देना , गलत (अनुमानित) गणना, परिमाणीकरण (जब एक तंत्रिका नेटवर्क के वजन को पूर्णांक और मात्रा में बदल दिया जाता है), न्यूरोकैसेलेटर्स।
  • छवि में पाठ और पाठ में छवि का अनुवाद ।
  • वीडियो पर त्रि-आयामी ऑब्जेक्ट बनाना, अब वास्तविक समय में।
  • डीएल में मुख्य चीज बहुत सारे डेटा हैं, लेकिन उन्हें इकट्ठा करना और टैग करना आसान नहीं है। इसलिए, तंत्रिका नेटवर्क का उपयोग करते हुए तंत्रिका नेटवर्क के लिए स्वचालित एनोटेशन विकसित हो रहा है।
• तंत्रिका नेटवर्क के साथ, कंप्यूटर विज्ञान अचानक एक प्रयोगात्मक विज्ञान बन गया और एक प्रतिलिपि प्रस्तुत करने योग्य संकट पैदा हुआ।
• आईटी मनी और न्यूरल नेटवर्क की लोकप्रियता एक साथ पैदा हुई जब कंप्यूटिंग एक बाजार मूल्य बन गया। सोने और विदेशी मुद्रा की अर्थव्यवस्था स्वर्ण-मुद्रा-कंप्यूटिंग बन रही है। अर्थशास्त्र पर मेरा लेख और आईटी-मनी के उद्भव का कारण देखें।

धीरे-धीरे, एक नया एमएल / डीएल प्रोग्रामिंग पद्धति (मशीन लर्निंग एंड डीप लर्निंग) प्रकट होता है, जो प्रशिक्षित तंत्रिका नेटवर्क मॉडल के संग्रह के रूप में कार्यक्रम की प्रस्तुति पर आधारित है।

चित्रा 3 - एक नई प्रोग्रामिंग पद्धति के रूप में एमएल / डीएल

हालांकि, "तंत्रिका नेटवर्क का सिद्धांत" दिखाई नहीं दिया, जिसके ढांचे के भीतर कोई भी सोच सकता है और व्यवस्थित रूप से काम कर सकता है। जिसे अब "सिद्धांत" कहा जाता है, वह वास्तव में प्रायोगिक, विधर्मी एल्गोरिदम है।

मेरे और न केवल संसाधनों के लिए लिंक:

• डेटा साइंस न्यूज़लैटर। ज्यादातर छवि प्रसंस्करण। जो प्राप्त करना चाहता है, उसे एक ई-मेल भेजें (foobar167 <gaff-gaf> gmail <dot> com)। सामग्री जमा होते ही मैं लेख और वीडियो के लिंक भेजता हूं।
• पाठ्यक्रमों और लेखों की एक सामान्य सूची जो मैंने ली है और लेना चाहूंगा।
• शुरुआती लोगों के लिए पाठ्यक्रम और वीडियो , जिसमें से तंत्रिका नेटवर्क का अध्ययन शुरू करना लायक है। इसके अलावा ब्रोशर "मशीन सीखने और कृत्रिम तंत्रिका नेटवर्क का परिचय । "
• उपयोगी उपकरण जहां सभी को अपने लिए कुछ दिलचस्प मिलेगा।
• डेटा विज्ञान पर वैज्ञानिक लेखों के विश्लेषण के लिए वीडियो चैनल बेहद उपयोगी साबित हुए। खोजें, उन्हें सदस्यता लें और अपने सहयोगियों और मुझे भी लिंक भेजें। उदाहरण:
  
  • दो मिनट के कागजात
  • हेनरी ऐ लैब्स
  • यानिक किल्चर
  • CodeEmporium
  • चेंगवेई झांग उर्फ टोनी 607 ब्लॉग स्टेप बाय स्टेप निर्देश और ओपन सोर्स।

आपका ध्यान के लिए धन्यवाद!