तंत्रिका नेटवर्क के बारे में सतही और सामान्य तर्क

हबेरा पर तंत्रिका नेटवर्क पर बड़ी संख्या में लेख हैं, जिसमें आने वाले तीरों के साथ एक सर्कल के रूप में एक न्यूरॉन की तस्वीर है, न्यूरॉन्स की लाइनों के साथ एक तस्वीर और वजन और संकेतों के उत्पाद के योग के लिए अनिवार्य सूत्र है। ये लेख अक्सर एक उल्लू खींचने के तरीके सीखने के लिए अपनी स्पष्टता और समानता के लिए एक सम्मानित जनता के आक्रोश को भड़काते हैं। इस लेख में मैं आगे भी जाऊंगा - यहां तक ​​कि यह यहां नहीं होगा। कोई गणित नहीं, दिमाग की कोई तुलना नहीं। आपको इस लेख से कुछ व्यावहारिक सीखने की संभावना नहीं है, और एक उच्च संभावना है कि उपरोक्त सभी आपके लिए बहुत स्पष्ट प्रतीत होंगे। इस लेख का उद्देश्य सवाल है: आप तंत्रिका नेटवर्क की मदद से क्या कर सकते हैं। यैंडेक्स नहीं, Google नहीं, फेसबुक नहीं, लेकिन आप - एक वेब डेवलपर और तीन साल के लैपटॉप के रूप में अपने पांच साल के अनुभव के साथ।



तंत्रिका नेटवर्क के आसपास (इसके बाद - एनएस) अब बहुत शोर है। इसलिए मैंने उनके आधार पर कुछ उत्पाद बनाने का फैसला किया। और उसने खुद से पूछा: मुझे इसके लिए क्या चाहिए? और उसने खुद को जवाब दिया (हां, मुझे एक बुद्धिमान व्यक्ति के साथ बात करना पसंद है): तीन चीजों की आवश्यकता है - तंत्रिका नेटवर्क के क्षेत्र में ज्ञान, प्रशिक्षण के लिए डेटा और हार्डवेयर जिस पर एक तंत्रिका नेटवर्क को प्रशिक्षित करना है। वैसे, मैंने यह सुनने के बाद कि YouTube पर कितने वक्ताओं ने इस तथ्य के बारे में बात की है कि ये चीजें NS पुनर्जागरण का कारण हैं: बेहतर एल्गोरिदम (ज्ञान), डेटा की एक बड़ी मात्रा की उपलब्धता और आधुनिक कंप्यूटर (हार्डवेयर) की क्षमताओं। मेरे विचारों और विशेषज्ञों के शब्दों का ऐसा संयोग उत्साहजनक है, इसलिए, आगे मैं इन तीन चीजों के बारे में बात करूंगा: डेटा, ज्ञान और हार्डवेयर।

डेटा

डेटा की प्रकृति और प्रकार उस क्षेत्र पर निर्भर करता है जिसमें आप एनएस को लागू करना चाहते हैं।
आधुनिक एनएस ने चित्रों, चेहरों, भाषण पहचान में ऑब्जेक्ट मान्यता जैसे कठिन कार्यों को हल करना शुरू किया, खुद वीडियो गेम खेलने में सक्षम थे और जीत गए।


एनए को प्रशिक्षित करने के लिए बहुत अधिक डेटा की आवश्यकता होती है - सैकड़ों हजारों, लाखों उदाहरण। क्या आप अपने स्व-निर्मित इंटरनेट धरनेवाला का उपयोग करके ऐसे ढेर को ढूंढ और डाउनलोड कर सकते हैं? मुझे ऐसा लगता है। लेकिन कुछ समस्याएं हैं:

1. एक शिक्षक के साथ प्रशिक्षण के लिए, डेटा को लेबल किया जाना चाहिए। किसी को इस डेटा को चिह्नित करना चाहिए, उन्हें अलग-अलग कक्षाओं में असाइन करना चाहिए, एक संख्यात्मक अनुमान देना चाहिए। यदि यह शुरू में किसी कारण से नहीं है (उदाहरण के लिए, आपके पास केवल ऑडियो है, लेकिन कोई टेप नहीं है), तो इसके लिए भारी प्रयास की आवश्यकता होती है। बेशक, एक शिक्षक के बिना प्रशिक्षण है, सुदृढीकरण और इतने पर, लेकिन वे अन्य समस्याओं को हल करते हैं (सरलीकृत, नहीं वर्गीकरण और प्रतिगमन (वास्तव में, एक अज्ञात फ़ंक्शन के मूल्य का निर्धारण), लेकिन क्लस्टरिंग या सर्वोत्तम कार्यों को चुनना)। लेख की सीमित मात्रा के मद्देनजर, मैं इस मुद्दे पर बात नहीं करूंगा।
   
   
2. डेटा समान रूप से वितरित किया जाना चाहिए, जो भी इसका मतलब है। इसका मतलब है कि अगर आपके पास भी करोड़ों डेटा हैं जिसमें bmw और dodge की जानकारी है, लेकिन Ford और Mazda के बारे में लगभग कोई जानकारी नहीं है, तो नेशनल असेंबली कभी भी डेटा को पर्याप्त रूप से सारांशित नहीं कर पाएगी, इससे भी बदतर, यह कीमतों को बढ़ाएगा या गोल हेडलाइट्स को आकर्षित करेगा और आक्रामक रूप।
   
   
3. महत्वपूर्ण विशेषताओं को उजागर करने और संभवतः एनएस पर कुछ प्रतिबंध लगाने में सक्षम होने के लिए आपको डेटा की प्रकृति के बारे में बहुत कुछ जानना होगा। हां, एक बहुपरत एनएस किसी भी निरंतर कार्यों का एक सार्वभौमिक सन्निकटन है, लेकिन किसी ने नहीं कहा कि यह तेजी से होगा। अजीब लग सकता है, लेकिन जितना अधिक प्रतिबंध, एनएस उतनी ही तेजी से सीख सकेगा। छवि प्रसंस्करण में NS इतना अच्छा क्यों हो गया है? क्योंकि स्मार्ट लोग इन नेटवर्कों की वास्तुकला में छवियों पर जानकारी डालते हैं। उन्होंने नेटवर्क का एक अलग वर्ग तैयार किया - दृढ़ नेटवर्क जो पिक्सेल के समूह से डेटा लेते हैं, विभिन्न तरीकों से छवि को संपीड़ित करते हैं, गणितीय परिवर्तनों को पूरा करते हैं, जिसका उद्देश्य पाली, परिवर्तन, विभिन्न कैमरा कोणों के प्रभाव को बेअसर करना है। क्या यह अन्य डेटा प्रकारों के लिए उपयुक्त है? शायद ही। क्या यह उन चित्रों के लिए उपयुक्त है जहाँ कोण महत्वपूर्ण जानकारी रखते हैं? कौन जानता है

ज्ञान

नेशनल असेंबली में, बहुत सारे हाइपरपरमेटर्स का एक नरक है जो काम की गति और सिद्धांत में अभिसरण दोनों को दृढ़ता से प्रभावित करते हैं। आप मुकर सकते हैं, एक स्थानीय अधिकतम पर अटक सकते हैं, सप्ताह और अधिक के लिए खिंचाव प्रशिक्षण। आप एनएस आर्किटेक्चर, ऑपरेटिंग सिद्धांतों का ज्ञान प्राप्त करेंगे, आप एक प्रोग्रामर हैं। मशीन लर्निंग के लिए बड़ी संख्या में फ्रेमवर्क हैं - थीनो, टेंसोरफ्लो और अन्य। लेकिन ऐसे मापदंडों को सीखना गति के रूप में सेट करना, एक पल चुनना, एक नियमितीकरण और उसके मापदंडों को चुनना, एक सक्रियण फ़ंक्शन का चयन करना और कई और अधिक प्रयोगात्मक प्रक्रिया है जिसमें बहुत समय लगता है। एक सटीक रणनीति की कमी और मैन्युअल रूप से कॉन्फ़िगर करने और प्रत्येक कार्य के लिए मापदंडों का चयन करने की आवश्यकता के कारण, कई एनएस कला सीखने की प्रक्रिया को कहते हैं।

साधन

आपको कई बार लाखों उदाहरणों को संसाधित करने की आवश्यकता होती है, बड़ी संख्या में: आपने उदाहरण दिए, एनएस ने भार को थोड़ा समायोजित किया, आपने फिर से वही उदाहरण दिए, एनएस ने फिर से वजन समायोजित किया - और बहुत सारे "युग" हैं। यदि आप क्रॉस-वैलिडेशन का उपयोग करते हैं, तो आप प्रशिक्षण और सत्यापन नमूनों में अलग-अलग विभाजन के लिए डेटा भी देते हैं ताकि एनएस एक ही डेटा पर वापस न आए।

आप लगभग कितने संसाधन खर्च कर सकते हैं? मैं केबी झील 7700K (या रेज़न 1800X) पर आधारित एक टॉप-एंड कंप्यूटर खरीदना चाहता था, जिसमें दो NVidia GTX 1080 ग्राफिक्स कार्ड SLI का उपयोग करके एक साथ काम कर रहे थे। और यह विचार कि इसका प्रदर्शन Top500 सूची से दस वर्षीय सुपर कंप्यूटर के प्रदर्शन के बराबर था, ने मेरी आत्मा को गर्म कर दिया। इस पर NA को सीखने में कितना समय लगेगा? यह, ज़ाहिर है, नेटवर्क की वास्तुकला (परतों की संख्या, परतों में न्यूरॉन्स की संख्या, कनेक्शन), प्रशिक्षण के लिए उदाहरणों की संख्या, और हाइपरपरमेटर्स पर निर्भर करता है। लेकिन जो बात मुझे अखरती थी वह यह कि मैंने कई घंटे खेल के मैदान में खेले। टेनसोरफ्लो.ओआरजी ताकि एक छोटा नेटवर्क दो-आयामी अंतरिक्ष में एक सर्पिल में बिंदुओं को सही ढंग से वर्गीकृत कर सके। केवल दो आयाम, इतना डेटा नहीं, लेकिन इतना समय। ImageNet प्रतियोगिता के विजेता ने दो वीडियो कार्ड का उपयोग करके नेटवर्क सीखने में एक सप्ताह बिताया, और वह हाइपरपैरमीटर के बारे में बहुत कुछ जानता था। मुश्किल से एक दर्जन सर्वर भी खरीदे। क्या आपके पास NA का अध्ययन करने का धैर्य है?

सारांश : यह मुझे लगता है कि घर पर आप नेशनल असेंबली की मदद से कुछ समस्याओं को हल कर सकते हैं।

• प्रशिक्षण नमूने का आकार सैकड़ों हजारों उदाहरणों के बराबर हो सकता है।
• आप लगभग 80-90% की सटीकता प्राप्त कर सकते हैं।
• NS प्रशिक्षण में दिन लग सकते हैं।

यह मेरी सहज राय है और बहुत मोटा अनुमान है, यह गलत हो सकता है, मुझे खुशी होगी अगर कोई टिप्पणी में उन कार्यों के बारे में लिखता है जो उसने घर पर हल किए, तो डेटा की मात्रा और लोहे की विशेषताएं क्या थीं।

आपका ध्यान के लिए धन्यवाद!