एक प्रत्यक्ष प्रसार तंत्रिका नेटवर्क की गणना को सरल और गति कैसे दे सकता है?

नमस्कार प्रिय पाठकों। तंत्रिका नेटवर्क के बारे में बहुत कुछ लिखा और कहा गया है, मुख्य रूप से इस बारे में कि उन्हें कैसे और क्यों लागू किया जा सकता है। इसके अलावा, किसी भी तरह से दो महत्वपूर्ण मुद्दों पर ध्यान नहीं दिया जाता है: क) तंत्रिका नेटवर्क को कैसे सरल और जल्दी से गणना करना है (घातांक की एक गणना प्रोग्रामिंग भाषाओं के पुस्तकालय कार्यों द्वारा महसूस की जाती है, आमतौर पर 15-20 प्रोसेसर निर्देशों से कम नहीं), ख) क्या, कम से कम भाग में, निर्मित नेटवर्क का तर्क - वास्तव में, नेटवर्क को प्रशिक्षित करने के बाद प्राप्त वजन और विस्थापन के मूल्यों के विशाल मैटर वास्तव में उन पैटर्नों को समझने में मदद नहीं करते हैं जो इस नेटवर्क ने पाया (वे छिपे हुए हैं और उन्हें निर्धारित करने का कार्य विलो का कार्य है। के tion - कभी कभी बहुत महत्वपूर्ण)। मैं साधारण प्रत्यक्ष वितरण तंत्रिका नेटवर्क के लिए इन मुद्दों को हल करने के लिए मेरे एक दृष्टिकोण के बारे में बात करूंगा, जबकि मैं न्यूनतम गणित के साथ प्राप्त करने का प्रयास करता हूं।

सिद्धांत की बिट

प्रत्यक्ष वितरण नेटवर्क, गणितीय दृष्टिकोण से, एक बहुत बड़ा कार्य है, जिसमें नेटवर्क इनपुट के मान, भारांक गुणांक और न्यूरॉन्स के विस्थापन शामिल हैं। परत के प्रत्येक न्यूरॉन में, परत के इनपुट (वेक्टर X) के मान को न्यूरॉन के भार से गुणा किया जाता है (वेक्टर) $$$W_i$), एक ऑफसेट के साथ जोड़ें $$$B_i$

$$

$$s_i = W_iX + B_i$$

और सक्रियण कार्य दर्ज करें $$$ए (s_i)$परत न्यूरॉन्स के आउटपुट बनाने।

सक्रियण कार्य गणना के लिए बहुत सरल नहीं हो सकते हैं, उदाहरण के लिए, वे अक्सर घातीय (घातांक सिग्मॉइड, हाइपरबोलिक स्पर्शरेखा) होते हैं। यदि आप कोडांतरक कोड को देखते हैं जो घातांक को लागू करता है, तो आप पा सकते हैं, सबसे पहले, कई अलग-अलग चेक, जिनकी हमेशा जरूरत नहीं होती है, और दूसरी बात, घातांक की गणना आमतौर पर कम से कम दो ऑपरेशनों में की जाती है:

$$

$$exp (v) = 2 ^ {v * log_2 (e)}$$

इसलिए, यदि हम नेटवर्क की गणना को गति देना चाहते हैं, तो पहला कार्य सक्रियण फ़ंक्शन की गणना को सरल बनाना होगा। आप गति में एक लाभ के कारण थोड़ी गुणवत्ता का त्याग करने की कोशिश कर सकते हैं, लगभग एक साधारण फ़ंक्शन की गणना के साथ शास्त्रीय सक्रियण फ़ंक्शन की गणना को प्रतिस्थापित करता है, जो (उपलब्ध इनपुट डेटा पर) लगभग एक ही परिणाम देता है। आमतौर पर, यह एक शास्त्रीय प्रक्षेप समस्या है: हमारे पास मूल फ़ंक्शन ए (एस) द्वारा गणना किए गए मानों का एक सेट है, और हम एक सरल फ़ंक्शन का चयन करते हैं जो बहुत समान मूल्य देता है। इस तरह के एक साधारण कार्य (एस) एक साधारण बहुपद, या नकारात्मक शक्तियों के साथ एक बहुपद, या ऐसा ही कुछ हो सकता है। मैंने चार प्रकार के ऐसे कार्यों का उपयोग किया:

$$$a (s) = b_0 + b_1 * s + b_2 * s ^ 2 + ... + b_n * s ^ n$;
$$$s (s) = b_0 + b_1 / s + b_2 / s ^ 2 + ... + b_n / s ^ n$;
$$$a (s) = b_0 + b_1 * s ^ {0,5} + b_2 * s ^ 1 + b_3 * s ^ {1,5} + ... + b_n * s ^ {0,5n}$;
$$$a (s) = b_0 + b_1 / s ^ {0,5} + b_2 / s ^ 1 + b_3 / s ^ {1,5} + ... + b_n / s ^ {0,5n}$;

मान लीजिए कि प्रत्येक न्यूरॉन के लिए हम सक्रियण फ़ंक्शन को थोड़ा सरल के साथ बदलने में कामयाब रहे - यह किया जा सकता है, उदाहरण के लिए, कम से कम वर्ग विधि को लागू करके। अपने आप में इस तरह का प्रतिस्थापन शायद बहुत बड़ा लाभ नहीं देगा। लेकिन यहाँ आप एक और ट्रिक आज़मा सकते हैं:

1. समग्र रूप से नेटवर्क द्वारा गणना विश्लेषणात्मक रूप से विशाल फ़ंक्शन NET (X) लिखें;
2. मूल कार्यों ए (एस) को नेट (एक्स) में बदलें उनके लिए प्राप्त प्रतिस्थापन कार्यों ए (एस) के साथ;
3. बीजगणितीय रूप से प्राप्त NET (X) को सरल करें (या यों कहें कि, कुछ तैयार किए गए कोड का उपयोग करें अभिव्यक्तियों के सांकेतिक सरलीकरण के लिए)। यह पहले से ही संभव है (कम से कम, जितना हम मूल कार्यों के साथ नेटवर्क को सरल बनाने की कोशिश करेंगे, उदाहरण के लिए, घातांक के साथ)।

नतीजतन, हमें कुछ सरल और, शायद, थोड़ा और गणितीय रूप से स्पष्ट हो जाता है - यहां आप पहले से ही यह समझने की कोशिश कर सकते हैं कि नेटवर्क किस तरह के फ़ंक्शन को लागू करता है।

यह निर्मित नेटवर्क के तर्क को समझाने का विकल्प है।

वर्णित कार्य, ज़ाहिर है, केवल शब्दों में सरल दिखता है। मेरे कार्यक्रमों में उपयोग के लिए मुझे अभिव्यक्ति के प्रतीकात्मक सरलीकरण के लिए अपना कोड लिखने की आवश्यकता थी। इसके अलावा, मैंने एक और अधिक जटिल समस्या को हल किया, यह मानते हुए कि फ़ंक्शन ए (एस) के साथ प्रत्येक न्यूरॉन में वैकल्पिक सक्रियण फ़ंक्शन के लिए कई विकल्प हो सकते हैं $$$a_k (s)$इसलिए, इस तरह के कार्यों के लिए विकल्पों की गणना करने के लिए सामान्य कार्य भी उबला हुआ है और प्रत्येक ऐसे विकल्प के लिए नेटवर्क का प्रतीकात्मक सरलीकरण है। यहां केवल गणनाओं के समानांतरकरण ने मदद की।

परिणाम

परिणाम ने मुझे प्रसन्न किया। मैंने सक्रियण कार्यों "घातीय सिग्मॉइड" के साथ आठ न्यूरॉन्स (इनपुट भार और विस्थापन के साथ) के तीन-परत नेटवर्क (तीन इनपुट के साथ) को त्वरित किया। जैसा कि समय के माप द्वारा दिखाया गया है, गुणवत्ता में महत्वपूर्ण नुकसान के बिना समय में लगभग 40% का लाभ प्राप्त करना संभव था।

मैं उदाहरण देता हूं। यहाँ स्रोत नेटवर्क डेटा है:





और तीसरे में, आउटपुट लेयर:


यदि इनपुट को ए, बी और सी के रूप में नामित किया गया है, तो प्रतिस्थापन और सरलीकरण के बाद, नेटवर्क फ़ंक्शन नेट को निम्नानुसार माना जाता है:

double a2 = a*a; double b2 = b*b; double c2 = c*c; double a3 = a2*a; double b3 = b2*b; double c3 = c2*c; double z01 = sqrt(-1.6302e-02+7.9324e-01*a+9.65149e-01*b+5.64151e-01*c); double z06 = sqrt(1.583708e+00-8.907654e-01*a-2.844379e-01*a2+1.050942e+00*a3+1.178096e+01*b-1.865618e+00*b*a-3.145465e+00*b*a2-5.777153e+00*b2+3.138123e+00*b2*a-1.043599e+00*b3+1.32778e+00*c+5.849582e-01*c*a-3.440382e+00*c*a2+1.838371e+00*c*b+6.864703e+00*c*b*a-3.42434e+00*c*b2-3.013361e-01*c2+3.754167e+00*c2*a-3.745404e+00*c2*b-1.365524e+00*c3+1.014237e-01*z01); double NET = (-1.477593e+00)/(z06)+1.370237e+00-6.303167e-02*a-1.495051e-03*a2+2.33748e-02*a3+5.558024e-02*b+1.178189e-02*b*a-6.996071e-02*b*a2+1.837937e-02*b2+6.97974e-02*b2*a-2.321149e-02*b3+7.924241e-02*c+3.392287e-03*c*a-7.652018e-02*c*a2-1.214263e-02*c*b+1.526831e-01*c*b*a-7.616337e-02*c*b2-1.915279e-03*c2+8.349931e-02*c2*a-8.33044e-02*c2*b-3.037166e-02*c3+1.949161e-02*z01; 

जीतना - मैं गुणवत्ता के लिए बहुत नुकसान के बिना, समय का 40% दोहराता हूं। मुझे लगता है कि इस दृष्टिकोण को उन मामलों में लागू किया जा सकता है जहां तंत्रिका नेटवर्क की गणना करने की गति महत्वपूर्ण है - उदाहरण के लिए, यदि इसकी गणना दोहरा या तिहरे चक्र में की जाती है। इस तरह की समस्या का एक उदाहरण : ग्रिड पर वायुगतिकीय समस्या का एक संख्यात्मक समाधान, और इसके प्रत्येक नोड में तंत्रिका नेटवर्क कुछ उपयोगी पूर्वानुमान की गणना करता है, उदाहरण के लिए, अशांत चिपचिपाहट की अधिक सटीक गणना के लिए। फिर हमारे पास समय में एक बाहरी चक्र होता है, समन्वय में एक डबल या ट्रिपल चक्र इसमें अंतर्निहित होता है, और पहले से ही अंदर, एक तंत्रिका नेटवर्क की गणना होती है। इस मामले में, सरलीकरण उचित और उपयोगी से अधिक है।