🛤️ 👆🏻 🤛🏻 एक साधारण तंत्रिका नेटवर्क का एक उदाहरण, परिणामस्वरूप, यह पता करें कि क्या है 🎨 🎯 ✝️

तंत्रिका नेटवर्क - यह एक ऐसा विषय है जो बहुत रुचि और इसे समझने की इच्छा का कारण बनता है। लेकिन, दुर्भाग्य से, यह खुद को हर किसी के लिए उधार नहीं देता है। जब आप अस्पष्ट साहित्य के संस्करणों को देखते हैं, तो आप अध्ययन करने की इच्छा खो देते हैं, लेकिन आप अभी भी जो कुछ भी हो रहा है, उसे रोकना चाहते हैं।

अंत में, यह मुझे प्रतीत हुआ कि इसे लेने और अपने छोटे प्रोजेक्ट को बनाने की तुलना में बेहतर तरीका नहीं है।

आप पाठ का विस्तार करके गीत की पृष्ठभूमि को पढ़ सकते हैं, या आप इसे छोड़ सकते हैं और सीधे तंत्रिका नेटवर्क के विवरण पर जा सकते हैं ।

आपका प्रोजेक्ट करने का क्या मतलब है?

पेशेवरों:

आप बेहतर ढंग से समझते हैं कि न्यूरॉन्स की व्यवस्था कैसे की जाती है
आप बेहतर समझते हैं कि मौजूदा पुस्तकालयों के साथ कैसे काम किया जाए
समानांतर में कुछ नया सीखना
अपने अहंकार को गुदगुदाओ, अपना कुछ बना

विपक्ष:

आप एक बाइक बना रहे हैं, मौजूदा लोगों की तुलना में अधिक खराब है
आपके प्रोजेक्ट की किसी को परवाह नहीं है।

भाषा का चुनाव

भाषा चुनने के समय, मैं कम या ज्यादा सी ++ जानता था, और पायथन की मूल बातें से परिचित था। पायथन में न्यूरॉन्स के साथ काम करना आसान है, लेकिन सी ++ बेहतर जानता था और ओपनएमपी के साथ गणनाओं का कोई सरल समानांतरकरण नहीं है। इसलिए, मैंने सी ++ को चुना, और पायथन के लिए एपीआई, परेशान न करने के लिए, एक स्वाइग बनाएगा जो विंडोज और लिनक्स पर काम करता है। (C ++ कोड से पायथन लाइब्रेरी बनाने का एक उदाहरण )

OpenMP और GPU त्वरण।

फिलहाल, OpenMP संस्करण 2.0। Visual Studio में स्थापित है, जिसमें केवल CPU त्वरण है। हालाँकि, संस्करण 3.0 के साथ शुरू, OpenMP भी GPU त्वरण का समर्थन करता है, जबकि निर्देशों का सिंटैक्स जटिल नहीं है। यह केवल प्रतीक्षा करने के लिए बनी हुई है जब तक कि OpenMP 3.0 सभी संकलक द्वारा समर्थित नहीं होगा। इस बीच, सादगी के लिए, केवल सीपीयू।

मेरी पहली रेक।

एक न्यूरॉन के मूल्य की गणना करने में निम्नलिखित बिंदु है: इससे पहले कि हम सक्रियण फ़ंक्शन की गणना करें, हमें इनपुट डेटा द्वारा भार के गुणन को जोड़ना होगा। विश्वविद्यालय में ऐसा करने के लिए कैसे सीखें: छोटी संख्या के बड़े वेक्टर को योग करने से पहले, इसे आरोही क्रम में क्रमबद्ध किया जाना चाहिए। तो यहाँ है। तंत्रिका नेटवर्क में, प्रोग्राम को कई बार धीमा करने के अलावा, यह कुछ भी नहीं देता है। लेकिन मुझे इसका एहसास तब हुआ जब मैंने पहले ही अपने नेटवर्क को MNIST पर टेस्ट कर लिया था।

GitHub पर एक प्रोजेक्ट लगाना।

मैं GitHub पर अपनी रचना पोस्ट करने वाला पहला व्यक्ति नहीं हूं। लेकिन ज्यादातर मामलों में, लिंक का अनुसरण करते हुए, आप केवल README.md में शिलालेख के साथ कोड का एक गुच्छा देखते हैं "यह मेरा तंत्रिका नेटवर्क है, देखो और अध्ययन करो । " दूसरों की तुलना में बेहतर होने के लिए, कम से कम, उसने कम से कम README.md का वर्णन किया और विकी को भर दिया। संदेश सरल है - विकी भरें। एक दिलचस्प अवलोकन: अगर विकिट पर विकी में शीर्षक रूसी में लिखा गया है, तो इस शीर्षक का एंकर काम नहीं करता है।

लाइसेंस।

जब आप अपनी छोटी परियोजना बनाते हैं, तो एक लाइसेंस फिर से आपके अहंकार को गुदगुदाने का एक तरीका है। यहाँ एक दिलचस्प लेख है कि लाइसेंस किस लिए है। मैंने APACHE 2.0 का विकल्प चुना।

नेटवर्क का वर्णन

विशेषताएं:

नाम	फॉक्सएनएन (फॉक्स-न्यूरल-नेटवर्क )
ऑपरेटिंग सिस्टम	विंडोज लिनक्स
भाषाओं	सी ++, पायथन
त्वरण	CPU (योजनाओं में GPU)
बाहरी निर्भरता	नहीं (शुद्ध C ++, STL, OpenMP)
संकलन के झंडे	-std = c ++ 14 -fopenmp
समूहों	लीनियर (दृढ़ संकल्प योजनाएं)
अनुकूलन	एडम, नेस्टरोव
यादृच्छिक वजन परिवर्तन	वहाँ है
विकिपीडिया (निर्देश)	वहाँ है

मेरी लाइब्रेरी का मुख्य लाभ कोड की एक पंक्ति के साथ एक नेटवर्क का निर्माण है।

यह देखना आसान है कि रैखिक परतों में एक परत में न्यूरॉन्स की संख्या अगली परत में इनपुट मापदंडों की संख्या के बराबर है। एक और स्पष्ट कथन - अंतिम परत में न्यूरॉन्स की संख्या नेटवर्क के आउटपुट मानों की संख्या के बराबर है।

आइए एक नेटवर्क बनाएं जो इनपुट में तीन पैरामीटर प्राप्त करता है, जिसमें 5, 4 और 2 न्यूरॉन्स के साथ तीन परतें हैं।

import foxnn nn = foxnn.neural_network([3, 5, 4, 2])

यदि आप चित्र को देखते हैं, तो आप बस देख सकते हैं: पहले 3 इनपुट पैरामीटर, फिर 5 न्यूरॉन्स के साथ एक परत, फिर 4 न्यूरॉन्स के साथ एक परत और अंत में, 2 न्यूरॉन्स के साथ अंतिम परत।

डिफ़ॉल्ट रूप से, सभी सक्रियण फ़ंक्शन सिग्मोइड हैं (मैं उन्हें अधिक पसंद करता हूं)।
यदि वांछित है, तो किसी भी परत पर दूसरे फ़ंक्शन में बदला जा सकता है।

सबसे लोकप्रिय सक्रियण सुविधाएँ उपलब्ध हैं।

sigmoid - सिग्मॉइड
sinusoid - साइन
गाऊसी - gauss
relu - लीनियर रेक्टिफायर
पहचान_x - पहचान
tan_h - वें
अर्चन - arctangent
elu - घातीय रैखिक कार्य

 nn.get_layer(0).set_activation_function("gaussian")

प्रशिक्षण सेट बनाने में आसान। पहला वेक्टर इनपुट डेटा है, दूसरा वेक्टर लक्ष्य डेटा है।

 data = foxnn.train_data() data.add_data([1, 2, 3], [1, 0]) #   ,

नेटवर्क प्रशिक्षण:

 nn.train(data_for_train=data, speed=0.01, max_iteration=100, size_train_batch=98)

अनुकूलन सक्षम करना:

 nn.settings.set_mode("Adam")

और नेटवर्क मूल्य प्राप्त करने के लिए एक विधि:

 nn.get_out([0, 1, 0.1])

विधि के नाम के बारे में थोड़ा सा।

अलग-अलग, अनुवाद करें कि कैसे प्राप्त करें , और आउटपुट का मतलब है । मैं " आउटपुट मूल्य देना " नाम प्राप्त करना चाहता था, और इसे प्राप्त किया। केवल बाद में मैंने देखा कि यह बाहर निकलने के लिए निकला था । लेकिन यह अधिक मजेदार है, और छोड़ने का फैसला किया।

परीक्षण

MNIST पर आधारित किसी भी नेटवर्क का परीक्षण करने के लिए यह पहले से ही एक अलिखित परंपरा बन गई है। और मैं कोई अपवाद नहीं था। टिप्पणियों के साथ सभी कोड यहां देखे जा सकते हैं ।

एक प्रशिक्षण नमूना बनाता है:

 from mnist import MNIST import foxnn mndata = MNIST('C:download/') mndata.gz = True imagesTrain, labelsTrain = mndata.load_training() def get_data(images, labels): train_data = foxnn.train_data() for im, lb in zip(images, labels): data_y = [0, 0, 0, 0, 0, 0, 0, 0, 0, 0] # len(data_y) == 10 data_y[lb] = 1 data_x = im for j in range(len(data_x)): #     (-1, 1) data_x[j] = ((float(data_x[j]) / 255.0) - 0.5) * 2.0 train_data.add_data(data_x, data_y) #     return train_data train_data = get_data(imagesTrain, labelsTrain)

एक नेटवर्क बनाएँ: तीन परतें, इनपुट के लिए 784 पैरामीटर और आउटपुट के लिए 10:

 nn = foxnn.neural_network([784, 512, 512, 10]) nn.settings.n_threads = 7 #     7  nn.settings.set_mode("Adam") #

हम ट्रेन:

 nn.train(data_for_train=train_data, speed=0.001, max_iteration=10000, size_train_batch=98)

क्या हुआ:

लगभग 10 मिनट (केवल सीपीयू त्वरण) में, 75% की सटीकता प्राप्त की जा सकती है। एडम अनुकूलन के साथ, 5 मिनट में 88% प्रतिशत सटीकता प्राप्त की जा सकती है। अंत में, मैं 97% की सटीकता हासिल करने में कामयाब रहा।

मुख्य नुकसान (संशोधन के लिए पहले से ही योजनाएं हैं):

पायथन में, त्रुटियां अभी तक नहीं हुई हैं, अर्थात्। अजगर में, त्रुटि को बाधित नहीं किया जाएगा और कार्यक्रम बस एक त्रुटि के साथ बाहर निकल जाएगा।
जबकि प्रशिक्षण पुनरावृत्तियों में इंगित किया गया है, और युगों में नहीं, जैसा कि अन्य नेटवर्क में प्रथागत है।
कोई GPU त्वरण नहीं
अन्य प्रकार की परतें अभी तक नहीं हैं।
हमें प्रोजेक्ट को PyPi पर अपलोड करना होगा।

परियोजना के थोड़ा पूरा होने के लिए, इस लेख में कमी थी। यदि कम से कम दस लोग रुचि रखते हैं और खेलते हैं, तो पहले से ही एक जीत होगी। मेरे गितुब में आपका स्वागत है।

पुनश्च: यदि आपको यह पता लगाने के लिए अपना खुद का कुछ बनाने की आवश्यकता है, तो डरो मत और बनाएं।

एक साधारण तंत्रिका नेटवर्क का एक उदाहरण, परिणामस्वरूप, यह पता करें कि क्या है

नेटवर्क का वर्णन

परीक्षण

More articles: