🖖🏿 👨🏼‍🔧 😶 तंत्रिका नेटवर्क क्या पैटर्न पाते हैं? 🤘🏽 🐶 ♂️

इस पोस्ट में मैं उन पैटर्न के बारे में बात करना चाहता हूं जो तंत्रिका नेटवर्क पा सकते हैं। कई शुरुआती मार्गदर्शक तंत्रिका नेटवर्क के लिए कोड लिखने की तकनीक पर ध्यान केंद्रित करते हैं, जबकि "तर्क" (तंत्रिका नेटवर्क क्या हो सकता है? कौन से आर्किटेक्चर किन कार्यों के लिए बेहतर हैं और क्यों?) के सवाल अक्सर किनारे पर रहते हैं। मुझे उम्मीद है कि मेरी पोस्ट शुरुआती लोगों को तंत्रिका नेटवर्क की क्षमताओं को बेहतर ढंग से समझने में मदद करेगी। ऐसा करने के लिए, हम यह देखने की कोशिश करेंगे कि वे कुछ मॉडल कार्यों का सामना कैसे करते हैं। केयर्स लाइब्रेरी का उपयोग करके अजगर में नमूना कोड प्रदान किया जाएगा।

कार्य 1. चलो एक सरल के साथ शुरू करते हैं। हम साइन का अनुमान लगाते हुए एक तंत्रिका नेटवर्क का निर्माण करते हैं।

import numpy as np import matplotlib import matplotlib.pyplot as plt from keras.models import Sequential from keras.layers import Dense def get_X_y(n): X = np.random.uniform(0, np.pi, n) y = np.sin(X) return X, y n = 40 X, y = get_X_y(n) print("X shape:", X.shape) model = Sequential() model.add(Dense(6, input_dim=1, activation='relu')) model.add(Dense(4, activation='relu')) model.add(Dense(1, activation='sigmoid')) model.compile(loss='mean_squared_error', optimizer='adam', metrics=['mean_squared_error']) model.fit(X, y, epochs=1000, batch_size=4) X_test = np.linspace(start=0, stop=np.pi, num=500) print("X test shape:", X_test.shape) y_test = model.predict(X_test) font = {'weight': 'bold', 'size': 25} matplotlib.rc('font', **font) axes = plt.gca() axes.set_ylim(0, 1) plt.plot(X_test, y_test, c='green', marker='o', markersize=5) plt.title("Sinus approximated by neural network") plt.yticks(np.arange(0, 1, 0.1)) plt.grid() plt.show()

हमें निम्नलिखित चार्ट मिलता है:

जैसा कि आप देख सकते हैं, तंत्रिका नेटवर्क सफलतापूर्वक एक साधारण फ़ंक्शन को अनुमानित करने के कार्य के साथ मुकाबला किया।

कार्य 2. आइए देखें कि तंत्रिका नेटवर्क एक अधिक जटिल कार्य के साथ कैसे सामना करेगा। हम x के मानों को समान रूप से अंतराल पर वितरित करेंगे [0, 1], और y को बेतरतीब ढंग से सेट किया जाएगा: x <0.6 के लिए, y एक यादृच्छिक चर होगा जिसका मान 0.75 की संभाव्यता के साथ 0 और 0.25 की संभाव्यता के साथ 0 (जो एक द्विपद यादृच्छिक मान है) पी = 0.25)। X> 0.6 के लिए, y एक यादृच्छिक वैरिएबल होगा जो मान 0 को प्रायिकता 0.3 और मान 1 के साथ संभाव्यता 0.7 है। एक अनुकूलित फ़ंक्शन के रूप में, हम मानक त्रुटि लेते हैं।

 import numpy as np import matplotlib import matplotlib.pyplot as plt from keras.models import Sequential from keras.layers import Dense def get_X_y(n): X = np.random.uniform(0, 1, n) y0 = np.random.binomial(size=n, n=1, p=0.25) y1 = np.random.binomial(size=n, n=1, p=0.7) y = np.where(X < 0.6, y0, y1) return X, y n_inputs = 1 n_hidden1 = 100 n_hidden2 = 50 n_outputs = 1 n = 2000 X, y = get_X_y(n) print("X shape:", X.shape) model = Sequential() model.add(Dense(n_hidden1, input_dim=1, activation='relu')) model.add(Dense(n_hidden2, activation='relu')) model.add(Dense(1, activation='sigmoid')) model.compile(loss='mean_squared_error', optimizer='adam', metrics=['accuracy']) model.fit(X, y, epochs=200, batch_size=100) X_test = np.linspace(start=0, stop=1, num=100) print("X test shape:", X_test.shape) y_test = model.predict(X_test) font = {'weight': 'bold', 'size': 25} matplotlib.rc('font', **font) axes = plt.gca() axes.set_ylim(0, 1) plt.plot(X_test, y_test, c='green', marker='o', markersize=5) plt.title("Binomial distribution approximated by neural network") plt.yticks(np.arange(0, 1, 0.1)) plt.grid() plt.show()

हमें एक अनुमानित फंक्शन न्यूरल नेटवर्क का निम्नलिखित ग्राफ मिलता है:

जैसा कि आप देख सकते हैं, तंत्रिका नेटवर्क ने हमारे यादृच्छिक चर y की गणितीय अपेक्षा का अनुमान लगाया है। इसलिए, तंत्रिका नेटवर्क (सिद्धांत रूप में) यादृच्छिक चर के औसत मूल्यों को अनुमानित कर सकते हैं जो मापदंडों पर निर्भर करते हैं। उदाहरण के लिए, हम उनसे निम्नलिखित समस्या को हल करने की उम्मीद कर सकते हैं: $ 1,000 तक की आय वाले लोग औसतन नाखुश हैं, और $ 1,000 से ऊपर की आय वाले लोग औसत खुश हैं; आय के आधार पर "खुशी के स्तर" की भविष्यवाणी करना सीखना चाहिए। तंत्रिका नेटवर्क आय पर खुशी के औसत स्तर की निर्भरता को खोजने में सक्षम होगा, इस तथ्य के बावजूद कि किसी भी आय स्तर वाले लोगों में खुश और दुखी दोनों हैं।

समस्या 3. अब हम अनुक्रमों की भविष्यवाणी की ओर मुड़ते हैं। हम निम्नलिखित नियम द्वारा दिए गए 0 और 1 के अनुक्रमों पर विचार करेंगे: 10 सदस्य - रक्षापूर्वक 0 या 1, और ग्यारहवाँ 1 बराबर होता है यदि पिछला शब्द 0 है, और समान रूप से संभावित 0 या 1 है यदि पिछला शब्द 1. हम लंबाई 11 (10 इनपुट) के ऐसे समीकरण उत्पन्न करेंगे। अनुक्रम के सदस्य और एक, अंतिम, हम भविष्यवाणी करते हैं) और उन्हें हमारे आवर्तक तंत्रिका नेटवर्क पर प्रशिक्षित करते हैं। और प्रशिक्षण के बाद, आइए देखें कि वह नए अनुक्रमों पर भविष्यवाणी के साथ कैसे तालमेल बिठाती है (लंबाई 11 भी)।

 import numpy as np from keras.models import Sequential from keras.layers import LSTM, Dense def get_X_y(m, n): X = np.random.binomial(size=(m,n), n=1, p=0.5) y0 = np.ones(m) y1 = np.random.binomial(size=m, n=1, p=0.5) y = np.where(X[:, n-1]==0, y0, y1) X = np.reshape(X, (X.shape[0], X.shape[1], 1)) return X, y model = Sequential() model.add(LSTM(units=50)) model.add(Dense(units=1)) model.compile(optimizer = 'adam', loss = 'mean_squared_error') X_train, y_train = get_X_y(1000, 10) model.fit(X_train, y_train, epochs = 20, batch_size = 32) m_test = 12 n_test = 10 X_test, y_test = get_X_y(m_test, n_test) y_predicted = model.predict(X_test) for i in range(m_test): print("x_last=", X_test[i, n_test-1, 0], "y_predicted=", y_predicted[i, 0])

आइए देखें कि हमारे तंत्रिका नेटवर्क ने परीक्षण किए गए अनुक्रमों पर क्या पूर्वानुमान दिया है (आपके पास अलग-अलग परिणाम होंगे, क्योंकि अनुक्रमों की पसंद और तंत्रिका नेटवर्क के प्रशिक्षण में एक संयोग है)।

अनुक्रम संख्या	अनुक्रम का पारंगत सदस्य	अनुमानित मूल्य
1	0	0.96
2	0	0.95
3	0	0.97
4	0	0.96
5	0	0.96
6	1	0.45
7	0	0.94
8	1	0.50
9	0	0.96
10	1	0.42
11	1	0.44
12	0	0.92

जैसा कि आप देख सकते हैं, यदि अनुक्रम का पारमार्थिक सदस्य 0 है, तो तंत्रिका नेटवर्क 1 के करीब मूल्य की भविष्यवाणी करता है, और यदि यह 1 है, तो 0.5 के करीब मूल्य है। यह इष्टतम पूर्वानुमान के करीब है। "जीवन" से एक समान उदाहरण इस तरह दिख सकता है: "अगर मैं आज सिनेमा जाता हूं, तो कल मैं एक रेस्तरां में दोपहर का भोजन करूंगा; अगर मैं आज थिएटर जा रहा हूं, तो कल मैं कहीं भी दोपहर का भोजन करूंगा। ” जैसा कि हमने देखा है, एक तंत्रिका नेटवर्क इस प्रकार के पैटर्न को पकड़ सकता है और फिल्मों में (और "बीच में कुछ") की भविष्यवाणी करने के लिए थिएटर में जाकर एक रेस्तरां की यात्रा की भविष्यवाणी कर सकता है।

कार्य 4. हम तंत्रिका नेटवर्क के कार्य को जटिल करते हैं। सब कुछ पिछले उदाहरण के रूप में होने दें, केवल अनुक्रम के ग्यारहवें सदस्य को पिछले द्वारा निर्धारित नहीं किया जाएगा, लेकिन अनुक्रम के दूसरे सदस्य द्वारा (उसी नियम से)। हम यहां कोड नहीं देंगे, क्योंकि यह व्यावहारिक रूप से पिछले एक से अलग नहीं है। मेरे प्रयोग से पता चला कि तंत्रिका नेटवर्क अभी भी एक पैटर्न पाता है, लेकिन अधिक समय के लिए (मुझे प्रशिक्षण के लिए 20 के बजाय 100 युगों का उपयोग करना पड़ा)।
इस प्रकार, तंत्रिका नेटवर्क (फिर से, सिद्धांत रूप में, स्पष्ट कर सकते हैं) काफी लंबे समय तक निर्भरता को पकड़ते हैं (हमारे "जीवन उदाहरण" में, वे "मैं आज एक रेस्तरां में जाता हूं अगर मैं एक हफ्ते पहले एक फिल्म में था")।

कार्य 5. आइए देखें कि तंत्रिका नेटवर्क पूर्वानुमान के लिए उपलब्ध जानकारी का उपयोग कैसे करता है।
ऐसा करने के लिए, हम लंबाई के अनुक्रमों पर प्रशिक्षण का आयोजन करेंगे। कुल मिलाकर, हमारे पास 3 अलग-अलग समान रूप से संभावित अनुक्रम होंगे:

0, 0, 1, 1
0, 1, 0, 1
0, 1, 1, 0

इस प्रकार, 0, 0 के प्रारंभिक संयोजन के बाद, हम हमेशा दो इकाइयों से मिलते हैं, 0, 1 के संयोजन के बाद हम समान रूप से 0 या 1 से मिलने की संभावना रखते हैं, लेकिन हम निश्चित रूप से अंतिम संख्या जानेंगे। अब हम अपने तंत्रिका नेटवर्क को रिटर्न_ परिणाम = ट्रू सेट करके अनुक्रम को वापस करने के लिए कहेंगे। जैसा कि पूर्वानुमानित अनुक्रम है, हम अपने उसी क्रम को एक कदम से स्थानांतरित कर लेते हैं और दाईं ओर शून्य द्वारा पूरक होते हैं। अब हम पहले से ही मान सकते हैं कि क्या होगा: पहले चरण में, तंत्रिका नेटवर्क 2/3 के करीब एक संख्या का उत्पादन करेगा (2/3 की संभावना के साथ दूसरा शब्द 1 है), और फिर 0 के संयोजन के लिए, यह 0 नंबर को बंद कर देगा इकाई, और 0 के लिए, 1 पहले यह 0.5 के करीब एक संख्या देगा, और फिर यह 0 या 1 के करीब एक संख्या देगा, इस पर निर्भर करते हुए कि हमें अनुक्रम 0, 1, 0 या 0, 1, 1. मिला है या नहीं। हमेशा 0 के करीब नंबर का उत्पादन करेगा। निम्नलिखित कोड के साथ जाँच से पता चलता है कि हमारी धारणा सही है।

 import numpy as np from keras.models import Sequential from keras.layers import LSTM, Dense import random def get_X_y(n): X = np.zeros((n, 4)) z = np.array([random.randint(0, 2) for i in range(n)]) X[z == 0, :] = [0, 0, 1, 1] X[z == 1, :] = [0, 1, 0, 1] X[z == 2, :] = [0, 1, 1, 0] y = np.zeros((n, 4)) y[:, :3] = X[:, 1:] X = np.reshape(X, (X.shape[0], X.shape[1], 1)) y = np.reshape(y, (y.shape[0], y.shape[1], 1)) return X, y model = Sequential() model.add(LSTM(units=20, return_sequences=True)) model.add(Dense(units=1)) model.compile(optimizer = 'adam', loss = 'mean_squared_error') X_train, y_train = get_X_y(1000) model.fit(X_train, y_train, epochs = 100, batch_size = 32) X_test = np.zeros((3, 4)) X_test[0, :] = [0, 0, 1, 1] X_test[1, :] = [0, 1, 0, 1] X_test[2, :] = [0, 1, 1, 0] X_test = np.reshape(X_test, (3, 4, 1)) y_predicted = model.predict(X_test) print(y_predicted)

इस उदाहरण से, हम देखते हैं कि तंत्रिका नेटवर्क प्राप्त जानकारी के आधार पर पूर्वानुमान को गतिशील रूप से बदल सकता है। हम ऐसा ही करेंगे, एक निश्चित अनुक्रम की भविष्यवाणी करने की कोशिश करेंगे: जब उपलब्ध जानकारी हमें अगले चरण में परिणामों की संभावनाओं का अनुमान लगाने की अनुमति देती है, तो हम इस जानकारी के आधार पर भविष्यवाणी करते हैं; लेकिन जब हमें अगले चरण में अतिरिक्त जानकारी मिलती है, तो हम इसके आधार पर पूर्वानुमान को बदल देते हैं।
इसलिए, यदि हम देखते हैं कि कोई व्यक्ति अंधेरे से हमारे पास आ रहा है, तो हम कहते हैं "यह एक व्यक्ति है, हम अधिक विस्तार से नहीं जानते हैं"; जब हम अंधेरे में लंबे बालों को भेद करना शुरू करते हैं, तो हम कहते हैं "यह शायद एक महिला है।" लेकिन अगर उसके बाद हम मानते हैं कि किसी व्यक्ति की मूंछें हैं, तो हम कहते हैं कि यह शायद एक आदमी है (लंबे बालों के साथ)। जैसा कि हमने देखा, एक न्यूरल नेटवर्क समान रूप से कार्य करता है, पूर्वानुमान के लिए वर्तमान में उपलब्ध जानकारी की संपूर्णता का उपयोग करता है।

इसलिए, हमने सरल उदाहरणों में देखा कि तंत्रिका नेटवर्क कैसे काम करते हैं और वे कौन से पैटर्न पा सकते हैं। सामान्य तौर पर, हमने देखा कि अक्सर तंत्रिका नेटवर्क काफी "उचित" व्यवहार करते हैं, जिससे भविष्यवाणियां उन लोगों के करीब हो जाती हैं जो एक व्यक्ति बना देगा। हालांकि, यह ध्यान दिया जाना चाहिए, सरल पैटर्न को पकड़ने के लिए उन्हें लोगों की तुलना में बहुत अधिक डेटा की आवश्यकता होती है।

तंत्रिका नेटवर्क क्या पैटर्न पाते हैं?

More articles: