👈 🦈 🎗️ मशीन लर्निंग: स्टॉक मार्केट में शेयर की कीमतों की भविष्यवाणी करना 😂 🚶 🤜🏾

अनुवादक पोलिना काबिरोवा ने विशेष रूप से नेटोलिया के लिए, कैम्ब्रिज विश्वविद्यालय के इंजीनियर विवेक पलानप्पन द्वारा एक लेख को अनुकूलित किया कि कैसे तंत्रिका नेटवर्क का उपयोग करके एक मॉडल बनाया जाए जो स्टॉक एक्सचेंज पर स्टॉक की कीमतों का अनुमान लगा सके।

मशीन और गहन शिक्षा एक नई प्रभावी रणनीति बन गई है जो कई निवेश फंड आय बढ़ाने के लिए उपयोग करते हैं। लेख में, मैं समझाऊंगा कि कैसे तंत्रिका नेटवर्क शेयर बाजार में स्थिति की भविष्यवाणी करने में मदद करते हैं - उदाहरण के लिए, स्टॉक की कीमत (या सूचकांक)। पाठ पायथन में लिखे गए मेरे प्रोजेक्ट पर आधारित है। पूरा कोड और प्रोग्राम गाइड GitHub पर पाया जा सकता है। माध्यम ब्लॉग पर अन्य संबंधित लेख पढ़ें।

अर्थशास्त्र में तंत्रिका नेटवर्क

वित्त के क्षेत्र में परिवर्तन रैखिक नहीं हैं, और कभी-कभी ऐसा लगता है कि स्टॉक की कीमतें पूरी तरह से यादृच्छिक रूप से बनती हैं। पारंपरिक समय श्रृंखला विधियाँ, जैसे कि ARIMA और GARCH मॉडल, तब प्रभावी होती हैं जब श्रृंखला स्थिर होती है - इसके मूल गुण समय के साथ नहीं बदलते हैं। और इसके लिए यह आवश्यक है कि log returns का उपयोग करके श्रृंखला को पूर्व-संसाधित किया गया हो या अलग तरह से स्टेशनरी में लाया गया हो। हालांकि, मुख्य समस्या तब पैदा होती है जब इन मॉडलों को एक वास्तविक ट्रेडिंग सिस्टम में लागू किया जाता है, क्योंकि नए डेटा को जोड़ते समय स्थिरता की गारंटी नहीं होती है।

इस समस्या का समाधान तंत्रिका नेटवर्क हो सकता है जिसमें स्थिरता की आवश्यकता नहीं होती है। तंत्रिका नेटवर्क शुरू में डेटा के बीच संबंधों को खोजने में बहुत प्रभावी हैं और उन पर आधारित नए डेटा की भविष्यवाणी (या वर्गीकृत) करने में सक्षम हैं।

आमतौर पर, डेटा साइंस प्रोजेक्ट में निम्नलिखित ऑपरेशन होते हैं:

डेटा संग्रह - आवश्यक गुणों का एक सेट प्रदान करता है।
डेटा का उपयोग करने से पहले डेटा प्रीप्रोसेसिंग अक्सर एक भयावह लेकिन आवश्यक कदम है।
मॉडल का विकास और कार्यान्वयन तंत्रिका नेटवर्क के प्रकार और इसके मापदंडों का विकल्प है।
बैकटस्टिंग मॉडल (ऐतिहासिक डेटा पर परीक्षण) किसी भी व्यापारिक रणनीति में एक महत्वपूर्ण कदम है।
अनुकूलन - उपयुक्त मापदंडों की खोज करें।

हमारे तंत्रिका नेटवर्क के लिए इनपुट - पिछले 10 दिनों के लिए शेयर की कीमतों का डेटा। उनकी मदद से, हम अगले दिन कीमतों की भविष्यवाणी करेंगे।

डेटा संग्रह

सौभाग्य से, इस परियोजना के लिए आवश्यक डेटा याहू वित्त पर पाया जा सकता है। साइट से सीधे या उनके पायथन एपीआई pdr.get_yahoo_data(ticker, start_date, end_date) का उपयोग करके डेटा एकत्र किया जा सकता है।

डेटा प्रीप्रोसेसिंग

हमारे मामले में, डेटा को 10 पिछली कीमतों और अगले दिन की कीमतों से मिलकर प्रशिक्षण सेटों में विभाजित किया जाना चाहिए। ऐसा करने के लिए, मैंने Preprocessing क्लास को परिभाषित किया, जो प्रशिक्षण और परीक्षण डेटा के साथ काम करेगा। कक्षा के अंदर, मैंने get_train(self, seq_len) परिभाषित किया, जो प्रशिक्षण इनपुट और आउटपुट डेटा को NumPy सरणियों में परिवर्तित करता है, एक विशिष्ट विंडो लंबाई (हमारे मामले में 10) की स्थापना करता है। पूरा कोड इस तरह दिखता है:

 def gen_train(self, seq_len):  """  Generates training data  :param seq_len: length of window  :return: X_train and Y_train  """  for i in range((len(self.stock_train)//seq_len)*seq_len - seq_len - 1):      x = np.array(self.stock_train.iloc[i: i + seq_len, 1])      y = np.array([self.stock_train.iloc[i + seq_len + 1, 1]], np.float64)      self.input_train.append(x)      self.output_train.append(y)  self.X_train = np.array(self.input_train)  self.Y_train = np.array(self.output_train)

इसी तरह, मैंने एक विधि को परिभाषित किया है जो परीक्षण डेटा को X_test और Y_test ।

तंत्रिका नेटवर्क मॉडल

परियोजना के लिए, मैंने तंत्रिका नेटवर्क के दो मॉडल का उपयोग किया: मल्टीलेयर परसेप्ट्रॉन (एमएलपी) और लॉन्ग शॉर्ट टर्म मॉडल (एलएसटीएम)। मैं संक्षेप में बात करता हूँ कि ये मॉडल कैसे काम करते हैं। एक अन्य लेख में MLP के बारे में और याकूब औंगियर्स में LSTM के काम के बारे में और पढ़ें।

एमएलपी तंत्रिका नेटवर्क का सबसे सरल रूप है। इनपुट डेटा मॉडल में आता है और कुछ वज़न का उपयोग करके, आउटपुट डेटा प्राप्त करने के लिए मूल्यों को छिपी हुई परतों के माध्यम से प्रेषित किया जाता है। एल्गोरिदम सीखना प्रत्येक न्यूरॉन के वजन मूल्यों को बदलने के लिए छिपी हुई परतों के माध्यम से वापस प्रसार से आता है। इस मॉडल के साथ समस्या "मेमोरी" की कमी है। यह निर्धारित करना असंभव है कि पिछला डेटा क्या था और यह नए को कैसे प्रभावित कर सकता है और क्या करना चाहिए। हमारे मॉडल के संदर्भ में, दो डेटासेट के डेटा के बीच 10-दिन के अंतर मायने रख सकते हैं, लेकिन एमएलपी ऐसे संबंधों का विश्लेषण करने में सक्षम नहीं हैं।

ऐसा करने के लिए, LSTM या आवर्तक तंत्रिका नेटवर्क (RNN) का उपयोग करें। आरएनएन बाद में उपयोग के लिए कुछ डेटा जानकारी संग्रहीत करते हैं, इससे तंत्रिका नेटवर्क को स्टॉक मूल्य डेटा के बीच संबंधों की जटिल संरचना का विश्लेषण करने में मदद मिलती है। लेकिन आरएनएन के साथ, एक लुप्त होती ढाल की समस्या पैदा होती है। ढाल कम हो जाती है क्योंकि परतों की संख्या बढ़ जाती है और प्रशिक्षण का स्तर (एकता से कम मूल्य) कई गुना बढ़ जाता है। दक्षता बढ़ाकर इस LSTM समस्या का समाधान करें।

मॉडल कार्यान्वयन

मॉडल को लागू करने के लिए, मैंने Keras उपयोग किया, क्योंकि वहां परतें धीरे-धीरे जोड़ी जाती हैं, और एक ही बार में पूरे नेटवर्क को परिभाषित नहीं करती हैं। इसलिए हम तंत्रिका नेटवर्क को अनुकूलित करते हुए, संख्या और परतों को जल्दी से बदल सकते हैं।

स्टॉक की कीमतों के साथ काम करने में एक महत्वपूर्ण कदम डेटा सामान्यीकरण है। आमतौर पर इसके लिए आप औसत त्रुटि को घटाते हैं और मानक त्रुटि से विभाजित होते हैं। लेकिन हमें इस प्रणाली को एक निश्चित अवधि के लिए वास्तविक व्यापार में उपयोग करने की आवश्यकता है। इस प्रकार, आंकड़ों का उपयोग करना डेटा को सामान्य करने का सबसे सटीक तरीका नहीं हो सकता है। इसलिए मैंने केवल सभी डेटा को 200 में विभाजित किया (एक मनमाना संख्या जिसकी तुलना में अन्य सभी संख्याएँ छोटी हैं)। और यद्यपि ऐसा लगता है कि इस तरह का सामान्यीकरण उचित नहीं है और इसका कोई मतलब नहीं है, यह सुनिश्चित करने के लिए प्रभावी है कि तंत्रिका नेटवर्क में वजन बहुत बड़ा नहीं हो जाता है।

चलो एक सरल मॉडल से शुरू करते हैं - एमएलपी। केरस एक अनुक्रम बनाता है और इसके ऊपर घनी परतें जोड़ता है। पूर्ण कोड इस तरह दिखता है:

 model = tf.keras.models.Sequential() model.add(tf.keras.layers.Dense(100, activation=tf.nn.relu)) model.add(tf.keras.layers.Dense(100, activation=tf.nn.relu)) model.add(tf.keras.layers.Dense(1, activation=tf.nn.relu)) model.compile(optimizer="adam", loss="mean_squared_error")

कोड की पांच पंक्तियों में केरस का उपयोग करते हुए, हमने छिपी परतों के साथ एमएलपी बनाया, प्रत्येक में एक सौ न्यूरॉन्स। और अब थोड़ा अनुकूलक के बारे में। एडम (अनुकूली पल आकलन) विधि लोकप्रियता प्राप्त कर रही है - स्टोकेस्टिक क्रमिक वंश की तुलना में अधिक कुशल अनुकूलन एल्गोरिथ्म। स्टोकेस्टिक क्रमिक वंश के दो अन्य विस्तार हैं - एडम लाभ उनकी पृष्ठभूमि के खिलाफ तुरंत दिखाई देते हैं:

AdaGrad - एक निर्धारित सीखने की गति को बनाए रखता है, जो परिणाम में सुधार करता है जब ग्रेडिएंट्स का विचलन होता है (उदाहरण के लिए, प्राकृतिक भाषा और कंप्यूटर दृष्टि के साथ समस्याओं के साथ)।

RMSProp - एक निर्धारित प्रशिक्षण गति को बनाए रखता है, जो वजन के लिए हाल के ग्रेडिएंट के औसत मूल्यों के आधार पर भिन्न हो सकता है (उदाहरण के लिए, यह कितनी तेजी से बदलता है)। इसका मतलब यह है कि एल्गोरिथ्म गैर-स्थिर समस्याओं (उदाहरण के लिए, शोर) के साथ अच्छी तरह से मुकाबला करता है।

एडम इन एक्सटेंशन के लाभों को जोड़ता है, इसलिए मैंने इसे चुना।

अब हम मॉडल को अपने प्रशिक्षण डेटा में फिट करते हैं। केरस कार्य को फिर से सरल करता है, केवल निम्नलिखित कोड की आवश्यकता है:

 model.fit(X_train, Y_train, epochs=100)

जब मॉडल तैयार हो जाता है, तो आपको यह निर्धारित करने के लिए परीक्षण डेटा पर जांचने की आवश्यकता है कि यह कितनी अच्छी तरह काम करता है। यह इस प्रकार किया जाता है:

 model.evaluate(X_test, Y_test)

स्टॉक कीमतों की भविष्यवाणी करने के लिए मॉडल की क्षमता का आकलन करने के लिए सत्यापन से प्राप्त जानकारी का उपयोग किया जा सकता है।

LSTM मॉडल के लिए एक समान प्रक्रिया का उपयोग किया जाता है, इसलिए मैं कोड दिखाऊंगा और इसे थोड़ा समझाऊंगा:

 model = tf.keras.Sequential() model.add(tf.keras.layers.LSTM(20, input_shape=(10, 1), return_sequences=True)) model.add(tf.keras.layers.LSTM(20)) model.add(tf.keras.layers.Dense(1, activation=tf.nn.relu)) model.compile(optimizer="adam", loss="mean_squared_error") model.fit(X_train, Y_train, epochs=50) model.evaluate(X_test, Y_test)

कृपया ध्यान दें कि केरस को आपके मॉडल के आधार पर एक निश्चित आकार का डेटा चाहिए। NumPy का उपयोग करके सरणी के आकार को बदलना बहुत महत्वपूर्ण है।

बैकिंग मॉडल

जब हमने प्रशिक्षण डेटा का उपयोग करके अपने मॉडल तैयार किए और परीक्षण डेटा पर उनका परीक्षण किया, तो हम मॉडल का ऐतिहासिक डेटा पर परीक्षण कर सकते हैं। यह निम्नानुसार किया जाता है:

 def back_test(strategy, seq_len, ticker, start_date, end_date, dim):  """  A simple back test for a given date period  :param strategy: the chosen strategy. Note to have already formed the model, and fitted with training data.  :param seq_len: length of the days used for prediction  :param ticker: company ticker  :param start_date: starting date  :type start_date: "YYYY-mm-dd"  :param end_date: ending date  :type end_date: "YYYY-mm-dd"  :param dim: dimension required for strategy: 3dim for LSTM and 2dim for MLP  :type dim: tuple  :return: Percentage errors array that gives the errors for every test in the given date range  """  data = pdr.get_data_yahoo(ticker, start_date, end_date)  stock_data = data["Adj Close"]  errors = []  for i in range((len(stock_data)//10)*10 - seq_len - 1):      x = np.array(stock_data.iloc[i: i + seq_len, 1]).reshape(dim) / 200      y = np.array(stock_data.iloc[i + seq_len + 1, 1]) / 200      predict = strategy.predict(x)      while predict == 0:          predict = strategy.predict(x)      error = (predict - y) / 100      errors.append(error)      total_error = np.array(errors)  print(f"Average error = {total_error.mean()}")

हालांकि, यह परीक्षण का एक सरलीकृत संस्करण है। एक संपूर्ण बैकिंग सिस्टम के लिए, "उत्तरजीविता पूर्वाग्रह", पूर्वाग्रह (आगे पूर्वाग्रह देखें), बदलते बाजार की स्थितियों और लेनदेन की लागत जैसे कारकों पर विचार किया जाना चाहिए। चूंकि यह केवल एक शैक्षिक परियोजना है, इसलिए सरल बैकिंग पर्याप्त है।

फरवरी में Apple के शेयर की कीमतों के लिए मेरे LSTM मॉडल का पूर्वानुमान

अनुकूलन के बिना एक सरल LSTM मॉडल के लिए, यह एक बहुत अच्छा परिणाम है। यह दर्शाता है कि तंत्रिका नेटवर्क और मशीन लर्निंग मॉडल मापदंडों के बीच जटिल, स्थिर कनेक्शन बनाने में सक्षम हैं।

हाइपरपरमीटर ऑप्टिमाइज़ेशन

परीक्षण के बाद मॉडल के परिणामों को बेहतर बनाने के लिए अक्सर अनुकूलन की आवश्यकता होती है। मैंने इसे ओपन सोर्स संस्करण में शामिल नहीं किया ताकि पाठक स्वयं मॉडल को अनुकूलित करने का प्रयास कर सकें। जिन लोगों को पता नहीं है कि अनुकूलन कैसे करना है हाइपरपरमेटर्स ढूंढना होगा जो मॉडल के प्रदर्शन में सुधार करेंगे। हाइपरपरमेटर्स को खोजने के लिए कई तरीके हैं: एक ग्रिड पर मानकों का चयन करने से लेकर स्टोकेस्टिक विधियों तक।

मुझे यकीन है कि मॉडल के अनुकूलन के साथ, मशीन लर्निंग के क्षेत्र में ज्ञान एक नए स्तर पर जाता है। मॉडल को अनुकूलित करने का प्रयास करें ताकि यह मेरा से बेहतर काम करे। उपरोक्त ग्राफ के साथ परिणाम की तुलना करें।

निष्कर्ष

मशीन सीखना लगातार विकसित हो रहा है - हर दिन नए तरीके उभर रहे हैं, इसलिए लगातार सीखना बहुत महत्वपूर्ण है। ऐसा करने का सबसे अच्छा तरीका दिलचस्प परियोजनाएं बनाना है, उदाहरण के लिए, स्टॉक की कीमतों के पूर्वानुमान के लिए मॉडल बनाना। और यद्यपि मेरा एलएसटीएम मॉडल वास्तविक व्यापार में उपयोग के लिए पर्याप्त नहीं है, लेकिन इस तरह के मॉडल के विकास में रखी गई नींव भविष्य में मदद कर सकती है।

संपादकों से

विषय पर नेटोलॉजी पाठ्यक्रम:

डेटा विश्लेषक ऑनलाइन पेशा
ऑनलाइन पेशे डेटा साइंटिस्ट

मशीन लर्निंग: स्टॉक मार्केट में शेयर की कीमतों की भविष्यवाणी करना