तंत्रिका नेटवर्क जो आपको एक फिल्म चुनने में मदद करेगा - "आपके स्वाद विशिष्ट हैं"

नमस्ते!

ऐसा होता है कि आप एक फिल्म देखते हैं, और आपके दिमाग में केवल एक ही सवाल है - "क्या मैं फिर से क्लिकबैट हो रहा हूं?" हम इस समस्या को हल करेंगे और हम केवल उपयुक्त फिल्में देखेंगे। मेरा सुझाव है कि डेटा का थोड़ा सा प्रयोग करें और फिल्म का मूल्यांकन करने के लिए एक सरल तंत्रिका नेटवर्क लिखें।

हमारा प्रयोग किसी उत्पाद के लिए दर्शकों के मूड को निर्धारित करने के लिए भावना विश्लेषण तकनीक पर आधारित है। डेटा के रूप में हम IMDb फिल्मों पर उपयोगकर्ता समीक्षा का डेटासेट लेते हैं। Google Colab विकास परिवेश आपको GPU (NVidia Tesla K80) तक मुफ्त पहुंच के लिए अपने तंत्रिका नेटवर्क को जल्दी से प्रशिक्षित करने की अनुमति देगा।

मैं केरस पुस्तकालय का उपयोग करता हूं, जिसकी मदद से मैं समान मशीन सीखने की समस्याओं को हल करने के लिए एक सार्वभौमिक मॉडल का निर्माण करूंगा। मैं TendorFlow बैकएंड की आवश्यकता होगी, कोलाब में डिफ़ॉल्ट संस्करण 1.15.0, इसलिए सिर्फ 2.0.0 में अपग्रेड करें।

from __future__ import absolute_import, division, print_function, unicode_literals import tensorflow as tf !tf_upgrade_v2 -h 

अगला, हम डेटा प्रीप्रोसेसिंग और मॉडल बिल्डिंग के लिए सभी आवश्यक मॉड्यूल आयात करते हैं। पिछले लेखों में, पुस्तकालयों पर जोर दिया गया है, आप वहां देख सकते हैं।

 %matplotlib inline import matplotlib import matplotlib.pyplot as plt 

 import numpy as np from keras.utils import to_categorical from keras import models from keras import layers from keras.datasets import imdb 

आईएमडीबी डेटा पार्स करना

IMDb डेटासेट में पॉजिटिव (1) और नेगेटिव (0) चिह्नित यूजर्स के 50,000 मूवी रिव्यू होते हैं।

• समीक्षा पूर्व-संसाधित हैं, और उनमें से प्रत्येक पूर्णांक के रूप में शब्द सूचकांकों के अनुक्रम द्वारा एन्कोडेड है

• समीक्षाओं में शब्द डेटासेट में उनकी कुल आवृत्ति द्वारा अनुक्रमित होते हैं। उदाहरण के लिए, पूर्णांक "2" दूसरा सबसे अधिक इस्तेमाल किया जाने वाला शब्द है

• 50,000 समीक्षाओं को दो सेटों में विभाजित किया गया है: प्रशिक्षण के लिए 25,000 और परीक्षण के लिए 25,000।

उस डेटासेट को डाउनलोड करें जो कैरस में बनाया गया है। चूंकि डेटा को 50-50 के अनुपात में प्रशिक्षण और परीक्षण में विभाजित किया गया है, इसलिए मैं उन्हें संयोजित करूंगा ताकि बाद में मैं उन्हें 80-20 से विभाजित कर सकूं।

 from keras.datasets import imdb (training_data, training_targets), (testing_data, testing_targets) = imdb.load_data(num_words=10000) data = np.concatenate((training_data, testing_data), axis=0) targets = np.concatenate((training_targets, testing_targets), axis=0) 

डेटा की खोज

आइए देखें कि हम किसके साथ काम कर रहे हैं।

 print("Categories:", np.unique(targets)) print("Number of unique words:", len(np.unique(np.hstack(data)))) 

 length = [len(i) for i in data] print("Average Review length:", np.mean(length)) print("Standard Deviation:", round(np.std(length))) 

आप देख सकते हैं कि सभी डेटा दो श्रेणियों के हैं: 0 या 1, जो समीक्षा के मूड का प्रतिनिधित्व करता है। संपूर्ण डेटासेट में 9998 अद्वितीय शब्द हैं, औसत समीक्षा का आकार 234 शब्द है, जिसमें 173 का मानक विचलन है।

आइए इस डेटासेट से पहली समीक्षा देखें, जो सकारात्मक के रूप में चिह्नित है।

 print("Label:", targets[0]) print(data[0]) 

 index = imdb.get_word_index() reverse_index = dict([(value, key) for (key, value) in index.items()]) decoded = " ".join( [reverse_index.get(i - 3, "#") for i in data[0]] ) print(decoded) 

डेटा की तैयारी

यह डेटा तैयार करने का समय है। हमें प्रत्येक सर्वेक्षण को वेक्टर करने और इसे शून्य से भरने की आवश्यकता है ताकि वेक्टर में 10,000 संख्याएं हों। इसका मतलब है कि हर समीक्षा जो 10,000 शब्दों से छोटी है, शून्य से भरी हुई है। मैं ऐसा इसलिए करता हूं क्योंकि सबसे बड़ा अवलोकन लगभग एक ही आकार का है, और हमारे तंत्रिका नेटवर्क के प्रत्येक इनपुट तत्व का आकार समान होना चाहिए। आपको चर को फ्लोट प्रकार में बदलने की भी आवश्यकता है।

 def vectorize(sequences, dimension = 10000): results = np.zeros((len(sequences), dimension)) for i, sequence in enumerate(sequences): results[i, sequence] = 1 return results data = vectorize(data) targets = np.array(targets).astype("float32") 

इसके बाद, मैं डेटासेट को प्रशिक्षण और परीक्षण डेटा में विभाजित करता हूं, जैसा कि 4: 1 में सहमत है।

 test_x = data[:10000] test_y = targets[:10000] train_x = data[10000:] train_y = targets[10000:] 

एक मॉडल बनाएं और प्रशिक्षित करें

बात छोटी है, केवल एक मॉडल लिखना और उसे प्रशिक्षित करना है। एक प्रकार का चयन करके प्रारंभ करें। कैरस में दो प्रकार के मॉडल उपलब्ध हैं: अनुक्रमिक और एक कार्यात्मक एपीआई के साथ। फिर आपको इनपुट, छिपी और आउटपुट परतों को जोड़ने की आवश्यकता है।

ओवरफिटिंग को रोकने के लिए, हम उनके बीच एक "ड्रॉपआउट" का उपयोग करेंगे। प्रत्येक परत पर, "घने" फ़ंक्शन का उपयोग परतों को एक दूसरे से पूरी तरह से जोड़ने के लिए किया जाता है। छिपी हुई परतों में हम "रिले" सक्रियण फ़ंक्शन का उपयोग करेंगे, यह लगभग हमेशा संतोषजनक परिणाम देता है। आउटपुट लेयर पर हम एक सिग्मॉइड फ़ंक्शन का उपयोग करते हैं जो 0 से 1 तक की रेंज में मानों को पुन: आकार देता है।

मैं एडाम ऑप्टिमाइज़र का उपयोग करता हूं, यह प्रशिक्षण के दौरान भार बदल देगा।

हम बाइनरी क्रॉस-एन्ट्रोपी का उपयोग एक हानि फ़ंक्शन के रूप में करते हैं, और माप मीट्रिक के रूप में सटीकता।

अब आप हमारे मॉडल को प्रशिक्षित कर सकते हैं। हम 500 के बैच आकार और केवल तीन युगों के साथ ऐसा करेंगे, क्योंकि यह पता चला था कि यदि यह लंबे समय तक प्रशिक्षित रहता है तो मॉडल फिर से शुरू होता है।

 model = models.Sequential() # Input - Layer model.add(layers.Dense(50, activation = "relu", input_shape=(10000, ))) # Hidden - Layers model.add(layers.Dropout(0.3, noise_shape=None, seed=None)) model.add(layers.Dense(50, activation = "relu")) model.add(layers.Dropout(0.2, noise_shape=None, seed=None)) model.add(layers.Dense(50, activation = "relu")) # Output- Layer model.add(layers.Dense(1, activation = "sigmoid")) model.summary() # compiling the model model.compile( optimizer = "adam", loss = "binary_crossentropy", metrics = ["accuracy"] ) results = model.fit( train_x, train_y, epochs= 3, batch_size = 500, validation_data = (test_x, test_y) ) print("Test-Accuracy:", np.mean(results.history["val_acc"])) 

निष्कर्ष

हमने एक सरल छह-परत तंत्रिका नेटवर्क बनाया है जो 0.89 की सटीकता के साथ फिल्म निर्माताओं के मूड की गणना कर सकता है। बेशक, शांत फिल्मों को देखने के लिए एक तंत्रिका नेटवर्क लिखने के लिए बिल्कुल भी आवश्यक नहीं है, लेकिन यह सिर्फ एक और उदाहरण था कि आप डेटा का उपयोग कैसे कर सकते हैं, इससे लाभ उठाएं, क्योंकि आपको इसके लिए इसकी आवश्यकता है। तंत्रिका नेटवर्क अपनी संरचना की सादगी के कारण सार्वभौमिक है, कुछ मापदंडों को बदलते हुए, आप इसे पूरी तरह से अलग कार्यों के लिए अनुकूलित कर सकते हैं।

अपने विचारों को टिप्पणियों में लिखने के लिए स्वतंत्र महसूस करें।