तंत्रिका नेटवर्क: टेंसर फ्लो और पायथन पर मशरूम के बारे में कार्य का कार्यान्वयन

Tensor Flow, Google के तंत्रिका नेटवर्क के निर्माण और उसके निर्माण के लिए एक रूपरेखा है। आपको मशीन सीखने के आंतरिक विवरण से अलग करने और आपकी समस्या को हल करने पर सीधे ध्यान केंद्रित करने की अनुमति देता है। एक बहुत ही शक्तिशाली चीज, यह आपको किसी भी ज्ञात प्रकार के तंत्रिका नेटवर्क बनाने, प्रशिक्षित करने और उपयोग करने की अनुमति देता है। मुझे इस विषय पर Habré पर एक भी समझदार पाठ नहीं मिला, इसलिए मैंने अपना लिखा। नीचे हम टेंसर फ्लो लाइब्रेरी का उपयोग करके मशरूम की समस्या के समाधान के कार्यान्वयन का वर्णन करेंगे। वैसे, नीचे वर्णित एल्गोरिथ्म लगभग किसी भी क्षेत्र में भविष्यवाणियों के लिए उपयुक्त है। उदाहरण के लिए, भविष्य में किसी व्यक्ति में कैंसर की संभावना या पोकर में प्रतिद्वंद्वी में कार्ड।

कार्य

समस्या का सार: फंगस के इनपुट मापदंडों के आधार पर इसकी एडिबिलिटी निर्धारित करने के लिए। विशिष्टता यह है कि ये पैरामीटर श्रेणीबद्ध हैं, संख्यात्मक नहीं। उदाहरण के लिए, "हैट आकार" पैरामीटर "फ्लैट" या "उत्तल" या "शंकु के आकार" पर सेट किया जा सकता है। मशीन लर्निंग रिपॉजिटरी से लिए गए नेटवर्क लर्निंग के मशरूम मशरूम। इस प्रकार, समस्या के समाधान को मशीन लर्निंग के क्षेत्र में एक तरह का हैलो वर्ल्ड कहा जा सकता है, साथ ही इरेज की समस्या , जहां डिजिटल मापदंडों में फूलों के मापदंडों को व्यक्त किया जाता है।

स्रोत कोड

आप गितुब: लिंक पर मेरे भंडार से सभी स्रोतों को डाउनलोड कर सकते हैं। कोड को कार्रवाई में देखने के लिए ऐसा करें। केवल स्रोत कोड का उपयोग करें, क्योंकि सभी आवश्यक संकेत और एन्कोडिंग वहां देखे जाते हैं। नीचे पूरी प्रक्रिया पर विस्तार से चर्चा की जाएगी।

ट्रेनिंग

यह माना जाता है कि आपके पास एक पूर्व-स्थापित टेंसर फ्लो इंस्टॉलेशन है। यदि नहीं, तो आप लिंक स्थापित कर सकते हैं।

स्रोत कोड

from __future__ import absolute_import from __future__ import division from __future__ import print_function import tensorflow as tf import numpy as np import pandas as pd from sklearn.model_selection import train_test_split import os #       . #     CSV-    Tensor Flow       .  ,       (0  1) def prepare_data(data_file_name): header = ['class', 'cap_shape', 'cap_surface', #  CSV-   ,     'agaricus-lepiota.name'   'cap_color', 'bruises', 'odor', 'gill_attachment', 'gill_spacing', 'gill_size', 'gill_color', 'stalk_shape', 'stalk_root', 'stalk_surface_above_ring', 'stalk_surface_below_ring', 'stalk_color_above_ring', 'stalk_color_below_ring', 'veil_type', 'veil_color', 'ring_number', 'ring_type', 'spore_print_color', 'population', 'habitat'] df = pd.read_csv(data_file_name, sep=',', names=header) #   "?"      #        df.replace('?', np.nan, inplace=True) df.dropna(inplace=True) #         #  'e'  'p' .       # ,   0  , 1 -    df['class'].replace('p', 0, inplace=True) df['class'].replace('e', 1, inplace=True) #       , #     . Tensor Flow      # .  Pandas    "get_dummies" #      cols_to_transform = header[1:] df = pd.get_dummies(df, columns=cols_to_transform) #      #    -    () #      () df_train, df_test = train_test_split(df, test_size=0.1) #           num_train_entries = df_train.shape[0] num_train_features = df_train.shape[1] - 1 num_test_entries = df_test.shape[0] num_test_features = df_test.shape[1] - 1 #      csv-, .. #          #  csv,    Tensor Flow df_train.to_csv('train_temp.csv', index=False) df_test.to_csv('test_temp.csv', index=False) #     ,    open("mushroom_train.csv", "w").write(str(num_train_entries) + "," + str(num_train_features) + "," + open("train_temp.csv").read()) open("mushroom_test.csv", "w").write(str(num_test_entries) + "," + str(num_test_features) + "," + open("test_temp.csv").read()) #   ,     os.remove("train_temp.csv") os.remove("test_temp.csv") #        Tensor Flow def get_test_inputs(): x = tf.constant(test_set.data) y = tf.constant(test_set.target) return x, y #        Tensor Flow def get_train_inputs(): x = tf.constant(training_set.data) y = tf.constant(training_set.target) return x, y #        #    ( : , ) #  ,         def new_samples(): return np.array([[0, 0, 0, 0, 0, 1, 0, 0, 0, 1, 0, 0, 0, 1, 0, 0, 0, 0, 1, 0, 0, 0, 1, 0, 0, 0, 0, 0, 1, 1, 0, 1, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 1, 0, 1, 0, 0, 0, 0, 1, 0, 0, 0, 1, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 1, 1, 0, 0, 1, 0, 0, 1, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 1, 0, 0, 0, 0], [0, 0, 0, 0, 0, 1, 1, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 1, 0, 0, 1, 1, 0, 0, 1, 0, 0, 0, 1, 0, 0, 0, 0, 0, 1, 0, 0, 0, 1, 0, 0, 0, 1, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 1, 0, 1, 1, 0, 0, 1, 0, 0, 0, 0, 1, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 1]], dtype=np.int) if __name__ == "__main__": MUSHROOM_DATA_FILE = "agaricus-lepiota.data" #     Tensor Flow, #   CSV- (  ) prepare_data(MUSHROOM_DATA_FILE) #    training_set = tf.contrib.learn.datasets.base.load_csv_with_header( filename='mushroom_train.csv', target_dtype=np.int, features_dtype=np.int, target_column=0) test_set = tf.contrib.learn.datasets.base.load_csv_with_header( filename='mushroom_test.csv', target_dtype=np.int, features_dtype=np.int, target_column=0) # ,        ( ) feature_columns = [tf.contrib.layers.real_valued_column("", dimension=98)] #   DNN-  10, 20  10    classifier = tf.contrib.learn.DNNClassifier( feature_columns=feature_columns, hidden_units=[10, 20, 10], n_classes=2, model_dir="/tmp/mushroom_model") #   classifier.fit(input_fn=get_train_inputs, steps=2000) #        accuracy_score = classifier.evaluate(input_fn=get_test_inputs, steps=1)["accuracy"] print("\n : {0:f}\n".format(accuracy_score)) #         predictions = list(classifier.predict_classes(input_fn=new_samples)) print("   : {}\n" .format(predictions)) 

डाउनलोड करें और रिपॉजिटरी से डेटा तैयार करें

हम इसके लिए विशेष रूप से बनाई गई मशीन लर्निंग रिपॉजिटरी से तंत्रिका नेटवर्क के प्रशिक्षण और परीक्षण के लिए डेटा डाउनलोड करेंगे। सभी डेटा दो फाइलों में प्रस्तुत किए गए हैं: agaricus-lepiota.data और agaricus-lepiota.names। पहली 8124 पंक्तियाँ और 22 स्तंभ। एक पंक्ति एक मशरूम प्रदान करती है, प्रत्येक कॉलम पूरे पैरामीटर शब्द से एक कमी चरित्र के रूप में मशरूम के 22 मापदंडों में से एक है। सभी पात्रों की किंवदंती agarius-lepiota.names फ़ाइल में है।

टैन्सोर फ्लो के लिए स्वीकार्य फॉर्म में लाने के लिए रिपॉजिटरी से डेटा को संसाधित करने की आवश्यकता होती है। पहले हम काम के लिए कुछ पुस्तकालयों का आयात करते हैं

 from __future__ import absolute_import from __future__ import division from __future__ import print_function import tensorflow as tf import numpy as np import pandas as pd from sklearn.model_selection import train_test_split import os 

फिर हम टेंसर फ्लो के लिए मशरूम के मापदंडों से एक हेडर बनाएंगे, ताकि लाइब्रेरी को पता चले कि डेटा फ़ाइल में कौन सा कॉलम किस पैरामीटर से मेल खाता है। टोपी डेटा फ़ाइल से चिपकी हुई है। हम एक सरणी के रूप में बनाते हैं, जिनमें से तत्व फ़ाइल agaricus-lepiota.names से लिए गए हैं।

 header = ['class', 'cap_shape', 'cap_surface', 'cap_color', 'bruises', 'odor', 'gill_attachment', 'gill_spacing', 'gill_size', 'gill_color', 'stalk_shape', 'stalk_root', 'stalk_surface_above_ring', 'stalk_surface_below_ring', 'stalk_color_above_ring', 'stalk_color_below_ring', 'veil_type', 'veil_color', 'ring_number', 'ring_type', 'spore_print_color', 'population', 'habitat'] df = pd.read_csv(data_file_name, sep=',', names=header) 

अब आपको लापता डेटा से निपटने की आवश्यकता है। इस स्थिति में, प्रतीक "?" पैरामीटर के बजाय agaricus-lepiota.data फ़ाइल में सेट किया गया है। ऐसे मामलों को संभालने के लिए कई तरीके हैं, लेकिन हम कम से कम एक लापता पैरामीटर के साथ पूरी लाइन को हटा देंगे।

 df.replace('?', np.nan, inplace=True) df.dropna(inplace=True) 

अगला, आपको मैन्युअल रूप से प्रतीकात्मक संपादन पैरामीटर को डिजिटल के साथ बदलना होगा। यही है, "p" और "e" को 0 और 1 से बदलें।

 df['class'].replace('p', 0, inplace=True) df['class'].replace('e', 1, inplace=True) 

और उसके बाद, आप बाकी डेटा को एक अंक में बदल सकते हैं। यह पांडा की लाइब्रेरी का get_dummies फ़ंक्शन करता है।

 cols_to_transform = header[1:] df = pd.get_dummies(df, columns=cols_to_transform) 

किसी भी तंत्रिका नेटवर्क को प्रशिक्षित करने की आवश्यकता है। लेकिन इसके अलावा, वास्तविक परिस्थितियों में काम की सटीकता बढ़ाने के लिए भी इसे कैलिब्रेट करने की आवश्यकता होती है। ऐसा करने के लिए, हम अपने डेटा सेट को दो में विभाजित करेंगे - प्रशिक्षण और अंशांकन। पहला दूसरे से बड़ा होगा, जैसा कि यह होना चाहिए।

 df_train, df_test = train_test_split(df, test_size=0.1) 

और आखिरी वाला। Tensor Flow को डेटा फ़ाइलों की शुरुआत में इंगित की जाने वाली पंक्तियों और स्तंभों की संख्या की आवश्यकता होती है। हम अपने प्रशिक्षण और अंशांकन डेटासेट से मैन्युअल रूप से यह जानकारी निकालेंगे और फिर परिणामी CSV फ़ाइलों को लिखेंगे।

 #         num_train_entries = df_train.shape[0] num_train_features = df_train.shape[1] - 1 num_test_entries = df_test.shape[0] num_test_features = df_test.shape[1] - 1 #     CSV df_train.to_csv('train_temp.csv', index=False) df_test.to_csv('test_temp.csv', index=False) #       CSV,      open("mushroom_train.csv", "w").write(str(num_train_entries) + "," + str(num_train_features) + "," + open("train_temp.csv").read()) open("mushroom_test.csv", "w").write(str(num_test_entries) + "," + str(num_test_features) + "," + open("test_temp.csv").read()) 

अंत में, आपको इन फ़ाइलों को प्राप्त करना चाहिए: प्रशिक्षण और अंशांकन ।

जेनरेट किए गए डेटा को Tensor Flow में फेंक दें

अब जब हमने रिपॉजिटरी से डाउनलोड किया है और मशरूम डेटा के साथ सीएसवी फ़ाइलों को संसाधित किया है, तो आप उन्हें प्रशिक्षण के लिए टेन्सर फ्लो में भेज सकते हैं। यह load_csv_with_header () फंक्शन द्वारा प्रदान किए गए फंक्शन का उपयोग करके किया जाता है:

 training_set = tf.contrib.learn.datasets.base.load_csv_with_header( filename='mushroom_train.csv', target_dtype=np.int, features_dtype=np.int, target_column=0) test_set = tf.contrib.learn.datasets.base.load_csv_with_header( filename='mushroom_test.csv', target_dtype=np.int, features_dtype=np.int, target_column=0) 

Load_csv_with_header () फ़ंक्शन उन फ़ाइलों से सेट किए गए प्रशिक्षण डेटा के निर्माण में लगा हुआ है जिन्हें हमने ऊपर एकत्र किया है। डेटा फ़ाइल के अलावा, फ़ंक्शन एक तर्क के रूप में target_dtype लेता है, जो अंत में अनुमानित डेटा का एक प्रकार है। हमारे मामले में, कवक की edibility या विषाक्तता की भविष्यवाणी करने के लिए तंत्रिका नेटवर्क को सिखाना आवश्यक है, जिसे 1 या 0. मानों के साथ व्यक्त किया जा सकता है। इस प्रकार, हमारे मामले में target_dtype एक पूर्णांक मान है। features_dtype - पैरामीटर जहां प्रशिक्षण के लिए स्वीकृत पैरामीटर का प्रकार सेट किया गया है। हमारे मामले में, यह एक पूर्णांक भी है (शुरू में वे स्ट्रिंग थे, लेकिन, जैसा कि आप याद करते हैं, हमने उन्हें एक संख्या में पछाड़ दिया)। अंत में, target_column पैरामीटर सेट किया गया है, जो उस पैरामीटर के साथ कॉलम का सूचकांक है जिसे तंत्रिका नेटवर्क का अनुमान लगाना है। यानी एडिबिलिटी पैरामीटर के साथ।

एक Tensor Flow Classifier Object बनाएं

अर्थात्, एक वर्ग की एक वस्तु जो सीधे परिणाम की भविष्यवाणी करने में शामिल है। दूसरे शब्दों में, तंत्रिका नेटवर्क का वर्ग।

 feature_columns = [tf.contrib.layers.real_valued_column("", dimension=98)] classifier = tf.contrib.learn.DNNClassifier( feature_columns=feature_columns, hidden_units=[10, 20, 10], n_classes=2, model_dir="/tmp/mushroom_model") 

पहला पैरामीटर feature_columns है। ये मशरूम के पैरामीटर हैं। कृपया ध्यान दें कि पैरामीटर मान वहीं बनाया गया है, जो थोड़ा अधिक है। वहां, इनपुट पर, आयाम पैरामीटर का मान 98 लिया जाता है, जिसका अर्थ है कि संपादन के अपवाद के साथ, मशरूम के 98 विभिन्न पैरामीटर।

Hidden_units - तंत्रिका नेटवर्क की प्रत्येक परत में न्यूरॉन्स की संख्या। मशीन लर्निंग के क्षेत्र में कला के स्तर पर उनमें परतों और न्यूरॉन्स की संख्या का सही चयन कुछ है। अनुभव के बाद ही इन मूल्यों को सही ढंग से निर्धारित करना संभव है। हमने इन नंबरों को सिर्फ इसलिए लिया क्योंकि वे Tensor Flow ट्यूटोरियल्स में से एक में सूचीबद्ध हैं। और वे काम करते हैं।

n_classes - भविष्यवाणी करने के लिए कक्षाओं की संख्या। हमारे पास उनमें से दो हैं - खाद्य और नहीं।

model_dir - वह पथ जहां तंत्रिका नेटवर्क का प्रशिक्षित मॉडल सहेजा जाएगा। और भविष्य में इसका उपयोग परिणामों की भविष्यवाणी करने के लिए किया जाएगा, ताकि हर बार नेटवर्क को प्रशिक्षित न करें।

ट्रेनिंग

भविष्य में काम में आसानी के लिए, हम दो कार्य बनाएंगे:

 def get_test_inputs(): x = tf.constant(test_set.data) y = tf.constant(test_set.target) return x, y def get_train_inputs(): x = tf.constant(training_set.data) y = tf.constant(training_set.target) return x, y 

प्रत्येक फ़ंक्शन इनपुट डेटा का अपना सेट प्रदान करता है - प्रशिक्षण के लिए और अंशांकन के लिए। x और y टेन्सर फ्लो स्थिरांक हैं जिन्हें रूपरेखा को काम करने की आवश्यकता है। विवरण में मत जाओ, बस स्वीकार करें कि ये फ़ंक्शन डेटा और एक तंत्रिका नेटवर्क के बीच एक मध्यस्थ होना चाहिए।

हम एक नेटवर्क को प्रशिक्षित करते हैं:

 classifier.fit(input_fn=get_train_inputs, steps=2000) 

पहला पैरामीटर इनपुट डेटा को ऊपर से ऊपर ले जाता है, दूसरा - प्रशिक्षण चरणों की संख्या। फिर से, टेन्सर फ्लो मैनुअल में से एक में नंबर का उपयोग किया गया था, और इस सेटिंग की समझ आपके पास अनुभव के साथ आएगी।

इसके बाद, प्रशिक्षित नेटवर्क को कैलिब्रेट करें। यह ऊपर उत्पन्न अंशांकन डेटा सेट का उपयोग करके किया जाता है। कार्य का परिणाम भविष्य की नेटवर्क भविष्यवाणियों (सटीकता_स्कोर) की सटीकता होगी।

 accuracy_score = classifier.evaluate(input_fn=get_test_inputs, steps=1)["accuracy"] print("\n : {0:f}\n".format(accuracy_score)) 

हम में परीक्षण करेंगे

अब तंत्रिका नेटवर्क तैयार है, और आप इसकी मदद से कवक की क्षमता की भविष्यवाणी करने की कोशिश कर सकते हैं।

 def new_samples(): return np.array([[0, 0, 0, 0, 0, 1, 0, 0, 0, 1, 0, 0, 0, 1, 0, 0, 0, 0, 1, 0, 0, 0, 1, 0, 0, 0, 0, 0, 1, 1, 0, 1, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 1, 0, 1, 0, 0, 0, 0, 1, 0, 0, 0, 1, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 1, 1, 0, 0, 1, 0, 0, 1, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 1, 0, 0, 0, 0], [0, 0, 0, 0, 0, 1, 1, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 1, 0, 0, 1, 1, 0, 0, 1, 0, 0, 0, 1, 0, 0, 0, 0, 0, 1, 0, 0, 0, 1, 0, 0, 0, 1, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 1, 0, 1, 1, 0, 0, 1, 0, 0, 0, 0, 1, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 1]], dtype=np.int) 

उपरोक्त फ़ंक्शन दो पूरी तरह से नए मशरूम का डेटा देता है जो प्रशिक्षण में या अंशांकन सेट में मौजूद नहीं थे (वास्तव में, उन्हें बस बाद वाले से खींचा गया था)। उदाहरण के लिए, कल्पना कीजिए कि आपने उन्हें बाजार में खरीदा है, और यह समझने की कोशिश कर रहे हैं कि क्या उन्हें खाया जा सकता है। नीचे दिया गया कोड इसे परिभाषित करेगा:

 predictions = list(classifier.predict(input_fn=new_samples)) print("   : {}\n" .format(predictions)) 

कार्य का परिणाम निम्न होना चाहिए:

    : [0, 1] 

और इसका मतलब है कि पहला मशरूम जहरीला है, दूसरा पूरी तरह से खाद्य है। इस प्रकार, आप किसी भी डेटा के आधार पर भविष्यवाणियां कर सकते हैं, चाहे वह मशरूम हो, लोग हों, जानवर हों या कुछ भी हो। यह इनपुट डेटा को सही ढंग से बनाने के लिए पर्याप्त है। और भविष्यवाणी करने के लिए, उदाहरण के लिए, भविष्य में एक मरीज की अतालता की संभावना या स्टॉक एक्सचेंज पर स्टॉक मूल्य आंदोलन।