🤾🏾 😫 🚠 हम पायथन में मशीन लर्निंग प्रोजेक्ट कर रहे हैं। भाग 3 🤛🏻 🧛🏽 🍈

पाइथन में एक पूर्ण मशीन लर्निंग वॉक-थ्रू: भाग तीन

बहुत से लोगों को यह पसंद नहीं है कि मशीन लर्निंग मॉडल ब्लैक बॉक्स हैं : हम उनमें डेटा डालते हैं और बिना किसी स्पष्टीकरण के उत्तर प्राप्त करते हैं - अक्सर बहुत सटीक उत्तर। इस लेख में हम यह पता लगाने की कोशिश करेंगे कि हमने जो मॉडल बनाया है वह पूर्वानुमान कैसे बना रहा है और यह उस समस्या के बारे में बता सकता है जिसे हम हल कर रहे हैं। और हम मशीन लर्निंग प्रोजेक्ट के सबसे महत्वपूर्ण हिस्से की चर्चा के साथ निष्कर्ष निकालते हैं: हमने दस्तावेज़ बनाए हैं कि हमने क्या किया है और परिणाम पेश किए हैं।

पहले भाग में, हमने डेटा क्लींजिंग, एक्सप्लोसिव एनालिसिस, डिज़ाइन और फ़ीचर सिलेक्शन की जांच की। दूसरे भाग में, हमने लापता डेटा को भरने, मशीन लर्निंग मॉडल के कार्यान्वयन और तुलना, क्रॉस-मान्यता के साथ यादृच्छिक खोज का उपयोग करके हाइपरपरमेट्रिक ट्यूनिंग का अध्ययन किया, और अंत में, परिणामी मॉडल का मूल्यांकन।

सभी प्रोजेक्ट कोड GitHub पर है। और इस लेख से संबंधित तीसरा जुपिटर नोटबुक यहाँ स्थित है । आप इसे अपनी परियोजनाओं के लिए उपयोग कर सकते हैं!

इसलिए, हम मशीन लर्निंग का उपयोग कर समस्या के समाधान पर काम कर रहे हैं, या इसके बजाय पर्यवेक्षित प्रतिगमन का उपयोग कर रहे हैं। न्यूयॉर्क में इमारतों के ऊर्जा डेटा के आधार पर , हमने एक मॉडल बनाया जो एनर्जी स्टार स्कोर की भविष्यवाणी करता है। हमने " ढाल बूस्टिंग-आधारित प्रतिगमन " मॉडल प्राप्त किया है, जो टेस्ट डेटा के आधार पर 9.1 अंक (1 से 100 की सीमा में) की सीमा के भीतर भविष्यवाणी करने में सक्षम है।

मॉडल की व्याख्या

क्रमिक बूस्टिंग रिग्रेशन मॉडल व्याख्यात्मक पैमाने के बीच में लगभग स्थित है: मॉडल खुद ही जटिल है, लेकिन सैकड़ों काफी सरल निर्णय पेड़ों से बना है । यह समझने के तीन तरीके हैं कि हमारा मॉडल कैसे काम करता है:

लक्षणों के महत्व को रेट करें।
निर्णय पेड़ों में से एक की कल्पना करें।
सीमा विधि लागू करें - स्थानीय व्याख्यात्मक मॉडल-अज्ञेय स्पष्टीकरण , स्थानीय व्याख्या मॉडल-स्वतंत्र स्पष्टीकरण।

पहले दो विधियां पेड़ की टुकड़ियों की विशेषता हैं, और तीसरा, जैसा कि आप इसके नाम से समझ सकते हैं, किसी भी मशीन लर्निंग मॉडल पर लागू किया जा सकता है। लीम एक अपेक्षाकृत नया दृष्टिकोण है, यह मशीन सीखने के संचालन को समझाने के प्रयास में एक महत्वपूर्ण कदम है।

लक्षणों का महत्व

संकेतों का महत्व आपको पूर्वानुमान के उद्देश्य से प्रत्येक संकेत के संबंध को देखने की अनुमति देता है। इस पद्धति का तकनीकी विवरण जटिल है ( किसी गुण के शामिल होने के कारण त्रुटि में कमी या त्रुटि में कमी का मतलब है ), लेकिन हम यह समझने के लिए सापेक्ष मूल्यों का उपयोग कर सकते हैं कि कौन से लक्षण अधिक प्रासंगिक हैं। स्किकिट-लर्न में, आप किसी भी पेड़-आधारित "छात्र" कलाकारों की टुकड़ी से विशेषताओं के महत्व को निकाल सकते हैं।

नीचे दिए गए कोड में, model हमारा प्रशिक्षित मॉडल है, और model.feature_importances_ का उपयोग model.feature_importances_ आप विशेषताओं के महत्व को निर्धारित कर सकते हैं। फिर हम उन्हें पंडों के डेटा फ्रेम में भेजते हैं और 10 सबसे महत्वपूर्ण विशेषताओं को प्रदर्शित करते हैं:

 import pandas as pd # model is the trained model importances = model.feature_importances_ # train_features is the dataframe of training features feature_list = list(train_features.columns) # Extract the feature importances into a dataframe feature_results = pd.DataFrame({'feature': feature_list,'importance': importances}) # Show the top 10 most important feature_results = feature_results.sort_values('importance',ascending = False).reset_index(drop=True) feature_results.head(10)

सबसे महत्वपूर्ण विशेषताएं Site EUI ( ऊर्जा खपत तीव्रता ) और Weather Normalized Site Electricity Intensity , कुल महत्व के 66% से अधिक के लिए लेखांकन हैं। पहले से ही तीसरी विशेषता में, महत्व नाटकीय रूप से गिरता है, इससे पता चलता है कि हमें उच्च पूर्वानुमान सटीकता प्राप्त करने के लिए सभी 64 विशेषताओं का उपयोग करने की आवश्यकता नहीं है ( जुपिटर नोटबुक में इस सिद्धांत का केवल 10 सबसे महत्वपूर्ण विशेषताओं का उपयोग करके परीक्षण किया गया है, और मॉडल बहुत सटीक नहीं था)।

इन परिणामों के आधार पर, प्रारंभिक प्रश्नों में से एक का अंत में उत्तर दिया जा सकता है: एनर्जी स्टार स्कोर के सबसे महत्वपूर्ण संकेतक साइट ईयूआई और मौसम सामान्यीकृत साइट विद्युत तीव्रता हैं। हम विशेषताओं के महत्व के जंगल में बहुत गहराई तक नहीं जाएंगे, हम केवल यह कहेंगे कि उनके साथ आप मॉडल द्वारा पूर्वानुमान तंत्र को समझना शुरू कर सकते हैं।

एकल निर्णय वृक्ष का दृश्य

ग्रेडिएंट बूस्टिंग के आधार पर पूरे रिग्रेशन मॉडल को समझना कठिन है, जिसे व्यक्तिगत निर्णय पेड़ों के बारे में नहीं कहा जा सकता है। आप Scikit-Learn- export_graphviz का उपयोग करके किसी भी पेड़ की कल्पना कर सकते हैं। पहले, पहनावा से पेड़ को निकालें, और फिर इसे एक डॉट-फाइल के रूप में सहेजें:

 from sklearn import tree # Extract a single tree (number 105) single_tree = model.estimators_[105][0] # Save the tree to a dot file tree.export_graphviz(single_tree, out_file = 'images/tree.dot', feature_names = feature_list)

ग्राफविज़ विज़ुअलाइज़र का उपयोग करके टाइप करके पीएनजी-फ़ाइल को पीएनजी में परिवर्तित करें:

dot -Tpng images/tree.dot -o images/tree.png

पूर्ण निर्णय का पेड़ मिला:

थोड़ा बोझिल! हालाँकि यह पेड़ केवल 6 परतों वाला है, लेकिन सभी संक्रमणों को ट्रैक करना मुश्किल है। चलो export_graphviz फ़ंक्शन export_graphviz बदलें और पेड़ की गहराई को दो परतों तक सीमित export_graphviz :

पेड़ के प्रत्येक नोड (आयत) में चार लाइनें होती हैं:

किसी विशेष आयाम के संकेतों में से एक के मूल्य के बारे में प्रश्न पूछा गया: यह इस बात पर निर्भर करता है कि हम इस नोड से बाहर किस दिशा में निकलेंगे।
Mse नोड में त्रुटि का एक माप है।
Samples - नोड में डेटा नमूनों (माप) की संख्या।
Value - नोड में सभी डेटा नमूनों के लिए लक्ष्य मूल्यांकन।

अलग नोड।

(पत्तियां केवल 2.4 होती हैं। क्योंकि वे अंतिम स्कोर का प्रतिनिधित्व करती हैं और बच्चे के पास नहीं हैं)।

निर्णय पेड़ में दिए गए माप के लिए पूर्वानुमान शीर्ष नोड से शुरू होता है - जड़, और फिर पेड़ से नीचे उतरता है। प्रत्येक नोड में, आपको पूछे गए प्रश्न का उत्तर "हां" या "नहीं" देने की आवश्यकता है। उदाहरण के लिए, पिछला चित्रण पूछता है: "क्या साइट ईयूआई 68.95 के बराबर या उससे कम है?" यदि हाँ, एल्गोरिथ्म सही बाल नोड में जाता है, यदि नहीं, तो बाईं ओर।

यह प्रक्रिया पेड़ की प्रत्येक परत पर दोहराई जाती है जब तक कि एल्गोरिथ्म आखिरी परत पर पत्ती के नोड तक नहीं पहुंचता (इन नोड्स को कम पेड़ के साथ चित्रण में नहीं दिखाया गया है)। वर्कशीट में किसी भी आयाम के लिए पूर्वानुमान value । यदि शीट में कई माप आते हैं, तो उनमें से प्रत्येक को समान पूर्वानुमान प्राप्त होगा। जैसे-जैसे पेड़ की गहराई बढ़ेगी, प्रशिक्षण के आंकड़ों में त्रुटि कम होती जाएगी, क्योंकि अधिक पत्ते होंगे और नमूनों को अधिक सावधानी से विभाजित किया जाएगा। हालांकि, एक पेड़ जो बहुत गहरा है, प्रशिक्षण डेटा पर मुकर जाएगा और परीक्षण डेटा को सामान्य करने में सक्षम नहीं होगा।

दूसरे लेख में, हमने प्रत्येक मॉडल को नियंत्रित करने वाले मॉडल हाइपरपरमेटर्स की संख्या निर्धारित की है, उदाहरण के लिए, पेड़ की अधिकतम गहराई और प्रत्येक शीट के लिए आवश्यक नमूनों की न्यूनतम संख्या। ये दो पैरामीटर ओवर- और अंडर-लर्निंग के बीच संतुलन को दृढ़ता से प्रभावित करते हैं, और निर्णय ट्री के विज़ुअलाइज़ेशन से हमें यह समझने में मदद मिलेगी कि ये सेटिंग्स कैसे काम करती हैं।

यद्यपि हम मॉडल के सभी पेड़ों का अध्ययन नहीं कर सकते हैं, उनमें से एक का विश्लेषण यह समझने में मदद करेगा कि प्रत्येक "छात्र" कैसे भविष्यवाणी करता है। यह फ़्लोचार्ट-आधारित पद्धति बहुत ही समान है कि कोई व्यक्ति कैसे निर्णय लेता है। निर्णय पेड़ों के समूह कई व्यक्तिगत पेड़ों के पूर्वानुमानों को जोड़ते हैं, जो आपको कम परिवर्तनशीलता के साथ अधिक सटीक मॉडल बनाने की अनुमति देता है। इस तरह के पहनावा बहुत सटीक और समझाने में आसान होते हैं।

स्थानीय व्याख्यात्मक मॉडल निर्भर स्पष्टीकरण (सीमा)

आखिरी टूल जिसके साथ आप यह पता लगाने की कोशिश कर सकते हैं कि हमारा मॉडल "कैसे सोचता है"। लीम आपको यह समझाने की अनुमति देता है कि किसी भी मशीन लर्निंग मॉडल के लिए एकल पूर्वानुमान कैसे उत्पन्न होता है । ऐसा करने के लिए, स्थानीय रूप से, कुछ माप के बगल में, एक सरल मॉडल को एक साधारण मॉडल के आधार पर बनाया जाता है जैसे रैखिक प्रतिगमन (विवरण इस काम में वर्णित हैं: https://arxiv.org/pdf/1602.04938.pdf )।

हम अपने मॉडल के पूरी तरह से गलत पूर्वानुमान का अध्ययन करने और यह समझने के लिए कि यह गलत क्यों है, हम लिमई पद्धति का उपयोग करेंगे।

पहले हमें यह गलत पूर्वानुमान लगता है। ऐसा करने के लिए, हम मॉडल को प्रशिक्षित करेंगे, एक पूर्वानुमान उत्पन्न करेंगे और सबसे बड़ी त्रुटि के साथ मूल्य का चयन करेंगे:

 from sklearn.ensemble import GradientBoostingRegressor # Create the model with the best hyperparamters model = GradientBoostingRegressor(loss='lad', max_depth=5, max_features=None, min_samples_leaf=6, min_samples_split=6, n_estimators=800, random_state=42) # Fit and test on the features model.fit(X, y) model_pred = model.predict(X_test) # Find the residuals residuals = abs(model_pred - y_test) # Extract the most wrong prediction wrong = X_test[np.argmax(residuals), :] print('Prediction: %0.4f' % np.argmax(residuals)) print('Actual Value: %0.4f' % y_test[np.argmax(residuals)])

भविष्यवाणी: 12.8615
वास्तविक मूल्य: 100.0000

फिर हम एक व्याख्याकार बनाते हैं और इसे प्रशिक्षण डेटा, मोड जानकारी, प्रशिक्षण डेटा के लिए लेबल और विशेषताओं के नाम देते हैं। अब आप व्याख्याकार को अवलोकन डेटा और पूर्वानुमान फ़ंक्शन पर पास कर सकते हैं, और फिर उन्हें पूर्वानुमान त्रुटि का कारण बताने के लिए कह सकते हैं।

 import lime # Create a lime explainer object explainer = lime.lime_tabular.LimeTabularExplainer(training_data = X, mode = 'regression', training_labels = y, feature_names = feature_list) # Explanation for wrong prediction exp = explainer.explain_instance(data_row = wrong, predict_fn = model.predict) # Plot the prediction explaination exp.as_pyplot_figure();

पूर्वानुमान चार्ट:

आरेख की व्याख्या कैसे करें: वाई अक्ष के साथ प्रत्येक रिकॉर्ड चर के एक मूल्य को इंगित करता है, और लाल और हरे रंग की पट्टियां पूर्वानुमान पर इस मूल्य के प्रभाव को दर्शाती हैं। उदाहरण के लिए, ऊपरी रिकॉर्ड के अनुसार, Site EUI ईयूआई का प्रभाव 95.90 से अधिक है, परिणामस्वरूप, पूर्वानुमान से लगभग 40 अंक घटाए जाते हैं। दूसरे रिकॉर्ड के अनुसार, Weather Normalized Site Electricity Intensity प्रभाव 3.80 से कम है, और इसलिए पूर्वानुमान में लगभग 10 अंक जोड़े जाते हैं। अंतिम पूर्वानुमान इंटरसेप्ट का योग और सूचीबद्ध मूल्यों में से प्रत्येक का प्रभाव है।

आइए इसे दूसरे तरीके से देखें और .show_in_notebook() विधि को कॉल करें:

 # Show the explanation in the Jupyter Notebook exp.show_in_notebook()

मॉडल द्वारा निर्णय लेने की प्रक्रिया को बाईं ओर दिखाया गया है: प्रत्येक चर के पूर्वानुमान पर प्रभाव नेत्रहीन रूप से प्रदर्शित किया जाता है। दाईं ओर तालिका किसी दिए गए माप के लिए चर के वास्तविक मूल्यों को दर्शाती है।

इस मामले में, मॉडल ने 12 बिंदुओं के बारे में भविष्यवाणी की, लेकिन वास्तव में यह 100 था। सबसे पहले आप आश्चर्यचकित हो सकते हैं कि ऐसा क्यों हुआ, लेकिन यदि आप स्पष्टीकरण का विश्लेषण करते हैं, तो यह पता चलता है कि यह एक अत्यंत साहसिक धारणा नहीं है, लेकिन विशिष्ट मूल्यों पर आधारित गणना परिणाम है। Site EUI अपेक्षाकृत अधिक थी और कोई भी कम ऊर्जा स्टार स्कोर की उम्मीद कर सकता था (क्योंकि यह यूरोपीय संघ से बहुत प्रभावित है), जो हमारे मॉडल ने किया था। लेकिन इस मामले में, यह तर्क गलत निकला, क्योंकि वास्तव में इमारत को उच्चतम ऊर्जा स्टार स्कोर - 100 प्राप्त हुआ था।

मॉडल त्रुटियां आपको परेशान कर सकती हैं, लेकिन ऐसे स्पष्टीकरण आपको यह समझने में मदद करेंगे कि मॉडल गलत क्यों था। इसके अलावा, स्पष्टीकरण के लिए धन्यवाद, आप खुदाई शुरू कर सकते हैं कि इमारत को उच्च साइट ईयूआई के बावजूद उच्चतम स्कोर क्यों मिला। शायद हम अपने काम के बारे में कुछ नया सीखेंगे, जो कि मॉडल त्रुटियों का विश्लेषण शुरू नहीं करने पर हमारा ध्यान हटा देगा। ऐसे उपकरण आदर्श नहीं हैं, लेकिन वे मॉडल की समझ को बहुत आसान कर सकते हैं और बेहतर निर्णय ले सकते हैं ।

काम का दस्तावेजीकरण और परिणामों की प्रस्तुति

कई परियोजनाएँ प्रलेखन और रिपोर्टों पर बहुत कम ध्यान देती हैं। आप दुनिया में सबसे अच्छा विश्लेषण कर सकते हैं, लेकिन यदि आप परिणामों को ठीक से प्रस्तुत नहीं करते हैं, तो वे कोई फर्क नहीं पड़ेगा!

डेटा विश्लेषण परियोजना का दस्तावेज़ीकरण करके, हम डेटा और कोड के सभी संस्करणों को पैक करते हैं ताकि अन्य लोग परियोजना को पुन: पेश या एकत्र कर सकें। याद रखें कि कोड लिखित की तुलना में अधिक बार पढ़ा जाता है, इसलिए हमारा काम अन्य लोगों के लिए, और हमारे लिए स्पष्ट होना चाहिए, अगर हम कुछ महीनों में इसे वापस कर देते हैं। इसलिए, कोड में उपयोगी टिप्पणियां डालें और अपने फैसले समझाएं। जुपिटर नोटबुक दस्तावेज़ीकरण के लिए एक महान उपकरण हैं, वे आपको पहले समाधान बताते हैं और फिर कोड दिखाते हैं।

इसके अलावा, जुपिटर नोटबुक अन्य विशेषज्ञों के साथ बातचीत करने के लिए एक अच्छा मंच है। नोटबुक्स के लिए एक्सटेंशन का उपयोग करके , आप अंतिम रिपोर्ट से कोड छिपा सकते हैं , क्योंकि कोई फर्क नहीं पड़ता कि यह विश्वास करना कितना मुश्किल है, हर कोई दस्तावेज़ में कोड का एक गुच्छा नहीं देखना चाहता है!

आप एक निचोड़ नहीं बनाना चाहते हैं, लेकिन सभी विवरण दिखा सकते हैं। हालांकि, अपने प्रोजेक्ट को पेश करते समय अपने दर्शकों को समझना महत्वपूर्ण है , और तदनुसार एक रिपोर्ट तैयार करें । यहाँ हमारी परियोजना के सार का एक उदाहरण है:

न्यूयॉर्क में इमारतों की ऊर्जा खपत पर डेटा का उपयोग करते हुए, आप एक मॉडल बना सकते हैं जो 9.1 अंकों की त्रुटि के साथ ऊर्जा स्टार अंक की संख्या की भविष्यवाणी करता है।
साइट ईयूआई और मौसम सामान्यीकृत बिजली की तीव्रता पूर्वानुमान को प्रभावित करने वाले मुख्य कारक हैं।

हमने जुपिटर नोटबुक में एक विस्तृत विवरण और निष्कर्ष लिखा था, लेकिन पीडीएफ के बजाय, हमने .tex फ़ाइल को लेटेक्स में बदल दिया, जिसे हमने तब टेक्सस्टडियो में संपादित किया, और परिणामस्वरूप संस्करण पीडीएफ में परिवर्तित हो गया । तथ्य यह है कि Jupyter से PDF तक का डिफ़ॉल्ट निर्यात परिणाम काफी सभ्य दिखता है, लेकिन इसे संपादन के कुछ ही मिनटों में बहुत सुधार किया जा सकता है। इसके अलावा, लेटेक्स एक शक्तिशाली दस्तावेज़ तैयारी प्रणाली है जो स्वयं के लिए उपयोगी है।

अंततः, हमारे काम का मूल्य उन निर्णयों से निर्धारित होता है जो इसे बनाने में मदद करता है, और "व्यक्ति में सामान वितरित करने" में सक्षम होना बहुत महत्वपूर्ण है। सही ढंग से दस्तावेज़ीकरण करके, हम अन्य लोगों को हमारे परिणामों को पुन: पेश करने में मदद करते हैं और हमें प्रतिक्रिया देते हैं, जो हमें अधिक अनुभवी बनने और भविष्य में प्राप्त परिणामों पर भरोसा करने की अनुमति देगा।

निष्कर्ष

हमारे प्रकाशनों की श्रृंखला में, हमने शुरू से अंत तक मशीन लर्निंग ट्यूटोरियल को कवर किया है। हमने डेटा को साफ करके शुरू किया, फिर एक मॉडल बनाया, और अंत में हमने सीखा कि इसकी व्याख्या कैसे करें। मशीन लर्निंग प्रोजेक्ट की सामान्य संरचना को याद करें:

डेटा की सफाई और स्वरूपण।
व्याख्यात्मक डेटा विश्लेषण।
डिजाइन और सुविधाओं का चयन।
कई मशीन लर्निंग मॉडल के मेट्रिक्स की तुलना।
सर्वश्रेष्ठ मॉडल की हाइपरपैराट्रिक ट्यूनिंग।
परीक्षण डेटा सेट पर सर्वश्रेष्ठ मॉडल का मूल्यांकन।
मॉडल के परिणामों की व्याख्या।
निष्कर्ष और अच्छी तरह से प्रलेखित रिपोर्ट।

प्रोजेक्ट के आधार पर चरणों का सेट अलग-अलग हो सकता है, और मशीन लर्निंग रैखिक के बजाय अक्सर पुनरावृत्त होता है, इसलिए यह मार्गदर्शिका आपको भविष्य में मदद करेगी। हमें उम्मीद है कि आप अब आत्मविश्वास से अपनी परियोजनाओं को लागू कर सकते हैं, लेकिन याद रखें: कोई भी अकेले काम नहीं करता है! यदि आपको सहायता की आवश्यकता है, तो कई बहुत उपयोगी समुदाय हैं जहाँ आपको सलाह दी जाएगी।

ये स्रोत आपकी मदद कर सकते हैं:

हैंड्स-ऑन मशीन लर्निंग विद स्किकिट-लर्न एंड टेन्सरफ्लो ( इस पुस्तक के लिए ज्यूपिटर नोटबुक एक मुफ्त में उपलब्ध है)!
सांख्यिकीय सीखना का एक परिचय
कागल: द होम ऑफ डेटा साइंस एंड मशीन लर्निंग
डाटाकैम्प : डेटा विश्लेषण प्रोग्रामिंग के लिए अच्छे मार्गदर्शक।
कौरसेरा : कई विषयों पर मुफ्त और सशुल्क पाठ्यक्रम।
Udacity : प्रोग्रामिंग और डेटा विश्लेषण पर भुगतान किए गए पाठ्यक्रम।