🏝️ 🌵 🐼 हम पायथन में मशीन लर्निंग प्रोजेक्ट कर रहे हैं। भाग 1 🍰 🎣 🎞️

पाइथन में एक पूर्ण मशीन लर्निंग प्रोजेक्ट वॉक-थ्रू का अनुवाद : भाग एक ।

जब आप एक पुस्तक पढ़ते हैं या डेटा विश्लेषण के बारे में एक प्रशिक्षण पाठ्यक्रम सुनते हैं, तो आप अक्सर महसूस करते हैं कि आप एक तस्वीर के कुछ अलग हिस्सों का सामना कर रहे हैं जिन्हें एक साथ नहीं रखा जा सकता है। अगला कदम उठाने और मशीन सीखने की मदद से किसी समस्या को पूरी तरह से हल करने की संभावना से आप डर सकते हैं, लेकिन लेखों की इस श्रृंखला की मदद से आप डेटा विज्ञान के क्षेत्र में किसी भी समस्या को हल करने की क्षमता में विश्वास हासिल करेंगे।

अंत में आपके सिर में एक पूरी तस्वीर होने के लिए, हम वास्तविक डेटा का उपयोग करके मशीन लर्निंग का उपयोग करने की परियोजना को पूरा करने के लिए शुरू से विश्लेषण करने का सुझाव देते हैं।

सफलतापूर्वक चरणों के माध्यम से जाना:

डेटा की सफाई और स्वरूपण।
व्याख्यात्मक डेटा विश्लेषण।
डिजाइन और सुविधाओं का चयन।
कई मशीन लर्निंग मॉडल के मेट्रिक्स की तुलना।
सर्वश्रेष्ठ मॉडल की हाइपरपैराट्रिक ट्यूनिंग।
एक परीक्षण डेटा सेट पर सर्वश्रेष्ठ मॉडल का मूल्यांकन।
मॉडल के परिणामों की व्याख्या।
निष्कर्ष और दस्तावेजों के साथ काम करते हैं।

आप सीखेंगे कि चरणों को एक दूसरे में कैसे जाना है और उन्हें पायथन में कैसे लागू किया जाए। पूरा प्रोजेक्ट GitHub पर उपलब्ध है, पहला भाग यहाँ स्थित है। इस लेख में हम पहले तीन चरणों पर विचार करेंगे।

कार्य विवरण

कोड लिखने से पहले, आपको हल की जा रही समस्या और उपलब्ध आंकड़ों को समझने की आवश्यकता है। इस परियोजना में, हम न्यूयॉर्क में इमारतों के लिए सार्वजनिक रूप से उपलब्ध ऊर्जा दक्षता डेटा के साथ काम करेंगे।

हमारा लक्ष्य: एक मॉडल बनाने के लिए उपलब्ध डेटा का उपयोग करना जो किसी विशेष इमारत के लिए ऊर्जा स्टार स्कोर की संख्या की भविष्यवाणी करता है, और अंतिम स्कोर को प्रभावित करने वाले कारकों को खोजने के लिए परिणामों की व्याख्या करता है।

डेटा में पहले से ही एनर्जी स्टार स्कोर शामिल है, इसलिए हमारा कार्य नियंत्रित प्रतिगमन के साथ मशीन लर्निंग है:

पर्यवेक्षित: हम संकेतों और उद्देश्य को जानते हैं, और हमारा कार्य एक मॉडल को प्रशिक्षित करना है जो पहले की तुलना दूसरे के साथ कर सकता है।
रिग्रेशन: एनर्जी स्टार स्कोर एक निरंतर परिवर्तनशील है।

हमारे मॉडल को सटीक होना चाहिए - ताकि यह एनर्जी स्टार स्कोर के मूल्य की भविष्यवाणी सही - और व्याख्यात्मक के करीब कर सके - ताकि हम इसकी भविष्यवाणियों को समझ सकें। लक्ष्य डेटा को जानते हुए, हम निर्णय लेते समय उनका उपयोग कर सकते हैं क्योंकि हम डेटा में गहराई से जाते हैं और मॉडल बनाते हैं।

डेटा की सफाई

हर डेटा सेट विसंगतियों और लापता मूल्यों ( mtcars और आईरिस डेटासेट पर एक संकेत) के बिना, टिप्पणियों का एक पूरी तरह से मिलान सेट है। वास्तविक डेटा में, थोड़ा आदेश होता है, इसलिए विश्लेषण शुरू करने से पहले, आपको इसे खाली करने और स्वीकार्य प्रारूप में लाने की आवश्यकता है। अधिकांश डेटा विश्लेषण कार्यों को हल करने में डेटा की सफाई एक अप्रिय लेकिन अनिवार्य प्रक्रिया है।

सबसे पहले, आप पंडों के डेटाफ्रेम के रूप में डेटा को लोड कर सकते हैं और उनकी जांच कर सकते हैं:

import pandas as pd import numpy as np # Read in data into a dataframe data = pd.read_csv('data/Energy_and_Water_Data_Disclosure_for_Local_Law_84_2017__Data_for_Calendar_Year_2016_.csv') # Display top of dataframe data.head()

यह वास्तविक डेटा दिखता है।

यह 60 स्तंभों की तालिका का एक टुकड़ा है। यहां भी, कई समस्याएं दिखाई देती हैं: हमें Energy Star Score भविष्यवाणी करने की आवश्यकता है, लेकिन हमें नहीं पता कि इन सभी कॉलमों का क्या मतलब है। हालांकि यह जरूरी समस्या नहीं है, क्योंकि आप अक्सर चर के बारे में कुछ भी जानने के बिना एक सटीक मॉडल बना सकते हैं। लेकिन व्याख्या हमारे लिए महत्वपूर्ण है, इसलिए हमें कम से कम कुछ स्तंभों के अर्थ का पता लगाने की आवश्यकता है।

जब हमें यह डेटा मिला, तो हमने मूल्यों के बारे में नहीं पूछा, लेकिन फ़ाइल नाम पर गौर किया:

और "स्थानीय कानून 84" की खोज करने का निर्णय लिया। हमें यह पृष्ठ मिला, जिसमें कहा गया था कि यह एक न्यूयॉर्क कानून था, जिसके अनुसार एक निश्चित आकार के सभी भवनों के मालिकों को ऊर्जा की खपत पर रिपोर्ट करनी चाहिए। एक और खोज ने सभी स्तंभ मानों को खोजने में मदद की। इसलिए फ़ाइल नामों की उपेक्षा न करें, वे एक अच्छा प्रारंभिक बिंदु हो सकते हैं। इसके अलावा, यह एक अनुस्मारक है कि आप जल्दी मत करो और कुछ महत्वपूर्ण याद मत करो!

हम सभी स्तंभों का अध्ययन नहीं करेंगे, लेकिन हम निश्चित रूप से एनर्जी स्टार स्कोर से निपटेंगे, जो इस प्रकार है:

पर्सेंटाइल रैंकिंग 1 से 100 तक है, जिसकी गणना भवन मालिकों द्वारा स्वयं ऊर्जा खपत पर वार्षिक रिपोर्ट के आधार पर की जाती है। एनर्जी स्टार स्कोर एक सापेक्ष माप है जिसका उपयोग इमारतों के ऊर्जा प्रदर्शन की तुलना करने के लिए किया जाता है।

पहली समस्या हल हो गई, लेकिन दूसरी बनी रही - गायब मान, "उपलब्ध नहीं" के रूप में चिह्नित। यह पायथन में एक स्ट्रिंग मान है, जिसका अर्थ है कि संख्याओं के साथ तार भी object डेटा प्रकारों के रूप में संग्रहीत किए जाएंगे, क्योंकि यदि स्तंभ में कोई स्ट्रिंग है, तो पांडस इसे एक स्तंभ में परिवर्तित करता है जिसमें पूरी तरह से स्ट्रिंग होते हैं। स्तंभ डेटा प्रकार dataframe.info() विधि का उपयोग करके पाया जा सकता है:

 # See the column data types and non-missing values data.info()

निश्चित रूप से कुछ कॉलम जिनमें स्पष्ट रूप से संख्याएँ होती हैं (जैसे ft are) वस्तुओं के रूप में संग्रहीत की जाती हैं। हम स्ट्रिंग मानों के लिए संख्यात्मक विश्लेषण लागू नहीं कर सकते हैं, इसलिए हम उन्हें संख्यात्मक डेटा प्रकारों (विशेष रूप से float ) में परिवर्तित करते हैं!

यह कोड पहले सभी "नॉट अवेलेबल" को एक नंबर ( np.nan ) से बदल देता है, जिसे संख्या के रूप में व्याख्या किया जा सकता है, और फिर कुछ कॉलम की सामग्री को एक float प्रकार में परिवर्तित करता है:

 # Replace all occurrences of Not Available with numpy not a number data = data.replace({'Not Available': np.nan}) # Iterate through the columns for col in list(data.columns): # Select columns that should be numeric if ('ft²' in col or 'kBtu' in col or 'Metric Tons CO2e' in col or 'kWh' in col or 'therms' in col or 'gal' in col or 'Score' in col): # Convert the data type to float data[col] = data[col].astype(float)

जब हमारे साथ संबंधित कॉलम में मान संख्या बन जाते हैं, तो हम डेटा की जांच करना शुरू कर सकते हैं।

गुम और असामान्य डेटा

गलत डेटा प्रकारों के साथ, सबसे आम समस्याओं में से एक लापता मान है। वे विभिन्न कारणों से अनुपस्थित हो सकते हैं, और मॉडल को प्रशिक्षित करने से पहले, इन मूल्यों को या तो भरा जाना चाहिए या हटा दिया जाना चाहिए। पहले, आइए जानें कि प्रत्येक कॉलम में हमारे पास कितने मान हैं ( कोड यहां है )।

एक तालिका बनाने के लिए, StackOverflow पर एक शाखा से एक फ़ंक्शन का उपयोग किया गया था ।

जानकारी को हमेशा सावधानी के साथ हटाया जाना चाहिए, और यदि स्तंभ में कई मान हैं, तो संभवतः यह हमारे मॉडल को लाभ नहीं देगा। वह सीमा जिसके बाद स्तंभों को बाहर फेंकना बेहतर होता है, आपके कार्य पर निर्भर करता है ( यहां एक चर्चा है ), और हमारी परियोजना में हम उन स्तंभों को हटा देंगे जो आधे से अधिक खाली हैं।

इस स्तर पर भी असामान्य मूल्यों को दूर करना बेहतर है। डेटा दर्ज करते समय या माप की इकाइयों में त्रुटियों के कारण वे टाइपोस के कारण हो सकते हैं, या वे सही हो सकते हैं, लेकिन चरम मान। इस मामले में, हम "अतिरिक्त" मूल्यों को हटा देंगे, चरम विसंगतियों की परिभाषा द्वारा निर्देशित:

पहली चतुर्थक के नीचे एक 3 ile इंटरक्वेर्टाइल रेंज है।
तीसरे चतुर्थक से ऊपर + 3 third इंटरक्वेर्टाइल रेंज।

कॉलम और विसंगतियों को दूर करने वाले कोड को जीथूब पर नोटपैड पर सूचीबद्ध किया गया है। डेटा क्लींजिंग प्रक्रिया पूरी होने और विसंगतियों को दूर करने पर, हमारे पास 11,000 से अधिक भवन और 49 संकेत हैं।

व्याख्यात्मक डेटा विश्लेषण

डेटा सफाई का उबाऊ, लेकिन आवश्यक चरण समाप्त हो गया है, आप अध्ययन के लिए जा सकते हैं! खोजपूर्ण डेटा विश्लेषण (आरएडी) एक असीमित समय प्रक्रिया है जिसके दौरान हम आंकड़ों की गणना करते हैं और डेटा में रुझान, विसंगतियों, पैटर्न या संबंधों की तलाश करते हैं।

संक्षेप में, आरएडी यह पता लगाने का एक प्रयास है कि डेटा हमें क्या बता सकता है। आमतौर पर, विश्लेषण सतह की समीक्षा के साथ शुरू होता है, फिर हम दिलचस्प टुकड़े ढूंढते हैं और उन्हें और अधिक विस्तार से विश्लेषण करते हैं। निष्कर्ष अपने आप में दिलचस्प हो सकते हैं, या वे मॉडल की पसंद में योगदान कर सकते हैं, यह तय करने में मदद करते हैं कि हम किन विशेषताओं का उपयोग करेंगे।

एकल-चर रेखांकन

हमारा लक्ष्य ऊर्जा स्टार स्कोर (हमारे डेटा में हमारे score नाम) के मूल्य की भविष्यवाणी करना है, इसलिए यह इस चर के वितरण की जांच करके शुरू करने के लिए समझ में आता है। एक हिस्टोग्राम एक एकल चर के वितरण की कल्पना करने का एक सरल लेकिन प्रभावी तरीका है, और इसे आसानी से matplotlib का उपयोग करके बनाया जा सकता है।

 import matplotlib.pyplot as plt # Histogram of the Energy Star Score plt.style.use('fivethirtyeight') plt.hist(data['score'].dropna(), bins = 100, edgecolor = 'k'); plt.xlabel('Score'); plt.ylabel('Number of Buildings'); plt.title('Energy Star Score Distribution');

संदिग्ध लग रहा है! एनर्जी स्टार स्कोर एक प्रतिशत है, इसलिए आपको समान वितरण की उम्मीद करनी चाहिए जब प्रत्येक बिंदु को समान संख्या में भवनों को सौंपा जाए। हालाँकि, एक बड़ी संख्या में इमारतों को उच्चतम और निम्नतम परिणाम प्राप्त हुए (ऊर्जा स्टार स्कोर के लिए, जितना बड़ा उतना ही बेहतर)।

अगर हम फिर से इस स्कोर की परिभाषा को देखते हैं, तो हम देखेंगे कि इसकी गणना "भवन स्वामियों द्वारा स्वतंत्र रूप से भरी गई रिपोर्ट" के आधार पर की जाती है, जो बहुत बड़े मूल्यों की अधिकता को समझा सकती है। भवन मालिकों से उनकी ऊर्जा खपत की रिपोर्ट करने के लिए कहना छात्रों को परीक्षा में अपने ग्रेड की रिपोर्ट करने के लिए कहने जैसा है। तो यह शायद अचल संपत्ति की ऊर्जा दक्षता का आकलन करने के लिए सबसे उद्देश्य मानदंड नहीं है।

यदि हमारे पास समय की असीमित आपूर्ति होती, तो हम यह पता लगा सकते थे कि इतनी सारी इमारतों को बहुत अधिक और बहुत कम अंक मिले। ऐसा करने के लिए, हमें उपयुक्त इमारतों को चुनना होगा और उनका सावधानीपूर्वक विश्लेषण करना होगा। लेकिन हमें केवल सीखने की ज़रूरत है कि स्कोर का पूर्वानुमान कैसे लगाया जाए, और अधिक सटीक मूल्यांकन पद्धति विकसित नहीं की जाए। आप अपने आप को चिह्नित कर सकते हैं कि अंकों का एक संदिग्ध वितरण है, लेकिन हम पूर्वानुमान पर ध्यान केंद्रित करेंगे।

संबंध खोज

एएचएफआर का मुख्य हिस्सा संकेतों और हमारे लक्ष्य के बीच संबंध की खोज है। इसके साथ संबंध रखने वाले चर मॉडल में उपयोग के लिए उपयोगी होते हैं, क्योंकि उनका उपयोग पूर्वानुमान के लिए किया जा सकता है। लक्ष्य पर एक श्रेणीगत चर (जो केवल मूल्यों का एक सीमित सेट लेता है) के प्रभाव का अध्ययन करने का एक तरीका है, सीबर्न लाइब्रेरी का उपयोग करके घनत्व को प्लॉट करना।

घनत्व ग्राफ को एक स्मूथ हिस्टोग्राम माना जा सकता है क्योंकि यह एकल चर के वितरण को दर्शाता है। आप ग्राफ़ पर अलग-अलग कक्षाओं को देख सकते हैं कि एक श्रेणीगत परिवर्तनशील वितरण कैसे बदलता है। यह कोड एनर्जी स्टार स्कोर घनत्व चार्ट प्लॉट करता है, जो इमारत के प्रकार के अनुसार रंगीन है (100 से अधिक आयामों वाली इमारतों की सूची के लिए):

 # Create a list of buildings with more than 100 measurements types = data.dropna(subset=['score']) types = types['Largest Property Use Type'].value_counts() types = list(types[types.values > 100].index) # Plot of distribution of scores for building categories figsize(12, 10) # Plot each building for b_type in types: # Select the building type subset = data[data['Largest Property Use Type'] == b_type] # Density plot of Energy Star Scores sns.kdeplot(subset['score'].dropna(), label = b_type, shade = False, alpha = 0.8); # label the plot plt.xlabel('Energy Star Score', size = 20); plt.ylabel('Density', size = 20); plt.title('Density Plot of Energy Star Scores by Building Type', size = 28);

जैसा कि आप देख सकते हैं, भवन का प्रकार अंकों की संख्या को बहुत प्रभावित करता है। कार्यालय भवनों में आमतौर पर उच्च स्कोर और होटल कम होते हैं। इसलिए आपको मॉडल में इमारत के प्रकार को शामिल करने की आवश्यकता है, क्योंकि यह संकेत हमारे लक्ष्य को प्रभावित करता है। एक स्पष्ट चर के रूप में, हमें भवन प्रकार का एक-गर्म कोडिंग करना चाहिए।

शहर जिले द्वारा ऊर्जा स्टार स्कोर का अनुमान लगाने के लिए एक समान ग्राफ का उपयोग किया जा सकता है:

क्षेत्र भवन के प्रकार के रूप में स्कोर को प्रभावित नहीं करता है। फिर भी, हम इसे मॉडल में शामिल करेंगे, क्योंकि क्षेत्रों के बीच थोड़ा अंतर है।

चर के बीच संबंध की गणना करने के लिए, आप पियर्सन सहसंबंध गुणांक का उपयोग कर सकते हैं। यह दो चरों के बीच एक रैखिक संबंध की तीव्रता और दिशा का माप है। +1 के मान का मतलब पूरी तरह से रैखिक सकारात्मक संबंध है, और -1 का अर्थ है एक पूरी तरह से रैखिक नकारात्मक संबंध। यहाँ पियरसन सहसंबंध गुणांक मूल्यों के कुछ उदाहरण हैं:

हालांकि यह गुणांक गैर-निर्भरता को प्रतिबिंबित नहीं कर सकता है, लेकिन चर के संबंधों का मूल्यांकन करने के लिए इसके साथ शुरू करना संभव है। पंडों में, आप डेटाफ़्रेम में किसी भी कॉलम के बीच आसानी से सहसंबंधों की गणना कर सकते हैं:

 # Find all correlations with the score and sort correlations_data = data.corr()['score'].sort_values()

लक्ष्य के साथ सबसे नकारात्मक सहसंबंध:

और सबसे सकारात्मक:

विशेषताओं और लक्ष्य के बीच कई मजबूत नकारात्मक सहसंबंध हैं, और उनमें से सबसे अलग यूरोपीय संघ की श्रेणियों के हैं (इन संकेतकों की गणना करने के तरीके थोड़ा अलग हैं)। ईयूआई (एनर्जी यूज़ इंटेंसिटी ) एक वर्ग फुट क्षेत्र द्वारा विभाजित इमारत द्वारा खपत ऊर्जा की मात्रा है। इस विशिष्ट मूल्य का उपयोग ऊर्जा दक्षता का मूल्यांकन करने के लिए किया जाता है, और यह जितना छोटा होता है, उतना ही बेहतर होता है। लॉजिक बताता है कि ये सहसंबंध न्यायसंगत हैं: यदि EUI बढ़ता है, तो ऊर्जा स्टार स्कोर में गिरावट होनी चाहिए।

दो-चर रेखांकन

हम दो निरंतर चर के बीच संबंधों की कल्पना करने के लिए तितर बितर भूखंडों का उपयोग करते हैं। आप डॉट्स के रंगों में अतिरिक्त जानकारी जोड़ सकते हैं, उदाहरण के लिए, एक श्रेणीगत चर। एनर्जी स्टार स्कोर और ईयूआई के बीच संबंध नीचे दिखाया गया है, रंग विभिन्न प्रकार की इमारतों का संकेत देते हैं:

यह ग्राफ आपको -0.7 के सहसंबंध गुणांक की कल्पना करने की अनुमति देता है। जैसा कि EUI कम हो जाता है, ऊर्जा स्टार स्कोर बढ़ता है, यह संबंध विभिन्न प्रकार की इमारतों में मनाया जाता है।

हमारे नवीनतम शोध चार्ट को पेयर प्लॉट कहा जाता है। यह अलग-अलग जोड़े के चर और एकल चर के वितरण के बीच संबंधों को देखने के लिए एक महान उपकरण है। हम ऊपरी त्रिकोण में एक तितर बितर चार्ट के साथ एक जोड़ी चार्ट बनाने के लिए सीबोर्न लाइब्रेरी और पेयरग्रिड फ़ंक्शन का उपयोग करेंगे, एक विकर्ण हिस्टोग्राम, एक दो-आयामी कोर घनत्व चार्ट और निचले त्रिकोण में सहसंबंध गुणांक।

 # Extract the columns to plot plot_data = features[['score', 'Site EUI (kBtu/ft²)', 'Weather Normalized Source EUI (kBtu/ft²)', 'log_Total GHG Emissions (Metric Tons CO2e)']] # Replace the inf with nan plot_data = plot_data.replace({np.inf: np.nan, -np.inf: np.nan}) # Rename columns plot_data = plot_data.rename(columns = {'Site EUI (kBtu/ft²)': 'Site EUI', 'Weather Normalized Source EUI (kBtu/ft²)': 'Weather Norm EUI', 'log_Total GHG Emissions (Metric Tons CO2e)': 'log GHG Emissions'}) # Drop na values plot_data = plot_data.dropna() # Function to calculate correlation coefficient between two columns def corr_func(x, y, **kwargs): r = np.corrcoef(x, y)[0][1] ax = plt.gca() ax.annotate("r = {:.2f}".format(r), xy=(.2, .8), xycoords=ax.transAxes, size = 20) # Create the pairgrid object grid = sns.PairGrid(data = plot_data, size = 3) # Upper is a scatter plot grid.map_upper(plt.scatter, color = 'red', alpha = 0.6) # Diagonal is a histogram grid.map_diag(plt.hist, color = 'red', edgecolor = 'black') # Bottom is correlation and density plot grid.map_lower(corr_func); grid.map_lower(sns.kdeplot, cmap = plt.cm.Reds) # Title for entire plot plt.suptitle('Pairs Plot of Energy Data', size = 36, y = 1.02);

चरों के संबंध को देखने के लिए, पंक्तियों और स्तंभों के प्रतिच्छेदन को देखें। मान लीजिए कि आप Weather Norm EUI और score बीच संबंध को देखना चाहते हैं, तो हम Weather Norm EUI सीरीज़ और score कॉलम की तलाश करते हैं, जिसके चौराहे पर -0.67 का सहसंबंध गुणांक है। ये ग्राफ़ न केवल शांत दिखते हैं, बल्कि मॉडल के लिए चर चुनने में भी मदद करते हैं।

डिजाइन और सुविधाओं का चयन

सुविधाओं को डिजाइन करना और चुनना अक्सर मशीन सीखने पर खर्च किए गए समय के संदर्भ में सबसे बड़ा रिटर्न लाता है। पहले हम परिभाषाएँ देते हैं:

विशेषता निर्माण: कच्चे डेटा से नई विशेषताओं को निकालने या बनाने की प्रक्रिया। मॉडल में चर का उपयोग करने के लिए, आपको उन्हें बदलने की आवश्यकता हो सकती है, कह सकते हैं, प्राकृतिक लघुगणक लें, या वर्गमूल निकालें, या श्रेणीबद्ध चर की एक-गर्म कोडिंग लागू करें। विशेषता डिजाइन को कच्चे डेटा से अतिरिक्त विशेषताएं बनाने के रूप में माना जा सकता है।
फ़ीचर चयन: डेटा से सबसे अधिक प्रासंगिक सुविधाओं का चयन करने की प्रक्रिया, जिसके दौरान हम मॉडल को अधिक व्याख्यात्मक मॉडल प्राप्त करने के लिए नए डेटा को बेहतर बनाने में मदद करने के लिए कुछ सुविधाओं को हटाते हैं। संकेतों की पसंद को "अतिशयोक्ति" के निष्कासन के रूप में माना जा सकता है ताकि केवल सबसे महत्वपूर्ण अवशेष रहे।

मशीन लर्निंग मॉडल केवल हमारे द्वारा प्रदान किए गए डेटा से सीख सकता है, इसलिए यह सुनिश्चित करना बेहद महत्वपूर्ण है कि हम अपने कार्य से संबंधित सभी जानकारी शामिल करें। यदि आप मॉडल को सही डेटा प्रदान नहीं करते हैं, तो यह सीखने में सक्षम नहीं होगा और सटीक पूर्वानुमान का उत्पादन नहीं करेगा!

हम निम्नलिखित करेंगे:

श्रेणीबद्ध चर (स्वामित्व और प्रकार का स्वामित्व) एक-गर्म कोडिंग के लिए लागू है।
सभी संख्यात्मक चर के प्राकृतिक लघुगणक को जोड़ें।

मॉडल में श्रेणीबद्ध चर शामिल करने के लिए एक-गर्म कोडिंग आवश्यक है। मशीन लर्निंग एल्गोरिदम "कार्यालय" के प्रकार को समझने में सक्षम नहीं होगा, इसलिए यदि भवन एक कार्यालय है, तो हम इसे 1 का संकेत सौंपेंगे, और यदि कार्यालय नहीं है, तो 0।

रूपांतरित सुविधाओं को जोड़ने से मॉडल को डेटा के भीतर गैर-संबंध संबंधों के बारे में जानने में मदद मिलेगी। डेटा के विश्लेषण में, वर्गमूल निकालना, प्राकृतिक लघुगणक लेना या किसी भी तरह से संकेतों को बदलना सामान्य अभ्यास है , यह विशिष्ट कार्य या सर्वोत्तम तकनीकों के आपके ज्ञान पर निर्भर करता है। इस मामले में, हम सभी संख्यात्मक संकेतों के प्राकृतिक लघुगणक को जोड़ देंगे।

यह कोड संख्यात्मक संकेतों का चयन करता है, उनके लघुगणक की गणना करता है, दो श्रेणीबद्ध संकेतों का चयन करता है, उन पर एक-गर्म कोडिंग लागू करता है, और दोनों सेटों को एक में जोड़ता है। वर्णन से देखते हुए, बहुत काम किया जाना बाकी है, लेकिन पंडों में सब कुछ बहुत सरल है!

 # Copy the original data features = data.copy() # Select the numeric columns numeric_subset = data.select_dtypes('number') # Create columns with log of numeric columns for col in numeric_subset.columns: # Skip the Energy Star Score column if col == 'score': next else: numeric_subset['log_' + col] = np.log(numeric_subset[col]) # Select the categorical columns categorical_subset = data[['Borough', 'Largest Property Use Type']] # One hot encode categorical_subset = pd.get_dummies(categorical_subset) # Join the two dataframes using concat # Make sure to use axis = 1 to perform a column bind features = pd.concat([numeric_subset, categorical_subset], axis = 1)

अब हमारे पास 110 कॉलम (टैग) के साथ 11,000 से अधिक अवलोकन (भवन) हैं। एनर्जी स्टार स्कोर की भविष्यवाणी के लिए सभी संकेत उपयोगी नहीं होंगे, इसलिए हम संकेतों का चयन करेंगे और कुछ चरों को हटा देंगे।

फ़ीचर चयन

उपलब्ध 110 संकेतों में से कई निरर्थक हैं क्योंकि वे एक-दूसरे के साथ दृढ़ता से सहसंबंधित हैं। उदाहरण के लिए, यहां यूरोपीय संघ और मौसम सामान्यीकृत साइट ईयूआई का एक ग्राफ है, जिसमें सहसंबंध गुणांक 0.997 है।

संकेत जो दृढ़ता से एक दूसरे के साथ सहसंबंधित होते हैं उन्हें कोलिनियर कहा जाता है। इस तरह की विशेषताओं में एक चर को हटाने से अक्सर मॉडल को सामान्य बनाने और अधिक व्याख्या करने में मदद मिलती है। कृपया ध्यान दें कि हम दूसरों के साथ कुछ संकेतों के सहसंबंध के बारे में बात कर रहे हैं, न कि लक्ष्य के साथ सहसंबंध के बारे में, जो केवल इस मॉडल की मदद करेंगे!

सुविधाओं की संपुष्टि की गणना के लिए कई तरीके हैं, और सबसे लोकप्रिय में से एक प्रसरण मुद्रास्फीति कारक है । हम कोलियरीर गुणांक का उपयोग खोज और कोलीनियर विशेषताओं को हटाने के लिए करेंगे। हम संकेतों की एक जोड़ी को त्याग देते हैं यदि उनके बीच सहसंबंध गुणांक 0.6 से अधिक है। कोड नोटपैड में है (और स्टैक ओवरफ्लो के जवाब में)।

यह मान मनमाना लगता है, लेकिन वास्तव में मैंने विभिन्न थ्रेसहोल्ड की कोशिश की, और उपरोक्त ने मुझे सर्वश्रेष्ठ मॉडल बनाने की अनुमति दी। मशीन लर्निंग अनुभवजन्य है , और सबसे अच्छा समाधान खोजने के लिए अक्सर प्रयोग करना पड़ता है। चयन के बाद, हमारे पास 64 विशेषताएँ और एक लक्ष्य है।

 # Remove any columns with all na values features = features.dropna(axis=1, how = 'all') print(features.shape) (11319, 65)

आधार स्तर चुनें

हमने डेटा को मंजूरी दे दी, एक खोजपूर्ण विश्लेषण किया, और संकेतों का निर्माण किया। और मॉडल के निर्माण के लिए आगे बढ़ने से पहले, आपको प्रारंभिक आधार स्तर (अनुभवहीन आधारभूत) का चयन करने की आवश्यकता है - एक तरह की धारणा जिसके साथ हम मॉडल के परिणामों की तुलना करेंगे। यदि वे बुनियादी स्तर से नीचे आते हैं, तो हम मान लेंगे कि इस कार्य के लिए मशीन लर्निंग लागू नहीं है, या कि एक अलग दृष्टिकोण की कोशिश की जानी चाहिए।

आधार स्तर के रूप में प्रतिगमन कार्यों के लिए, परीक्षण सेट में सभी उदाहरणों के लिए प्रशिक्षण सेट पर लक्ष्य के औसत मूल्य का अनुमान लगाना उचित है। ये किट एक अवरोध सेट करते हैं जो किसी भी मॉडल के लिए अपेक्षाकृत कम है।

एक मीट्रिक के रूप में, हम पूर्वानुमानों में औसत पूर्ण त्रुटि (मॅई) लेते हैं। प्रतिगमन के लिए कई अन्य मीट्रिक हैं, लेकिन मुझे एक मीट्रिक चुनने और मॉडल का मूल्यांकन करने के लिए इसका उपयोग करने की सलाह पसंद है। और औसत पूर्ण त्रुटि की गणना और व्याख्या करना आसान है।

आधार स्तर की गणना करने से पहले, आपको डेटा को प्रशिक्षण और परीक्षण सेटों में तोड़ने की आवश्यकता है:

विशेषताओं का एक प्रशिक्षण सेट वह है जो हम प्रशिक्षण के दौरान उत्तरों के साथ अपना मॉडल प्रदान करते हैं। मॉडल को लक्ष्य की विशेषताओं से मेल खाना सीखना चाहिए।
एक परीक्षण सुविधा सेट का उपयोग प्रशिक्षित मॉडल के मूल्यांकन के लिए किया जाता है। जब वह परीक्षण सूट की प्रक्रिया करती है, तो वह सही उत्तर नहीं देखती है और केवल उपलब्ध सुविधाओं के आधार पर भविष्यवाणी करनी चाहिए। हम परीक्षण डेटा के जवाब जानते हैं और उनके साथ पूर्वानुमान परिणामों की तुलना कर सकते हैं।

प्रशिक्षण के लिए, हम 70% डेटा का उपयोग करते हैं, और परीक्षण के लिए - 30%:

 # Split into 70% training and 30% testing set X, X_test, y, y_test = train_test_split(features, targets, test_size = 0.3, random_state = 42)

अब हम प्रारंभिक आधार स्तर के लिए संकेतक की गणना करते हैं:

 # Function to calculate mean absolute error def mae(y_true, y_pred): return np.mean(abs(y_true - y_pred)) baseline_guess = np.median(y) print('The baseline guess is a score of %0.2f' % baseline_guess) print("Baseline Performance on the test set: MAE = %0.4f" % mae(y_test, baseline_guess))

बेसलाइन का अनुमान 66.00 का स्कोर है
परीक्षण सेट पर बेसलाइन प्रदर्शन: MAE = 24.5164

परीक्षण सेट पर औसत पूर्ण त्रुटि लगभग 25 अंक थी। चूंकि हम 1 से 100 तक की सीमा में मूल्यांकन करते हैं, इसलिए त्रुटि 25% है - मॉडल के लिए कम बाधा!

निष्कर्ष

इस लेख में, हम मशीन लर्निंग का उपयोग करके किसी समस्या को हल करने के पहले तीन चरणों से गुजरे। कार्य निर्धारित करने के बाद, हम:

साफ़ किया और स्वरूपित कच्चा डेटा।
उपलब्ध डेटा का अध्ययन करने के लिए खोजपूर्ण विश्लेषण का संचालन किया।
हमने ऐसी विशेषताओं का एक समूह विकसित किया है जिसका उपयोग हम अपने मॉडलों के लिए करेंगे।

, , .

Scikit-Learn , .

हम पायथन में मशीन लर्निंग प्रोजेक्ट कर रहे हैं। भाग 1