पांडा-प्रोफाइलिंग लाइब्रेरी का उपयोग करके डेटा अन्वेषण में तेजी लाना

सबसे पहले, एक नए डेटा सेट के साथ शुरुआत करना, आपको इसे समझने की आवश्यकता है। ऐसा करने के लिए, यह आवश्यक है, उदाहरण के लिए, चर द्वारा स्वीकार किए गए मूल्यों की सीमाओं का पता लगाने के लिए, उनके प्रकार, और लापता मूल्यों की संख्या के बारे में जानने के लिए भी।

पांडा पुस्तकालय हमें खोजपूर्ण डेटा विश्लेषण (EDA) करने के लिए कई उपयोगी उपकरण प्रदान करता है। लेकिन उनका उपयोग करने से पहले, आपको आमतौर पर अधिक सामान्य कार्यों से शुरू करने की आवश्यकता होती है, जैसे कि df.describe ()। सच है, यह ध्यान दिया जाना चाहिए कि इस तरह के कार्यों द्वारा प्रदान की जाने वाली संभावनाएं सीमित हैं, और ईडीए के दौरान किसी भी डेटा सेट के साथ काम करने के प्रारंभिक चरण बहुत अक्सर एक दूसरे के समान होते हैं।



आज हम जो सामग्री प्रकाशित कर रहे हैं, उसके लेखक का कहना है कि वह दोहराई जाने वाली कार्रवाइयों का प्रशंसक नहीं है। नतीजतन, जल्दी से और कुशलता से खोजपूर्ण डेटा विश्लेषण करने के लिए उपकरणों की तलाश में, उन्होंने पांडा-प्रोफाइलिंग लाइब्रेरी को पाया। उसके काम के परिणाम कुछ व्यक्तिगत संकेतकों के रूप में व्यक्त नहीं किए जाते हैं, लेकिन एक विस्तृत विस्तृत HTML रिपोर्ट के रूप में जिसमें डेटा के बारे में अधिकांश जानकारी होती है जिसका विश्लेषण किया जाता है कि आपको उनके साथ और अधिक निकटता से काम करना शुरू करने से पहले जानना होगा।

यहां हम टाइटैनिक डेटा सेट के उदाहरण का उपयोग करके पांडा-प्रोफाइलिंग लाइब्रेरी का उपयोग करने की सुविधाओं पर विचार करेंगे।

पंडों का अन्वेषण डेटा विश्लेषण

मैंने टाइटैनिक डेटासेट पर पांडा-प्रोफाइलिंग के साथ इस तथ्य के कारण प्रयोग करने का फैसला किया कि इसमें विभिन्न प्रकार के डेटा हैं और क्योंकि इसमें लापता मान हैं। मेरा मानना ​​है कि पांडा-प्रोफाइलिंग लाइब्रेरी उन मामलों में विशेष रूप से दिलचस्प है जहां डेटा को अभी तक मंजूरी नहीं मिली है और उनकी सुविधाओं के आधार पर आगे की प्रक्रिया की आवश्यकता है। इस तरह के प्रसंस्करण को सफलतापूर्वक करने के लिए, आपको यह जानना होगा कि कहां से शुरू करें और क्या देखें। यह वह जगह है जहाँ पांडा-प्रोफाइलिंग सुविधाएँ काम में आती हैं।

शुरू करने के लिए, हम डेटा का आयात करते हैं और वर्णनात्मक आंकड़ों के संकेतक प्राप्त करने के लिए पांडा का उपयोग करते हैं:

#    import pandas as pd import pandas_profiling import numpy as np #   df = pd.read_csv('/Users/lukas/Downloads/titanic/train.csv') #     df.describe() 

इस कोड को निष्पादित करने के बाद, आपको वह प्राप्त होता है जो निम्न आकृति में दिखाया गया है।


मानक पांडा उपकरण का उपयोग करके वर्णनात्मक आँकड़े मैट्रिक्स

हालांकि इसमें बहुत सारी उपयोगी जानकारी शामिल है, लेकिन वहाँ सब कुछ नहीं है जो अध्ययन किए जा रहे डेटा के बारे में जानना दिलचस्प होगा। उदाहरण के लिए, हम मान सकते हैं कि डेटा फ़्रेम में, डेटा फ़्रेम संरचना में, 891 DataFrame । यदि आपको यह जांचने की आवश्यकता है, तो आपको कोड की एक और पंक्ति की आवश्यकता होगी जो फ्रेम के आकार को निर्धारित करती है। हालांकि ये गणना विशेष रूप से संसाधन गहन नहीं हैं, फिर भी उनकी निरंतर पुनरावृत्ति से समय का नुकसान होगा, जो संभवतः डेटा सफाई पर बेहतर खर्च होता है।

पांडा-प्रोफाइलिंग का उपयोग करते हुए व्याख्यात्मक डेटा विश्लेषण

अब पंडों-प्रोफाइलिंग का उपयोग करें:

 pandas_profiling.ProfileReport(df) 

कोड की उपरोक्त पंक्ति का कार्यान्वयन आपको खोजपूर्ण डेटा विश्लेषण के संकेतकों के साथ एक रिपोर्ट उत्पन्न करने की अनुमति देगा। ऊपर दिखाए गए कोड से डेटा की मिली जानकारी का निष्कर्ष निकलेगा, लेकिन ऐसा किया जा सकता है ताकि परिणाम एक HTML फ़ाइल होगी, जो उदाहरण के लिए, किसी को दिखाया जा सकता है।

रिपोर्ट के पहले भाग में अवलोकन अनुभाग होगा, जो डेटा (टिप्पणियों की संख्या, चर की संख्या और इसी तरह) के बारे में बुनियादी जानकारी प्रदान करता है। इसके अलावा, इसमें उन चेतावनियों की सूची होगी जो विश्लेषक को सूचित करती हैं कि आपको किस पर विशेष ध्यान देना चाहिए। ये चेतावनियां एक सुराग हो सकती हैं, जहां आप अपने डेटा को साफ करते समय अपने प्रयासों पर ध्यान केंद्रित कर सकते हैं।


रिपोर्ट अनुभाग अवलोकन

व्याख्यात्मक परिवर्तनीय विश्लेषण

रिपोर्ट के अवलोकन अनुभाग के पीछे, आप प्रत्येक चर के बारे में उपयोगी जानकारी पा सकते हैं। अन्य बातों के अलावा, उनमें प्रत्येक चर के वितरण का वर्णन करने वाले छोटे चित्र शामिल हैं।


आयु संख्यात्मक सूचना

जैसा कि आप पिछले उदाहरण से देख सकते हैं, पांडा-प्रोफाइलिंग हमें कुछ उपयोगी संकेतक देता है, जैसे कि प्रतिशत और लापता मूल्यों की संख्या, साथ ही वर्णनात्मक आंकड़ों के संकेतक जो हमने पहले ही देखे हैं। चूंकि Age एक संख्यात्मक चर है, इसलिए हिस्टोग्राम के रूप में इसके वितरण का दृश्य हमें यह निष्कर्ष निकालने की अनुमति देता है कि हमारे पास एक समकोण वितरण है।

श्रेणीगत चर पर विचार करते समय, प्रदर्शित संकेतक संख्यात्मक चर के लिए पाए गए से थोड़ा भिन्न होते हैं।


सेक्स श्रेणीबद्ध चर जानकारी

औसतन, न्यूनतम और अधिकतम को खोजने के बजाय, पांडा-प्रोफाइलिंग लाइब्रेरी को कक्षाओं की संख्या मिली। चूंकि Sex एक द्विआधारी चर है, इसके मूल्यों को दो वर्गों द्वारा दर्शाया गया है।

यदि आप, मेरे जैसे, कोड पर शोध करना पसंद करते हैं, तो आप इस बात में दिलचस्पी ले सकते हैं कि पांडा-प्रोफाइलिंग लाइब्रेरी इन संकेतकों की गणना कैसे करती है। यह जानकर, यह देखते हुए कि लाइब्रेरी कोड खुला है और GitHub पर उपलब्ध है, इतना मुश्किल नहीं है। चूंकि मैं अपनी परियोजनाओं में "ब्लैक बॉक्स" का उपयोग करने का बड़ा प्रशंसक नहीं हूं, इसलिए मैंने लाइब्रेरी के स्रोत कोड को देखा। उदाहरण के लिए, यहाँ वर्णनात्मक चर को संसाधित करने के लिए तंत्र है, जो description_numeric_1d फ़ंक्शन द्वारा दर्शाया गया है:

 def describe_numeric_1d(series, **kwargs):   """Compute summary statistics of a numerical (`TYPE_NUM`) variable (a Series).   Also create histograms (mini an full) of its distribution.   Parameters   ----------   series : Series       The variable to describe.   Returns   -------   Series       The description of the variable as a Series with index being stats keys.   """   # Format a number as a percentage. For example 0.25 will be turned to 25%.   _percentile_format = "{:.0%}"   stats = dict()   stats['type'] = base.TYPE_NUM   stats['mean'] = series.mean()   stats['std'] = series.std()   stats['variance'] = series.var()   stats['min'] = series.min()   stats['max'] = series.max()   stats['range'] = stats['max'] - stats['min']   # To avoid to compute it several times   _series_no_na = series.dropna()   for percentile in np.array([0.05, 0.25, 0.5, 0.75, 0.95]):       # The dropna() is a workaround for https://github.com/pydata/pandas/issues/13098       stats[_percentile_format.format(percentile)] = _series_no_na.quantile(percentile)   stats['iqr'] = stats['75%'] - stats['25%']   stats['kurtosis'] = series.kurt()   stats['skewness'] = series.skew()   stats['sum'] = series.sum()   stats['mad'] = series.mad()   stats['cv'] = stats['std'] / stats['mean'] if stats['mean'] else np.NaN   stats['n_zeros'] = (len(series) - np.count_nonzero(series))   stats['p_zeros'] = stats['n_zeros'] * 1.0 / len(series)   # Histograms   stats['histogram'] = histogram(series, **kwargs)   stats['mini_histogram'] = mini_histogram(series, **kwargs)   return pd.Series(stats, name=series.name) 

हालाँकि यह कोड बड़ा और जटिल लग सकता है, वास्तव में, इसे समझना बहुत सरल है। मुद्दा यह है कि पुस्तकालय के स्रोत कोड में एक फ़ंक्शन है जो चर के प्रकारों को निर्धारित करता है। यदि यह पता चला है कि पुस्तकालय एक संख्यात्मक चर से मिला है, तो उपरोक्त फ़ंक्शन उन संकेतकों को ढूंढेगा जिन्हें हमने माना था। यह फ़ंक्शन Series प्रकार की वस्तुओं के साथ काम करने के लिए मानक पंडों के संचालन का उपयोग करता है, जैसे series.mean() । गणना के परिणाम stats शब्दकोश में संग्रहीत किए जाते हैं। हिस्टोग्राम को matplotlib.pyplot.hist फ़ंक्शन के अनुकूलित संस्करण का उपयोग करके उत्पन्न किया जाता है। अनुकूलन का उद्देश्य विभिन्न प्रकार के डेटा सेटों के साथ फ़ंक्शन को सक्षम करना है।

सहसंबंध संकेतक और अध्ययन किए गए डेटा का नमूना

चर के विश्लेषण के परिणामों के बाद, सहसंबंध अनुभाग में पांडा-प्रोफाइलिंग, पियर्सन और स्पीयरमैन सहसंबंध मैट्रिस प्रदर्शित करता है।


पीयरसन सहसंबंध मैट्रिक्स

यदि आवश्यक हो, तो सहसंबंध की गणना में उपयोग की जाने वाली दहलीज मूल्यों को निर्धारित करने के लिए, रिपोर्ट के गठन की शुरुआत करने वाली कोड की लाइन में यह संभव है। ऐसा करने से, आप संकेत कर सकते हैं कि आपके विश्लेषण के लिए सहसंबंध की ताकत को क्या महत्वपूर्ण माना जाता है।

अंत में, नमूना अनुभाग में पांडा-प्रोफाइलिंग रिपोर्ट, उदाहरण के रूप में, डेटा सेट की शुरुआत से लिया गया डेटा का एक टुकड़ा प्रदर्शित करता है। यह दृष्टिकोण अप्रिय आश्चर्य का कारण बन सकता है, क्योंकि पहले कुछ अवलोकन एक नमूना हो सकते हैं जो पूरे डेटा सेट की सुविधाओं को प्रतिबिंबित नहीं करते हैं।


नमूना डेटा वाला अनुभाग

नतीजतन, मैं इस अंतिम खंड पर ध्यान देने की अनुशंसा नहीं करता हूं। इसके बजाय, df.sample(5) कमांड का उपयोग करना बेहतर है, जो डेटा सेट से बेतरतीब ढंग से 5 मामलों का चयन करेगा।

परिणाम

उपरोक्त संक्षेप में, यह ध्यान दिया जा सकता है कि पांडा-प्रोफाइलिंग लाइब्रेरी विश्लेषक को कुछ उपयोगी सुविधाएँ प्रदान करता है जो उन मामलों में काम आएंगे, जब आपको डेटा का सामान्य मोटा विचार प्राप्त करने या किसी को खुफिया डेटा विश्लेषण पर रिपोर्ट भेजने की आवश्यकता होती है। उसी समय, डेटा के साथ वास्तविक कार्य, उनकी विशेषताओं को ध्यान में रखते हुए, प्रदर्शन किया जाता है, जैसे कि पंडों-प्रोफाइलिंग का उपयोग किए बिना, मैन्युअल रूप से।

यदि आप इस बात पर एक नज़र रखना चाहते हैं कि डेटा का पूरा खुफिया विश्लेषण एक जुपिटर-नोटबुक में कैसे दिखता है - nbviewer का उपयोग करके बनाई गई मेरी परियोजना पर एक नज़र डालें। और इस GitHub रिपॉजिटरी में आप उपयुक्त कोड पा सकते हैं।

प्रिय पाठकों! आप नए डेटा सेटों का विश्लेषण कैसे शुरू करते हैं?