बड़े डेटासेट (निबंध) के साथ काम करते समय पांडा को कैसे अनुकूलित करें

जब वैगनों और / या एक छोटे डेटासेट की स्मृति को बिना किसी अनुकूलन के सुरक्षित रूप से पांडा में फेंक दिया जा सकता है। हालांकि, यदि डेटा बड़ा है, तो सवाल उठता है कि इसे कैसे संसाधित किया जाए या कम से कम इसकी गणना की जाए।

यह लघु में अनुकूलन को देखने के लिए प्रस्तावित है ताकि नेटवर्क से विशाल डेटासेट न खींच सकें।

एक डेटासेट के रूप में, हम 2019 के लिए उपयोगकर्ता टिप्पणियों के साथ habrastatistics का उपयोग करेंगे, जो एक मेहनती उपयोगकर्ता के लिए सार्वजनिक रूप से उपलब्ध है:
डाटासेट

जानकारी के आधार के रूप में, हैबर के पहले अनुवादित लेख का उपयोग किया जाएगा, जिसमें बहुत सारी दिलचस्प चीजें मिश्रित होती हैं।

ज्वाइन करने के बजाय

Habrastatistics डेटासेट को छोटा माना जाता है, हालाँकि यह 288 MB पर है और इसमें 448,533 लाइनें हैं।
बेशक, आप अधिक डेटा पा सकते हैं, लेकिन कार को लटका नहीं करने के लिए, हम उस पर ध्यान केंद्रित करते हैं।

संचालन की सुविधा के लिए, हम कॉलम नामों में (केवल पहली पंक्ति को फ़ाइल में लिखें) जोड़ेंगे:

a,b,c,d 

अब, यदि आप सीधे डाटासेट को पांडा में लोड करते हैं और जांचते हैं कि यह कितनी मेमोरी का उपयोग करता है

 import os import time import pandas as pd import numpy as np gl = pd.read_csv('habr_2019_comments.csv',encoding='UTF') def mem_usage(pandas_obj): if isinstance(pandas_obj,pd.DataFrame): usage_b = pandas_obj.memory_usage(deep=True).sum() else: #     ,     DataFrame,   Series usage_b = pandas_obj.memory_usage(deep=True) usage_mb = usage_b / 1024 ** 2 #     return "{:03.2f} MB".format(usage_mb) print (gl.info(memory_usage='deep')) 

देखें कि वह "436.1 एमबी" खाता है:

 RangeIndex: 448533 entries, 0 to 448532 Data columns (total 4 columns): a 448533 non-null object b 448533 non-null object c 448533 non-null object d 448528 non-null object dtypes: object(4) memory usage: 436.1 MB 

यह यह भी दर्शाता है कि हम उन स्तंभों के साथ काम कर रहे हैं जिनमें टाइप ऑब्जेक्ट का डेटा है।
इसलिए, लेख के अनुसार, कॉलम के लिए, ऑब्जेक्ट के लिए गणना की गई अनुकूलन पर ध्यान देना आवश्यक है। एक को छोड़कर सभी स्तंभों के लिए।

कॉलम बी में तिथियां शामिल हैं, और आगे की गणना और स्पष्टता की सुविधा के लिए, उन्हें डेटासेट के सूचकांक में भेजना बेहतर है। ऐसा करने के लिए, डेटासेट पढ़ते समय उपयोग किए गए कोड को बदलें:

 gl = pd.read_csv('habr_2019_comments.csv', parse_dates=['b'], encoding='UTF') 

अब दिनांक को डेटासेट के सूचकांक के रूप में पढ़ा जाता है और मेमोरी खपत थोड़ी कम हो जाती है:

 memory usage: 407.0 MB 

अब हम कॉलम और इंडेक्स के बाहर डेटासेट में ही डेटा ऑप्टिमाइज़ करते हैं

ऑप्टिमाइज़ेशन कहा जाता है: "श्रेणीबद्ध चर का उपयोग करके ऑब्जेक्ट प्रकार के डेटा के भंडारण का अनुकूलन"।

यदि रूसी में अनुवाद किया जाता है, तो हमें श्रेणी के आधार पर कॉलम में डेटा को संयोजित करना होगा, जहां यह प्रभावी है।

प्रभावशीलता को निर्धारित करने के लिए, आपको स्तंभों में अद्वितीय मानों की संख्या जानने की आवश्यकता है और यदि यह स्तंभ के मानों की कुल संख्या का 50% से कम है, तो श्रेणी में मानों का संयोजन प्रभावी होगा।

आइए डेटासेट देखें:

 gl_obj=gl.select_dtypes(include=['object']).copy() gl_obj.describe() 

:

  acd count 448533 448533 448528 unique 25100 185 447059 top VolCh 0 ! freq 3377 260438 184 

* सूचकांक में तारीखों के साथ कॉलम और प्रदर्शित नहीं

जैसा कि आप देख सकते हैं, अद्वितीय पंक्ति से, कॉलम ए और सी में, श्रेणी में संघ प्रभावी है। कॉलम a के लिए, यह 25100 उपयोगकर्ता (जाहिर है 448533 से कम) है, सी के लिए - "+" और "-" के साथ पैमाने के 185 मान (448533 से भी कम)।

हम कॉलम का अनुकूलन करते हैं:

 for col in gl_obj.columns: num_unique_values = len(gl_obj[col].unique()) num_total_values = len(gl_obj[col]) if num_unique_values / num_total_values < 0.5: converted_obj.loc[:,col] = gl_obj[col].astype('category') else: converted_obj.loc[:,col] = gl_obj[col] 

यह समझने के लिए कि सुविधा के लिए कितनी मेमोरी का उपयोग किया जाता है, हम एक फंक्शन शुरू करते हैं:

 def mem_usage(pandas_obj): if isinstance(pandas_obj,pd.DataFrame): usage_b = pandas_obj.memory_usage(deep=True).sum() else: #     ,     DataFrame,   Series usage_b = pandas_obj.memory_usage(deep=True) usage_mb = usage_b / 1024 ** 2 #     return "{:03.2f} MB".format(usage_mb) 

और जांचें कि क्या अनुकूलन प्रभावी था:

 >>> print('  : '+mem_usage(gl_obj))   : 407.14 MB >>> print('  : '+mem_usage(converted_obj))   : 356.40 MB >>> 

जैसा कि आप देख सकते हैं, एक और 50 एमबी का लाभ प्राप्त हुआ।

अब, यह समझते हुए कि अनुकूलन से लाभ हुआ है (ऐसा होता है और इसके विपरीत), हम डेटा को तुरंत पढ़ते समय ध्यान में रखते हुए डेटासेट मापदंडों को सेट करेंगे।

 gl = pd.read_csv('habr_2019_comments.csv', parse_dates=['b'],index_col='b',dtype ={'c':'category','a':'category','d':'object'}, encoding='UTF') 

हम आपको डेटासेट के साथ तेजी से काम करना चाहते हैं!

डाउनलोड करने का कोड यहाँ है ।