👆 👩🏻‍🔬 🦈 पांडा में बड़े डेटासेट कैसे संभालें। हम अजगर और 8GB मेमोरी का उपयोग करके FIAS डेटाबेस के साथ काम करते हैं ❄️ 😴 🥩

विशेष रूप से FIAS आधार का प्रतिनिधित्व करने की कोई आवश्यकता नहीं है:

आप इसे लिंक पर क्लिक करके डाउनलोड कर सकते हैं, यह डेटाबेस खुला है और इसमें रूस में सभी वस्तुओं के पते (पता रजिस्टर) हैं। इस डेटाबेस में रुचि इस तथ्य के कारण है कि इसमें जो फाइलें हैं, वे काफी मात्रा में हैं। इसलिए, उदाहरण के लिए, सबसे छोटा 2.9 जीबी है। इसे रोकना प्रस्तावित है और देखें कि यदि आप केवल 8 जीबी रैम के साथ मशीन पर काम करते हैं तो पांडा इसके साथ सामना कर सकते हैं या नहीं। और यदि आप सामना नहीं कर सकते हैं, तो इस फ़ाइल को पंडों को खिलाने के लिए क्या विकल्प हैं।

दिल पर हाथ रखकर, मैंने कभी इस आधार का सामना नहीं किया है और यह एक अतिरिक्त बाधा है, क्योंकि इसमें प्रस्तुत आंकड़ों का प्रारूप पूरी तरह से अस्पष्ट है।

आधार के साथ fias_xml.rar संग्रह डाउनलोड करने के बाद, हमें इसकी फ़ाइल मिलती है - AS_ADDROBJ_20190915_9b13b2a6-b3bd-4866-bd1c-7ab966fafcf0.XML। फ़ाइल xml प्रारूप में है।

पांडा में अधिक सुविधाजनक काम के लिए, इसे xml को सीएसवी या जोंस में बदलने की सिफारिश की जाती है।
हालांकि, सभी तृतीय-पक्ष कार्यक्रमों को बदलने और अजगर खुद को "मेमोरीरर" त्रुटि या फ्रीज करने का नेतृत्व करते हैं।

हम्म। क्या होगा अगर मैं फ़ाइल को काट दूं और इसे भागों में बदल दूं? एक अच्छा विचार है, लेकिन सभी "कटर" भी पूरी फ़ाइल को मेमोरी और हैंग करने की कोशिश करते हैं, अजगर खुद ही, जो "कटर" के मार्ग का अनुसरण करता है, उसे काटता नहीं है। क्या 8 जीबी स्पष्ट रूप से पर्याप्त नहीं है? खैर, चलिए देखते हैं।

वेदित कार्यक्रम

आपको तृतीय-पक्ष वेदित कार्यक्रम का उपयोग करना होगा।

यह कार्यक्रम आपको 2.9 जीबी xml फ़ाइल पढ़ने और इसके साथ काम करने की अनुमति देता है।
यह आपको इसे विभाजित करने की अनुमति भी देता है। लेकिन थोड़ी तरकीब है।

जैसा कि आप किसी फ़ाइल को पढ़ते समय देख सकते हैं, यह, अन्य बातों के अलावा, एक उद्घाटन पता टैग है:

इसलिए, इस बड़ी फ़ाइल के कुछ हिस्सों को बनाते समय, आपको इसे (टैग) बंद करना नहीं भूलना चाहिए।

यही है, प्रत्येक xml फ़ाइल की शुरुआत इस तरह होगी:

<?xml version="1.0" encoding="utf-8"?><AddressObjects>

और अंत:

 </AddressObjects>

अब फ़ाइल के पहले भाग को काट दें (शेष भागों के लिए चरण समान हैं)।

वेदित कार्यक्रम में:

इसके बाद, गोटो और लाइन # चुनें। खुलने वाली विंडो में, पंक्ति संख्या लिखें, उदाहरण के लिए, 1,000,000:

अगला, आपको चयनित ब्लॉक को समायोजित करने की आवश्यकता है ताकि यह समापन टैग से पहले डेटाबेस में ऑब्जेक्ट को समाप्त कर दे:

यह ठीक है अगर बाद की वस्तु पर थोड़ा सा ओवरलैप हो।

अगला, vedit प्रोग्राम में, चयनित टुकड़े को सहेजें - फ़ाइल, इस रूप में सहेजें।

उसी तरह, हम फ़ाइल के शेष हिस्सों को बनाते हैं, चयन ब्लॉक की शुरुआत और 1 मिलियन लाइनों की वेतन वृद्धि के अंत को चिह्नित करते हैं।

नतीजतन, आपको लगभग 610 एमबी के आकार के साथ 4 xml फ़ाइल मिलनी चाहिए।

हम xml भागों को अंतिम रूप देते हैं

अब आपको नई बनाई गई xml फ़ाइलों में टैग जोड़ने की आवश्यकता है ताकि वे xml के रूप में पढ़ें।

फ़ाइलों को एक-एक करके vedit में खोलें और प्रत्येक फ़ाइल की शुरुआत में जोड़ें:

 <?xml version="1.0" encoding="utf-8"?><AddressObjects>

और अंत में:

 </AddressObjects>

इस प्रकार, अब हमारे पास विभाजन स्रोत फ़ाइल के 4 xml भाग हैं।

Xml करने वाली सीएसवी

अब python प्रोग्राम लिखकर csml को csv पर ट्रांसलेट करें।

कार्यक्रम कोड

यहां

 # -*- coding: utf-8 -*- from __future__ import unicode_literals import codecs,os import xml.etree.ElementTree as ET import csv from datetime import datetime parser = ET.XMLParser(encoding="utf-8") tree = ET.parse("add-30-40.xml",parser=parser) root = tree.getroot() Resident_data = open('fias-30-40.csv', 'w',encoding='UTF8') csvwriter = csv.writer(Resident_data) start = datetime.now() for member in root.findall('Object'): object = [] object.append(member.attrib['AOID']) object.append(member.attrib['AOGUID']) try: object.append(member.attrib['PARENTGUID']) except: object.append(None) try: object.append(member.attrib['PREVID']) except: object.append(None) #try: # object.append(member.attrib['NEXTID']) #except: # object.append(None) object.append(member.attrib['FORMALNAME']) object.append(member.attrib['OFFNAME']) object.append(member.attrib['SHORTNAME']) object.append(member.attrib['AOLEVEL']) object.append(member.attrib['REGIONCODE']) object.append(member.attrib['AREACODE']) object.append(member.attrib['AUTOCODE']) object.append(member.attrib['CITYCODE']) object.append(member.attrib['CTARCODE']) object.append(member.attrib['PLACECODE']) object.append(member.attrib['STREETCODE']) object.append(member.attrib['EXTRCODE']) object.append(member.attrib['SEXTCODE']) try: object.append(member.attrib['PLAINCODE']) except: object.append(None) try: object.append(member.attrib['CODE']) except: object.append(None) object.append(member.attrib['CURRSTATUS']) object.append(member.attrib['ACTSTATUS']) object.append(member.attrib['LIVESTATUS']) object.append(member.attrib['CENTSTATUS']) object.append(member.attrib['OPERSTATUS']) try: object.append(member.attrib['IFNSFL']) except: object.append(None) try: object.append(member.attrib['IFNSUL']) except: object.append(None) try: object.append(member.attrib['OKATO']) except: object.append(None) try: object.append(member.attrib['OKTMO']) except: object.append(None) try: object.append(member.attrib['POSTALCODE']) except: object.append(None) #print(len(object)) csvwriter.writerow(object) Resident_data.close() print(datetime.now()- start) #0:00:21.122437

।
प्रोग्राम का उपयोग करके, आपको सभी 4 फ़ाइलों को सीएसवी में बदलने की आवश्यकता है।
फ़ाइल का आकार कम हो जाएगा, प्रत्येक 236 एमबी (xml में 610 एमबी के साथ तुलना) होगा।
सिद्धांत रूप में, अब आप पहले से ही एक्सेल या नोटपैड ++ के माध्यम से उनके साथ काम कर सकते हैं।
हालाँकि, फ़ाइलें अभी भी एक के बजाय 4 हैं, और हम लक्ष्य तक नहीं पहुंचे हैं - फ़ाइल को पांडा में संसाधित कर रहे हैं।

एक में गोंद फ़ाइलें

विंडोज पर, यह एक कठिन काम हो सकता है, इसलिए हम कंसोल उपयोगिता का उपयोग csvkit नामक अजगर में करेंगे। एक अजगर मॉड्यूल के रूप में स्थापित:

 pip install csvkit

* वास्तव में यह उपयोगिताओं का एक पूरा सेट है, लेकिन वहां से एक की आवश्यकता होगी।

कंसोल में ग्लूइंग के लिए फ़ाइलों के साथ फ़ोल्डर में प्रवेश करने के बाद, हम एक फाइल में ग्लूइंग प्रदर्शन करेंगे। चूंकि सभी फाइलें बिना हेडर के होती हैं, इसलिए जब हम ग्लूइंग: a, b, c, आदि

 csvstack -H fias-0-10.csv fias-10-20.csv fias-20-30.csv fias-30-40.csv > joined2.csv

आउटपुट एक समाप्त सीएसवी फ़ाइल है।

स्मृति उपयोग को अनुकूलित करने के लिए पांडा में काम करते हैं

यदि आप तुरंत फ़ाइल को पांडा पर अपलोड करते हैं

 import pandas as pd import numpy as np gl = pd.read_csv('joined2.csv',encoding='ANSI',index_col='a') print (gl.info(memory_usage='deep')) #   def mem_usage(pandas_obj): if isinstance(pandas_obj,pd.DataFrame): usage_b = pandas_obj.memory_usage(deep=True).sum() else: # ,     ,   usage_b = pandas_obj.memory_usage(deep=True) usage_mb = usage_b / 1024 ** 2 #     return "{:03.2f} " .format(usage_mb)

और जांचें कि यह कितनी मेमोरी लेगा, परिणाम अप्रिय रूप से आश्चर्यचकित कर सकता है:

3 जीबी! और इस तथ्य के बावजूद कि डेटा पढ़ते समय, पहला कॉलम "इंडेक्स कॉलम" के रूप में "चला गया", और इसलिए वॉल्यूम और भी बड़ा होगा।
* डिफ़ॉल्ट रूप से, पांडा अपना स्वयं का कॉलम इंडेक्स सेट करता है।

हम पिछले पोस्ट और लेख के तरीकों का उपयोग करके अनुकूलन करेंगे:
- श्रेणी में वस्तु;
- यूआईटी 8 में इंट 64;
- फ्लोट 32 में फ्लोट64।

ऐसा करने के लिए, फ़ाइल को पढ़ते समय, dtypes जोड़ें और कोड में कॉलम पढ़ने से ऐसा दिखेगा:

 gl = pd.read_csv('joined2.csv',encoding='ANSI',index_col='a', dtype ={ 'b':'category', 'c':'category','d':'category','e':'category', 'f':'category','g':'category', 'h':'uint8','i':'uint8','j':'uint8', 'k':'uint8','l':'uint8','m':'uint8','n':'uint16', 'o':'uint8','p':'uint8','q':'uint8','t':'uint8', 'u':'uint8','v':'uint8','w':'uint8','x':'uint8', 'r':'float32','s':'float32', 'y':'float32','z':'float32','aa':'float32','bb':'float32', 'cc':'float32' })

अब, पांडा फ़ाइल खोलने से, मेमोरी का उपयोग बुद्धिमान होगा:

यह csv फ़ाइल में जोड़ना चाहता है, यदि वांछित है, तो पंक्ति-वास्तविक स्तंभ नाम ताकि डेटा समझ में आता है:

 AOID,AOGUID,PARENTGUID,PREVID,FORMALNAME,OFFNAME,SHORTNAME,AOLEVEL,REGIONCODE,AREACODE,AUTOCODE,CITYCODE,CTARCODE,PLACECODE,STREETCODE,EXTRCODE,SEXTCODE,PLAINCODE,CODE,CURRSTATUS,ACTSTATUS,LIVESTATUS,CENTSTATUS,OPERSTATUS,IFNSFL,IFNSUL,OKATO,OKTMO,POSTALCODE

* आप इस लाइन के साथ कॉलम नामों को बदल सकते हैं, लेकिन फिर आपको कोड बदलना होगा।
फ़ाइल की पहली पंक्तियों को पांडा से सहेजें

 gl.head().to_csv('out.csv', encoding='ANSI',index_label='a')

और देखें कि एक्सेल में क्या हुआ:

डेटाबेस के साथ सीएसवी फ़ाइल के अनुकूलित उद्घाटन के लिए प्रोग्राम कोड:

कोड

 import os import time import pandas as pd import numpy as np #     :  object-category, float64-float32, int64-int gl = pd.read_csv('joined2.csv',encoding='ANSI',index_col='a', dtype ={ 'b':'category', 'c':'category','d':'category','e':'category', 'f':'category','g':'category', 'h':'uint8','i':'uint8','j':'uint8', 'k':'uint8','l':'uint8','m':'uint8','n':'uint16', 'o':'uint8','p':'uint8','q':'uint8','t':'uint8', 'u':'uint8','v':'uint8','w':'uint8','x':'uint8', 'r':'float32','s':'float32', 'y':'float32','z':'float32','aa':'float32','bb':'float32', 'cc':'float32' }) pd.set_option('display.notebook_repr_html', False) pd.set_option('display.max_columns', 8) pd.set_option('display.max_rows', 10) pd.set_option('display.width', 80) #print (gl.head()) print (gl.info(memory_usage='deep')) #   def mem_usage(pandas_obj): if isinstance(pandas_obj,pd.DataFrame): usage_b = pandas_obj.memory_usage(deep=True).sum() else: # ,     ,   usage_b = pandas_obj.memory_usage(deep=True) usage_mb = usage_b / 1024 ** 2 #     return "{:03.2f} " .format(usage_mb)

निष्कर्ष में, हम डेटासेट के आकार को देखते हैं:

 gl.shape

 (3348644, 28)

3.3 मिलियन पंक्तियाँ, 28 कॉलम।

नीचे पंक्ति: 890 एमबी के प्रारंभिक सीएसवी फ़ाइल आकार के साथ, पंडों के साथ काम करने के प्रयोजनों के लिए "अनुकूलित", यह स्मृति में 1.2 जीबी पर कब्जा कर लेता है।
इस प्रकार, किसी न किसी गणना के साथ, यह माना जा सकता है कि आकार में 7.69 जीबी की एक फ़ाइल पंडों में खोली जा सकती है, जिसमें पहले "अनुकूलित" किया गया था।

पांडा में बड़े डेटासेट कैसे संभालें। हम अजगर और 8GB मेमोरी का उपयोग करके FIAS डेटाबेस के साथ काम करते हैं

वेदित कार्यक्रम

हम xml भागों को अंतिम रूप देते हैं

Xml करने वाली सीएसवी

एक में गोंद फ़ाइलें

स्मृति उपयोग को अनुकूलित करने के लिए पांडा में काम करते हैं

More articles: