🎩 👂🏻 🤸🏽 अजगर SAX पार्सर बनाम अजगर डोम पार्सर। पारसिम FIAS- मकान 👴🏽 👩🏽‍🍳 🕵🏾

पिछले लेख में , हमने FIAS द्वारा प्रकाशित डेटाबेस पर xml से सीएसवी बनाने के लिए एक दृष्टिकोण पर विचार किया। पार्सिंग डोम पार्सर पर आधारित थी, जो प्रसंस्करण से पहले पूरी फ़ाइल को मेमोरी में लोड करता है, जिसके कारण रैम की सीमित मात्रा को देखते हुए बड़ी फ़ाइलों को विभाजित करने की आवश्यकता होती है। इस बार यह देखने का सुझाव दिया गया है कि एसएएक्स पार्सर कितना अच्छा है और डोम पार्सर के साथ इसकी गति की तुलना करें। FIAS डेटाबेस फ़ाइलों का सबसे बड़ा, मकान, आकार में 27.5 GB, परीक्षण विषय के रूप में उपयोग किया जाएगा।

प्रविष्टि

हम तुरंत सबसे सम्मानित जनता को परेशान करने के लिए मजबूर हैं - तुरंत SAX पार्सर को FIX घरों डेटाबेस फ़ाइल को खिलाने में विफल। पार्सर "अच्छी तरह से गठित (अमान्य टोकन)" त्रुटि के साथ क्रैश हो जाता है। और शुरू में संदेह था कि डेटाबेस फ़ाइल टूट गई थी। हालांकि, डेटाबेस को कई छोटे हिस्सों में काटने के बाद, यह पाया गया कि प्रस्थान घर के नंबरों और / या इमारतों के लिए एक परिवर्तित कोडिंग के कारण हुआ था। अर्थात्, STRUCNUM या HOUSENUM टैग एक अजीब एन्कोडिंग में लिखे गए अक्षर (UTF-8 नहीं और ANSI, जिसमें दस्तावेज़ स्वयं बनता है) के साथ घरों में आया था:

एक ही समय में, यदि यह एन्कोडिंग को remove_non_ascii फ़ंक्शन के माध्यम से फ़ाइल को चलाकर सीधा किया जाता है, तो रिकॉर्ड निम्न प्रकार है:

अतिरिक्त पात्रों के कारण ऐसी फाइल को पार्सर द्वारा अवशोषित नहीं किया गया था।

मुझे नियमित भावों को याद रखना था और फाइल को पार्सर में लोड करने से पहले साफ करना था।
प्रश्न: एक सामान्य डेटाबेस बनाना असंभव क्यों है, जो काम के लिए निर्धारित किया गया है, एक शाब्दिक छाया प्राप्त करता है।

पार्सर्स की शुरुआती क्षमताओं को संरेखित करने के लिए, हम उपरोक्त विसंगतियों से परीक्षण के टुकड़े को साफ करते हैं।

पार्सर में लोड करने से पहले डेटाबेस फ़ाइल को साफ़ करने के लिए कोड:

कोड

from datetime import datetime import re from unidecode import unidecode start = datetime.now() f= open('AS_HOUSE.462.xml', 'r',encoding='ANSI') def remove_non_ascii(text): return unidecode(unidecode(text)) for line in f: b=remove_non_ascii(line) for c in re.finditer(r'\w{5}NUM="\d{1,}\"\w\"',b): print(c[0]) c1=c[0][:-3]+c[0][-2] print(c1) b=b.replace(c[0],c1) #    #  f1= open('out.xml', 'w',encoding='ANSI') f1.write(b) f1.close() f.close() print(datetime.now()- start)

कोड xml फ़ाइल में सामान्य रूप से non_ascii वर्णों का अनुवाद करता है और फिर इमारतों और घरों के नामों में अनावश्यक "" को हटा देता है।

सैक्स पार्सर

शुरू करने के लिए, एक छोटी xml फ़ाइल (58.8 MB) लें, हम आउटपुट पर txt या csv प्राप्त करने की योजना बनाते हैं, पांडा या एक्सेल में आगे की प्रक्रिया के लिए सुविधाजनक है।

कोड

 import xml.sax import csv from datetime import datetime start = datetime.now() class EventHandler(xml.sax.ContentHandler): def __init__(self,target): self.target = target def startElement(self,name,attrs): self.target.send(attrs._attrs.values()) def characters(self,text): self.target.send('') def endElement(self,name): self.target.send('') def coroutine(func): def start(*args,**kwargs): cr = func(*args,**kwargs) cr.__next__() return cr return start with open('out.csv', 'a') as f: # example use if __name__ == '__main__': @coroutine def printer(): while True: event = (yield) print(event,file=f) xml.sax.parse("out.xml", EventHandler(printer())) print(datetime.now()- start)

कार्यक्रम को निष्पादित करने के बाद, हमें अजगर शब्दकोश के मूल्य मिलते हैं:

लीड समय: 5-6 सेकंड।

डोम पार्सर

हम उसी फाइल को पहले मेमोरी में लोड करके प्रोसेस करते हैं। यह वही तरीका है जो DOM पार्सर उपयोग करता है।

कोड

 import codecs,os import xml.etree.ElementTree as ET import csv from datetime import datetime parser = ET.XMLParser(encoding="ANSI") tree = ET.parse("out.xml",parser=parser) root = tree.getroot() Resident_data = open('AS_HOUSE.0001.csv', 'a',encoding='ANSI') csvwriter = csv.writer(Resident_data) attr_names = [ 'HOUSEID', 'HOUSEGUID', 'AOGUID', 'HOUSENUM', 'STRUCNUM', 'STRSTATUS', 'ESTSTATUS', 'STATSTATUS', 'IFNSFL', 'IFNSUL', 'TERRIFNSFL', 'TERRIFNSUL', 'OKATO', 'OKTMO', 'POSTALCODE', 'STARTDATE', 'ENDDATE', 'UPDATEDATE', 'COUNTER', 'NORMDOC', 'DIVTYPE', 'REGIONCODE' ] start = datetime.now() object = [] for member in root.findall('House'): object = [member.attrib.get(attr_name, None) for attr_name in attr_names] csvwriter.writerow(object) Resident_data.close() print(datetime.now()- start)

लीड समय 2-3 सेकंड।
डोम पार्सर जीतना?

बड़ी फाइलें

छोटी फाइलें वास्तविकता को पूरी तरह से प्रतिबिंबित नहीं करती हैं। आइए 353 एमबी (सफाई के बाद, जैसा कि ऊपर बताया गया है) से बड़ी फ़ाइल लें।

कंधे परिणाम:

SAX पार्सर: 0: 00: 32.090836 - 32 सेकंड
DOM पार्सर: 0: 00: 16.630951 - 16 सेकंड

अंतर 2 गुना गति है। हालांकि, यह एसएएक्स पार्सर के मुख्य लाभ से अलग नहीं होता है - बड़ी फ़ाइलों को पहले मेमोरी में लोड किए बिना संसाधित करने की क्षमता।
यह खेदजनक है कि यह लाभ FIAS डेटाबेस पर लागू नहीं है, क्योंकि एन्कोडिंग के साथ प्रारंभिक कार्य आवश्यक है।

एनकोडिंग की प्रारंभिक सफाई के लिए फाइल:
- पुरालेख में 353 एमबी।

पार्सर परीक्षणों के लिए शुद्ध DB फ़ाइल:
- पुरालेख में 353 एमबी।

अजगर SAX पार्सर बनाम अजगर डोम पार्सर। पारसिम FIAS- मकान

प्रविष्टि

सैक्स पार्सर

डोम पार्सर

बड़ी फाइलें

More articles: