घर का पता सही कैसे लिखें?

कैसे कर सेवा, OpenStreetMap, और InterSystems IRIS
डेवलपर्स को साफ पते प्राप्त करने में मदद कर सकता है

पीटर ब्रुगल द यंगर, पेइंग द टैक्स (द टैक्स कलेक्टर), 1640

मेरे पिछले लेख में , हमने सिर्फ वस्तुओं की सतह को स्किम किया था। चलो हमारी टोह लेते रहें। आज का विषय कठिन है। यह काफी बड़ा डेटा नहीं है, लेकिन यह अभी भी डेटा के साथ काम करना आसान नहीं है: हम काफी बड़ी मात्रा में डेटा के बारे में बात कर रहे हैं। यह सब रैम में एक बार में फिट नहीं होगा, और इसमें से कुछ भी ड्राइव पर फिट नहीं होगा (अंतरिक्ष की कमी के कारण नहीं, लेकिन क्योंकि वहां बहुत अधिक रद्दी है)। हमारे विषय का नाम FIAS DB है : संघीय सूचना पता प्रणाली डेटाबेस - रूस में पते के डेटाबेस। संग्रह 5.5 जीबी है। और यह एक संकुचित XML फ़ाइल है। निष्कर्षण के बाद, यह एक पूर्ण 53 जीबी (निष्कर्षण के लिए 110 जीबी अलग सेट) होगा। और जब आप पार्स करना शुरू करते हैं और इसे परिवर्तित करते हैं, तो यह 110 जीबी पर्याप्त नहीं होगा। पर्याप्त रैम भी नहीं होगी।

यह सब ठीक होगा, लेकिन आप खुदाई जारी रख सकते हैं। पता डेटा एकत्र करने और व्यवस्थित करने के लिए पहले से ही एक अंतर्राष्ट्रीय ओपन-सोर्स प्रोजेक्ट है: OpenAddresses । उनके डेटाबेस और भी बड़े होंगे। वर्तमान में उनके नक्शे में बहुत सारे खाली स्थान हैं। उदाहरण के लिए, रूस लगभग खाली है। इस आर्काइव का आकार 10 जीबी है।

लेकिन पहले चीजों को पहले, हम काफी प्रसिद्ध परियोजना OpenStreetMaps के डेटाबेस पर विचार करते हैं। यह विकिपीडिया के उदाहरण के बाद स्वयंसेवकों द्वारा बनाया गया है। यह पूरी तरह से और बहुभाषी है। और परियोजना को अभी तक 2018 द फ्री सॉफ्टवेयर फाउंडेशन पुरस्कार मिला है । अभी, एक संपूर्ण XML फ़ाइल के रूप में पूरे संग्रह का आकार 74 GB है।

पतों की बात करें, तो मैं डकडकूगो से कुछ अप्रत्याशित खबरें प्राप्त कर रहा हूं, जो आज तक का सबसे अच्छा सुरक्षित खोज इंजन है, जिसने एप्पल मैप्स में अपने कदम की घोषणा की। अधिक सटीक रूप से, Apple MapKit JS के लिए। हमारे उद्देश्यों के लिए इसके बारे में सबसे दिलचस्प है "बेहतर पता खोज।" क्या Apple हमारे डेटा को एकत्र करने और उसकी सुरक्षा करने में सभी से बेहतर है? हम पर नजर रखनी होगी ...

तो, यहाँ चुनौती है। हम इस सभी पता डेटा को एक आसान उपयोग के भंडार में कैसे डाल सकते हैं, जिससे एक आसान एपीआई (निश्चित रूप से, पायथन में) की कल्पना करना संभव है, और हमारे प्यारे हार्डवेयर को इस भारी बोझ के तहत ढहने से रोक सकते हैं? आइए इस MicroBigData, mD या forBD को संक्षेप में कहें।

बस के बारे में हर डेवलपर निम्नलिखित क्विप सुना है। एड्रेस डायरेक्टरी प्लेसेनैम की एक निर्देशिका है, जो एक बहुत ही उपयोगी चीज है। मुझे ठीक से पता नहीं है कि आपकी परियोजनाओं में कितना पता डेटा अप टू डेट है। आखिरकार, बहुत सारे क्षेत्र, शहर और सड़कें हैं। लेकिन ऐसा लगता है कि वे किसी भी परियोजना में शामिल लोगों के लिए आवश्यक हैं। ऐसे पते हैं जहां आप किसी को ढूंढ सकते हैं या उन्हें पैकेज भेज सकते हैं। फिर पासपोर्ट और अन्य दस्तावेजों के लिए आवश्यक जानकारी है। और शायद वहाँ कुछ कार्यालय या मील का पत्थर का पता है जो किसी ने आपको सुझाया है। तो आपको क्या करना चाहिए? कहां से लाएं?

त्रुटियों और डुप्लिकेट के लिए लेखांकन के बिना, सरलतम समाधान में आदिम ऑब्जेक्ट शामिल होते हैं जिनमें सरल स्ट्रिंग शाब्दिक (या स्ट्रिंग स्थिरांक) होते हैं। उपयोगकर्ताओं को अतिरिक्त प्रविष्टियां करने दें। और वस्तुओं को पता है कि खुद को कैसे बचाया जाए, जैसा कि हमने पहले कवर किया है ।

कक्षा में वर्णित वस्तुओं को उदाहरण के रूप में नीचे लें। एक पाठ्यपुस्तक का मामला , संयुक्त राज्य अमेरिका के पते के रूप में, लेकिन हमारे रूसी डेटासेट के लिए समायोजन के साथ: ज़िप के बजाय पोस्टकोड। मैं भी पोस्टल कोड को एक नंबर में बदल दूंगा, लेकिन चीजों को एक समान रखने के लिए मैं इसे एक स्ट्रिंग के रूप में छोड़ दूंगा। जिस किसी ने भी भाषा (ऑब्जेक्टस्क्रिप्ट) को तुरंत मान्यता दी है उसे "जैसे" एक मानार्थ मिलेगा।

Class Sample.Address Extends %Persistent { Property streetName As %String; Property cityName As %String; Property areaName As %String; Property postalCode As %String; } 

बेशक, बहुत से लोग बेईमानी से रोएंगे, यह कहते हुए कि सभी शाब्दिक वस्तु से बाहर निकल रहे हैं। जिसने भी किसी वस्तु को सार्वजनिक रूप से अपने खेतों को प्रसारित करते हुए सुना है? चलो अब के लिए इसे ऐसे ही छोड़ दें। यह काफी स्पष्ट उदाहरण है, और कोई भी छात्र इसे समझ सकता है।

दरअसल, बस इतना ही चाहिए। हम खेतों में भर गए। उन्हें संग्रहित किया। उन्हें अन्य वस्तुओं को सौंप दिया। कोई और उन्हें विरासत में मिलेगा। यह सब काम करता है। और यह संग्रहीत है!

लेकिन मुझे कुछ शब्दों के बारे में कहना होगा कि इसे इस तरह क्यों नहीं किया जाना चाहिए। हमारा ऑब्जेक्ट एड्रेस क्या है? यह सिर्फ टेक्स्ट स्ट्रिंग्स का एक समूह क्यों नहीं हो सकता है? सबसे स्पष्ट आपत्तियां जो पॉप अप संदर्भ से आती हैं: जो इस पते का उपयोग कर रहा है, वे किस रूप में और किस उद्देश्य के लिए इसका उपयोग कर रहे हैं? अपने प्रोग्रामर तर्क को पक्ष में रखने की कोशिश करें और कल्पना करें कि एक "विदेशी पर्यटक," "इतिहासकार," "टैक्स कलेक्टर," या "वकील" क्या सोचते हैं।

मैं अनुमान लगा रहा हूं कि आप तुरंत अतिरिक्त प्रश्नों का एक समूह लेकर आए हैं: किस भाषा और एन्कोडिंग का उपयोग करना है, किस अवधि पर विचार करना है, और इस ऑपरेशन में किस तरह के दस्तावेज शामिल हैं: कानूनी या पोस्टल? और एक शहर: यह है कि एक नामित इलाके, या क्या? यहां तक ​​कि एक सड़क एक बुलेवार्ड, लेन, एवेन्यू या कुछ और हो सकती है। इन सभी महत्वपूर्ण विवरणों को कैसे संभाला जाना चाहिए?

आइए एक वास्तविक जीवन उदाहरण देखें। गूगल अब सुंदर पिचाई द्वारा चलाया जाता है। वह भारत से हैं। उनका जन्म चेन्नई शहर में हुआ था। या यह मद्रास है? 1996 में, निवासियों ने फैसला किया कि शहर का नाम बहुत पुर्तगाली लगता है और तमिलनाडु की राजधानी का नाम बदलकर मद्रास से चेन्नई कर दिया गया है। तो क्या सुंदर और उनके 72 मिलियन हमवतन अपने इलेक्ट्रॉनिक दस्तावेजों में दर्ज करना चाहिए?

वास्तव में, एक संपूर्ण विज्ञान है जो इसका अध्ययन करता है: अनुप्रयुक्त सामयिक ।

तो, कुछ फॉलो-अप प्रश्न हैं। समय और दिनांक कैसे संभाला जाना चाहिए? स्पष्ट, धन के बारे में क्या? या भौगोलिक निर्देशांक? और आपको इसे अपने कोड में कैसे लागू करना चाहिए? और क्या आप इसे अमूर्त परत को कम किए बिना अपनी पसंद के DBMS में स्थानांतरित कर पाएंगे? आप नीचे के सर्पिल को परमाणु प्रकार के मशीन डेटा और उनके पुनर्निर्माण के बारे में लगातार विचारों से कैसे बचते हैं? इस मामले में, यह एक आदिम या, इसके विपरीत, अच्छी गुणवत्ता वाले एपीआई के स्रोत की तलाश में लायक है। अपने अवकाश पर इस बारे में सोचो।

संक्षेप में, संदर्भ सबसे महत्वपूर्ण चीज है। और ऑब्जेक्ट मॉडल हमें "मशीन डेटा" को एन्क्रिप्ट करके और संदर्भ-निर्भर "वास्तविक जीवन" व्यवहार को लागू करके इसका प्रत्यक्ष उपयोग करने की अनुमति देता है। यह नहीं है कि निम्न-स्तरीय ट्यूपल्स को तालिकाओं में व्यवस्थित किया जाता है ;-)

इस बीच, हम "आदिम" कार्यान्वयन पर लौट आएंगे और चीजों को अपने लिए कठिन बना लेंगे। शुरू करने के लिए, हम त्रुटियों और डुप्लिकेट को समाप्त करेंगे। दूसरे शब्दों में, हम पहली बार सही तरीके से पतों को लिखने के तरीके की तलाश करेंगे। उसी समय, हम यूआई डेवलपर्स को उपयोगकर्ताओं के लिए संकेत प्रदान करने में मदद करेंगे जब वे खेतों में डेटा दर्ज कर रहे होंगे।

जब एक स्थान पर दो चीजें होती हैं - ग्रंथ और इंटरसिस्टम आईआरआईएस डेटा प्लेटफॉर्म - एक डेवलपर के पास मशीन से दूर जाने के बिना चीजों को वास्तव में चालू करने का एक वास्तविक अवसर होता है। उदाहरण के लिए एम्बेडेड ऑब्जेक्ट घटकों iKnow और iFind का उपयोग करके। ये घटक क्रमशः असंरचित डेटा और पूर्ण-पाठ खोज के साथ काम करने के लिए हैं।

आइए OpenStreetMap के लिए डेटा स्कीमा को खोजने का प्रयास करें। यह उतना आसान नहीं है जितना कि यह पहले लग सकता है। मुझे सटीक कारण नहीं पता है, लेकिन ओएसएम के लिए कोई डेटा योजना नहीं है । और यह हमें बहुत मदद करेगा, जैसा कि नीचे देखा जाएगा! और वह पहिया का फिर से आविष्कार नहीं करेगा, एक उपयुक्त एक्सएसडी का उपयोग करें, जो मैंने आपके लिए पाया। और धन्यवाद, ओलिवर श्रेक। यहाँ और तस्वीरें हैं । मुझे कहना होगा कि हमारे उद्देश्यों के लिए यह उपयुक्त है और XML फ़ाइलों और OSM डाउनलोड की आंतरिक संरचना से मेल खाती है। यह महत्वपूर्ण क्यों है, लेकिन XSD फ़ाइल में पहली पंक्ति "<? Xml ..." से शुरू होनी चाहिए।

तत्व OpenStreetMap के भौतिक दुनिया के वैचारिक डेटा मॉडल के बुनियादी घटक हैं। वे शामिल हैं

• नोड्स - अंतरिक्ष में बिंदुओं को परिभाषित करना,
• तरीके - रैखिक सुविधाओं और क्षेत्र की सीमाओं को परिभाषित करना, और
• संबंध - जिनका उपयोग कभी-कभी यह समझाने के लिए किया जाता है कि अन्य तत्व एक साथ कैसे काम करते हैं।

उपरोक्त सभी में एक या अधिक संबद्ध टैग हो सकते हैं (जो किसी विशेष तत्व के अर्थ का वर्णन करते हैं)। एक टैग में दो आइटम, एक कुंजी और एक मूल्य होता है। टैग मानचित्र तत्वों की विशिष्ट विशेषताओं का वर्णन करते हैं: नोड्स, तरीके या संबंध।

गलियां और शहर कहां हैं? यह एक बड़ा रहस्य है! ज्यामिति को अच्छी तरह से पढ़ाया गया था? इसके बारे में अगली बार। :)

इसके अलावा, हम XSD स्कीमा विज़ार्ड का उपयोग करेंगे, जो कि हमारे लिए आईआरआईएस डेवलपर्स द्वारा उचित वर्ग% XML एडेप्टर फ़ील्ड के लिए कृपापूर्वक बनाया गया है। शुरुआत में प्रतिशत संकेत का मतलब है कि यह सिस्टम लाइब्रेरी से एक वर्ग है। इस पर अधिक जानकारी प्रलेखन में पाई जा सकती है । हम टर्मिनल में संचालन करेंगे।

 set xmlSchema = ##class(%XML.Utils.SchemaReader).%New() do xmlSchema.Process("/path/to/OSMSchema.xsd") 

आप एटेलियर आईडीई (मेनू में, टूल> ऐड-इन्स> एक्सएमएल स्कीमा विज़ार्ड) से एक ही चीज़ प्राप्त कर सकते हैं:



चूंकि हमने परिणामी पैकेज के नाम को इंगित करके विज़ार्ड का उपयोग किया था और मापदंडों का नहीं, इसलिए वे टेस्ट पैकेज में समाप्त हो गए। जैसा कि आप दूसरी कमांड से देख सकते हैं, मैंने स्कीमा फ़ाइल को अपने स्थानीय पायथन सर्वर में भेज दिया है:

 python3 -m http.server 80 

आप किसी अन्य http-सर्वर का उपयोग कर सकते हैं जो आप चाहते हैं। या अपने आईआरआईएस सर्वर पर फ़ाइल लोड करें और इसे इंगित करें।

नतीजतन, हमारे पास आठ वर्ग हैं जो हमारे पते की संरचना को पूरी तरह से दर्शाते हैं एक्सएमएल। यह मुख्य वर्ग OSM.osm है:

 Class OSM.osm Extends (%Persistent, %XML.Adaptor) [ ProcedureBlock ] { Parameter XMLNAME = "osm"; Parameter XMLSEQUENCE = 1; Property bounds As OSM.bounds(XMLNAME = "bounds", XMLREF = 1) [ Required ]; Relationship node As OSM.node(XMLNAME = "node", XMLPROJECTION = "ELEMENT", XMLREF = 1) [ Cardinality = many, Inverse = osm ]; Relationship way As OSM.way(XMLNAME = "way", XMLPROJECTION = "ELEMENT", XMLREF = 1) [ Cardinality = many, Inverse = osm1 ]; Relationship relation As OSM.relation(XMLNAME = "relation", XMLPROJECTION = "ELEMENT", XMLREF = 1) [ Cardinality = many, Inverse = osm2 ]; Property version As %xsd.float(XMLNAME = "version", XMLPROJECTION = "ATTRIBUTE") [ InitialExpression = ".6", ReadOnly ]; Property generator As %String(MAXLEN = "", XMLNAME = "generator", XMLPROJECTION = "ATTRIBUTE") [ InitialExpression = "CGImap 0.0.2", ReadOnly ]; } 

और OSM.node:

 Class OSM.node Extends (%Persistent, %XML.Adaptor) [ ProcedureBlock ] { Parameter XMLNAME = "node"; Parameter XMLSEQUENCE = 1; Relationship tag As OSM.tag(XMLNAME = "tag", XMLPROJECTION = "ELEMENT", XMLREF = 1) [ Cardinality = many, Inverse = node ]; Property id As %xsd.unsignedLong(XMLNAME = "id", XMLPROJECTION = "ATTRIBUTE"); Property lat As %xsd.double(XMLNAME = "lat", XMLPROJECTION = "ATTRIBUTE"); Property lon As %xsd.double(XMLNAME = "lon", XMLPROJECTION = "ATTRIBUTE"); Property user As %String(MAXLEN = "", XMLNAME = "user", XMLPROJECTION = "ATTRIBUTE") [ SqlFieldName = _user ]; Property uid As %xsd.unsignedLong(XMLNAME = "uid", XMLPROJECTION = "ATTRIBUTE"); Property visible As %Boolean(XMLNAME = "visible", XMLPROJECTION = "ATTRIBUTE"); Property version As %xsd.unsignedLong(XMLNAME = "version", XMLPROJECTION = "ATTRIBUTE"); Property changeset As %xsd.unsignedLong(XMLNAME = "changeset", XMLPROJECTION = "ATTRIBUTE"); Property timestamp As %TimeStamp(XMLNAME = "timestamp", XMLPROJECTION = "ATTRIBUTE"); Relationship osm As OSM.osm(XMLPROJECTION = "NONE") [ Cardinality = one, Inverse = node ]; } 

जैसा कि आप देख सकते हैं, कुछ विकल्प जो मैंने पहले ही हमारे समाधान के लिए अनावश्यक के रूप में अक्षम कर दिए हैं।

केवल रूस के लिए फ़ाइल का आकार एक्सएमएल लगभग 53 जीबी है। आप इसे सामान्य टेक्स्ट-प्रोसेसिंग टूल के साथ नहीं खोल सकते हैं: वे बड़ी फ़ाइलों को पेट नहीं कर सकते। आप व्यायाम करने के लिए छोटे नमूने ले सकते हैं, उदाहरण के लिए, व्यक्तिगत क्षेत्रों के लिए रूस के पते उपलब्ध हैं। संकुचित प्रारूप में कैलिनिनग्राद क्षेत्र की छोटी मात्रा 18 एमबी होगी, असम्पीडित एक्सएमएल फ़ाइल 203 एमबी है।

वैसे, InterSystems IRIS में एक स्ट्रिंग शाब्दिक की अधिकतम लंबाई 3,641,144 वर्ण है। दूसरे शब्दों में, फ़ाइल या URL को सीधे इसमें लोड करने से काम नहीं चलेगा। आप दस्तावेज़ में अन्य सीमाएँ देख सकते हैं। बड़ी मात्रा में डेटा के साथ काम करने के लिए, आप उन डेटा धाराओं का उपयोग कर सकते हैं जिनमें लंबाई प्रतिबंध नहीं है।

आइए देखें कि हमें नोड के सेट के लिए क्या मिलता है।

अगला, हम पुस्तक के अनुसार काम करेंगे। हम एक ऑब्जेक्ट बनाएंगे जो सिस्टम लाइब्रेरी% XML.Reader से एक क्लास का उपयोग करके XML को मूल भाषा के रूप में समझता है:

 set reader = ##class(%XML.Reader).%New() 

हम इसे निर्देश देंगे कि क्या लेना है, और बाकी को अनदेखा करना है। हम एक एकल वर्ग लेंगे:

 do reader.Correlate("node","OSM.node") 

उसके बाद, मूल एमबीडी फ़ाइल प्राप्त करने के विभिन्न तरीके हैं। यदि सुविधाजनक है, तो आप इसे स्थानीय रूप से आईआरआईएस सर्वर के फाइल सिस्टम में स्टोरेज रिपॉजिटरी के बगल में रख सकते हैं। या, मेरे उदाहरण के अनुसार, इसे HTTP के माध्यम से भेजने का अनुरोध करें। एक अधिक सार्वभौमिक विकल्प भी है, जिसके बारे में मैं नीचे बात करूंगा।

 set url="http://localhost/kaliningrad-latest.osm" write reader.OpenUrl(url) 

महत्वपूर्ण! इस बिंदु पर, ज्यादातर लोग जो खुद के लिए इस उदाहरण की कोशिश करते हैं, कुछ भयावहता से सामना करेंगे। एक खुश "1" (सब कुछ ठीक है) के बजाय, सिस्टम "0, स्टोर ..." के साथ शुरू होने वाले कुछ को लौटाएगा और यह निराशाजनक होगा। दूसरे शब्दों में, जो फाइल mBD लगती है, वह इतनी सूक्ष्म नहीं है, और हमारी वस्तु पर फिट नहीं होगी। इसमें पर्याप्त मेमोरी आवंटित नहीं की गई थी। क्या इसे ठीक किया जा सकता है? निश्चित रूप से। आईआरआईएस डेटा प्लेटफॉर्म आपको रैम में 4 टीबी तक की वस्तुओं को बनाने की अनुमति देता है। तो क्या गलत हुआ? डिफ़ॉल्ट रूप से, सिस्टम सेटिंग्स में ऑब्जेक्ट का आकार 256 एमबी है। लेकिन हमें इससे कहीं ज्यादा की जरूरत है। और याद रखें, ये रैम की आवश्यकताएं हैं। क्या आपके कंप्यूटर / सर्वर पर पर्याप्त जगह है?

मैंने इस विशालकाय को समायोजित करने के लिए स्मृति की मात्रा निर्धारित करने के लिए प्रयोग किया: लगभग 170 जीबी। इसे सेटिंग में निर्दिष्ट करना होगा (मेनू> मेमोरी कॉन्फ़िगर करें> अधिकतम मेमोरी क्षमता प्रति प्रक्रिया (KB)) या सिस्टम चर $ ZSTORAGE (किलोबाइट में) के माध्यम से:

 set $ZSTORAGE=170000000 

क्या आपने सही मेमोरी सेटिंग्स के साथ एक नई प्रक्रिया चलाई थी? फिर अगला भाग आसान है: हम सिर्फ पढ़ते हैं और बचाते हैं।

एक विकल्प (और शायद बेहतर) विकल्प भी है:% XML की UsePPG हैंडलर संपत्ति का उपयोग करें । रीडर क्लास, जो आपको XML को मेमोरी में स्टोर नहीं करने देता है और मानक मेमोरी सेटिंग्स के साथ काम करता है।

 set reader = ##class(%XML.Reader).%New() set reader.UsePPGHandler = 1 

अगला ... सहसंबंधी / पढ़ें, आदि। ...

 do reader.Next(.object) do object.%Save() 

और इतने पर, प्रत्येक ऑपरेशन के लिए 1,180,849 बार :-) यह थकाऊ है। इसलिए हम समान आदेशों के आधार पर, आयात करने के लिए अपना OSM.map वर्ग विधि जोड़ेंगे:

 ClassMethod Import(url) { Set reader = ##class(%XML.Reader).%New() Set reader.UsePPGHandler = 1 Set status = reader.OpenURL(url) Do reader.Correlate("node","OSM.node") While (reader.Next(.object)) { Do object.%Save() } //back to top of XML file Do reader.Rewind() Do reader.Correlate("way","OSM.way") While (reader.Next(.object)) { Do object.%Save() } Do reader.Rewind() Do reader.Correlate("relation","OSM.relation") While (reader.Next(.object)) { Do object.%Save() } } 

हम टर्मिनल में सिर्फ एक कमांड के साथ अपने कंप्यूटर के एक्सोकार्टेक्स की शक्ति का उपयोग करेंगे:

 do ##class(OSM.osm).Import("http://localhost/kaliningrad-latest.osm") 

और इसलिए, हमें खुले से पता डेटा मिलता है और शायद बहुत विश्वसनीय स्रोत नहीं है। यह समान चरणों से गुजरने का समय है, लेकिन उन आंकड़ों पर भरोसा किया जा सकता है। और यह भी मानकीकृत, साफ-सुथरा, अच्छी तरह से प्रलेखित, और सही सरकारी निकाय द्वारा बनाया गया है: यह किंवदंतियों की बात है। अपने क्रेडिट के लिए, रूसी कर सेवा अपने डिजिटल उत्पाद के साथ एक अच्छा काम कर रही है। इस हद तक कि एक अच्छा काम संभव है। यह सुनिश्चित करने के लिए, इसकी कमियां हैं, और डेटा क्लीन-अप जारी है। हम इसे कैसे हल कर सकते हैं, सरकार के नेताओं को इस पर विचार करना चाहिए। वे अपने लिए निर्णय ले रहे हैं जो हम सभी को लाभान्वित करें।

और अब चलो अधिक समझ से बाहर हो - हम अपने स्रोत से सही डेटा पढ़ने के लिए पता सिखाएंगे। सौभाग्य से, संघीय कर सेवा डेटा सेट में XML दस्तावेज़ संरचना के लिए तैयार विवरण हैं। डेटा के साथ आने वाली FIAS वेबसाइट के विवरण के अनुसार, हमें ADDROBJ डेटा सेट की आवश्यकता होगी, जो मेरे मामले में, AS_ADDROBJ_2_250_01_04_01_01.xsd फ़ाइल से मेल खाती है

अगला, चलो XSD स्कीमा विज़ार्ड का उपयोग करें। हम टर्मिनल में संचालन करेंगे:

 set xmlScheme = ##class(%XML.Utils.SchemaReader).%New() do xmlScheme.Process("/path/to/AS_ADDROBJ_2_250_01_04_01_01.xsd") 

परिणामस्वरूप, हमारे पास दो वर्ग हैं जो हमारे पते की संरचना को पूरी तरह से दर्शाते हैं XML:

Test.AddressObjects

 /// Composition and structure of the file with classifier information for FIAS DB elements in address form Class Test.AddressObjects Extends (%Persistent, %XML.Adaptor) [ ProcedureBlock ] { Parameter XMLNAME = "AddressObjects"; Parameter XMLSEQUENCE = 1; /// Classifier for elements in address form Relationship Object As Test.Object(XMLNAME = "Object", XMLPROJECTION = "ELEMENT") [ Cardinality = many, Inverse = AddressObjects ]; } 

Test.Object

 /// Created from: http://localhost:28869/AS_ADDROBJ_2_250_01_04_01_01.xsd Class Test.Object Extends (%Persistent, %XML.Adaptor) [ ProcedureBlock ] { Parameter XMLNAME = "Object"; Parameter XMLSEQUENCE = 1; /// Global unique identifier of the address object Property AOGUID As %String(MAXLEN = 36, MINLEN = 36, XMLNAME = "AOGUID", XMLPROJECTION = "ATTRIBUTE") [ Required ]; /// Formal name Property FORMALNAME As %String(MAXLEN = 120, MINLEN = 1, XMLNAME = "FORMALNAME", XMLPROJECTION = "ATTRIBUTE") [ Required ]; /// Region code Property REGIONCODE As %String(MAXLEN = 2, MINLEN = 2, XMLNAME = "REGIONCODE", XMLPROJECTION = "ATTRIBUTE") [ Required ]; /// Autonomy code Property AUTOCODE As %String(MAXLEN = 1, MINLEN = 1, XMLNAME = "AUTOCODE", XMLPROJECTION = "ATTRIBUTE") [ Required ]; /// Area code Property AREACODE As %String(MAXLEN = 3, MINLEN = 3, XMLNAME = "AREACODE", XMLPROJECTION = "ATTRIBUTE") [ Required ]; /// City code Property CITYCODE As %String(MAXLEN = 3, MINLEN = 3, XMLNAME = "CITYCODE", XMLPROJECTION = "ATTRIBUTE") [ Required ]; /// Code of area within city Property CTARCODE As %String(MAXLEN = 3, MINLEN = 3, XMLNAME = "CTARCODE", XMLPROJECTION = "ATTRIBUTE") [ Required ]; /// Locality code Property PLACECODE As %String(MAXLEN = 3, MINLEN = 3, XMLNAME = "PLACECODE", XMLPROJECTION = "ATTRIBUTE") [ Required ]; /// Planning structure element code Property PLANCODE As %String(MAXLEN = 4, MINLEN = 4, XMLNAME = "PLANCODE", XMLPROJECTION = "ATTRIBUTE") [ Required ]; /// Street code Property STREETCODE As %String(MAXLEN = 4, MINLEN = 4, XMLNAME = "STREETCODE", XMLPROJECTION = "ATTRIBUTE"); /// Code of additional element in address form Property EXTRCODE As %String(MAXLEN = 4, MINLEN = 4, XMLNAME = "EXTRCODE", XMLPROJECTION = "ATTRIBUTE") [ Required ]; /// Code of subordinate additional element in address form Property SEXTCODE As %String(MAXLEN = 3, MINLEN = 3, XMLNAME = "SEXTCODE", XMLPROJECTION = "ATTRIBUTE") [ Required ]; /// Official name Property OFFNAME As %String(MAXLEN = 120, MINLEN = 1, XMLNAME = "OFFNAME", XMLPROJECTION = "ATTRIBUTE"); /// Postal code Property POSTALCODE As %String(MAXLEN = 6, MINLEN = 6, XMLNAME = "POSTALCODE", XMLPROJECTION = "ATTRIBUTE"); /// Federal Tax Service - Private Individual code Property IFNSFL As %String(MAXLEN = 4, MINLEN = 4, XMLNAME = "IFNSFL", XMLPROJECTION = "ATTRIBUTE"); /// Federal Tax Service - Private Individual territorial district code Property TERRIFNSFL As %String(MAXLEN = 4, MINLEN = 4, XMLNAME = "TERRIFNSFL", XMLPROJECTION = "ATTRIBUTE"); /// Federal Tax Service - Legal Entity code Property IFNSUL As %String(MAXLEN = 4, MINLEN = 4, XMLNAME = "IFNSUL", XMLPROJECTION = "ATTRIBUTE"); /// Federal Tax Service - Legal Entity territorial district code Property TERRIFNSUL As %String(MAXLEN = 4, MINLEN = 4, XMLNAME = "TERRIFNSUL", XMLPROJECTION = "ATTRIBUTE"); /// Russian Classification on Objects of Administrative Division Property OKATO As %String(MAXLEN = 11, MINLEN = 11, XMLNAME = "OKATO", XMLPROJECTION = "ATTRIBUTE"); /// Russian Classification of Territories of Municipal Formations Property OKTMO As %String(MAXLEN = 11, MINLEN = 8, XMLNAME = "OKTMO", XMLPROJECTION = "ATTRIBUTE"); /// Date of record entry Property UPDATEDATE As %Date(XMLNAME = "UPDATEDATE", XMLPROJECTION = "ATTRIBUTE") [ Required ]; /// Short name of object type Property SHORTNAME As %String(MAXLEN = 10, MINLEN = 1, XMLNAME = "SHORTNAME", XMLPROJECTION = "ATTRIBUTE") [ Required ]; /// Address object level Property AOLEVEL As %Integer(XMLNAME = "AOLEVEL", XMLPROJECTION = "ATTRIBUTE", XMLTotalDigits = 10) [ Required ]; /// Object identifier of the parent object Property PARENTGUID As %String(MAXLEN = 36, MINLEN = 36, XMLNAME = "PARENTGUID", XMLPROJECTION = "ATTRIBUTE"); /// Unique record identifier. Key field. Property AOID As %String(MAXLEN = 36, MINLEN = 36, XMLNAME = "AOID", XMLPROJECTION = "ATTRIBUTE") [ Required ]; /// Record identifier associated with previous historical record Property PREVID As %String(MAXLEN = 36, MINLEN = 36, XMLNAME = "PREVID", XMLPROJECTION = "ATTRIBUTE"); /// Record identifier associated with next historical record Property NEXTID As %String(MAXLEN = 36, MINLEN = 36, XMLNAME = "NEXTID", XMLPROJECTION = "ATTRIBUTE"); /// Address object code in one string with validity indicator from Russian Classifier of Addresses (KLADR) 4.0. Property CODE As %String(MAXLEN = 17, MINLEN = 0, XMLNAME = "CODE", XMLPROJECTION = "ATTRIBUTE"); /// Address object code from KLADR 4.0 in one string without validity indicator (last two digits) Property PLAINCODE As %String(MAXLEN = 15, MINLEN = 0, XMLNAME = "PLAINCODE", XMLPROJECTION = "ATTRIBUTE"); /// Validity status of FIAS address object. Current address as of today's date. Usually the last entry about the address object. /// 0 - Not current /// 1 - Current Property ACTSTATUS As %Integer(XMLNAME = "ACTSTATUS", XMLPROJECTION = "ATTRIBUTE", XMLTotalDigits = 10) [ Required ]; /// Center status Property CENTSTATUS As %Integer(XMLNAME = "CENTSTATUS", XMLPROJECTION = "ATTRIBUTE", XMLTotalDigits = 10) [ Required ]; /// Operation status on record - reason for record's appearance (see description of OperationStatus table): /// 01 – Activation; /// 10 – Addition; /// 20 – Change; /// 21 – Group change; /// 30 – Deletion; /// 31 - Deletion due to the deletion of the parent object; /// 40 – Attachment of the address object (merger); /// 41 – Reassignment due to the merger of the parent object; /// 42 - Termination due to the attachment to another address object; /// 43 - Creation of a new address object due to a merger of address objects; /// 50 – Reassignment; /// 51 – Reassignment due to the reassignment of the parent object; /// 60 – Termination due to segmentation; /// 61 – Creation of a new address object due to segmentation Property OPERSTATUS As %Integer(XMLNAME = "OPERSTATUS", XMLPROJECTION = "ATTRIBUTE", XMLTotalDigits = 10) [ Required ]; /// KLADR 4 validity status (last two digits in the code) Property CURRSTATUS As %Integer(XMLNAME = "CURRSTATUS", XMLPROJECTION = "ATTRIBUTE", XMLTotalDigits = 10) [ Required ]; /// Start of record operation Property STARTDATE As %Date(XMLNAME = "STARTDATE", XMLPROJECTION = "ATTRIBUTE") [ Required ]; /// End of record operation Property ENDDATE As %Date(XMLNAME = "ENDDATE", XMLPROJECTION = "ATTRIBUTE") [ Required ]; /// Foreign key to requirements document Property NORMDOC As %String(MAXLEN = 36, MINLEN = 36, XMLNAME = "NORMDOC", XMLPROJECTION = "ATTRIBUTE"); /// Current address object indicator Property LIVESTATUS As %xsd.byte(VALUELIST = ",0,1", XMLNAME = "LIVESTATUS", XMLPROJECTION = "ATTRIBUTE") [ Required ]; /// Address type: /// 0 - not defined /// 1 - municipal; /// 2 - administrative/territorial Property DIVTYPE As %xsd.int(VALUELIST = ",0,1,2", XMLNAME = "DIVTYPE", XMLPROJECTION = "ATTRIBUTE") [ Required ]; Relationship AddressObjects As Test.AddressObjects(XMLPROJECTION = "NONE") [ Cardinality = one, Inverse = Object ]; } 

FIAS में XML फ़ाइलों की पूरी सूची में से, हम केवल क्षेत्रों, शहरों और सड़कों के नाम वाली फ़ाइल का उपयोग करेंगे। जब मैं प्रकाशन की तैयारी कर रहा था, मेरे पास यह था:

 AS_ADDROBJ_20190106_90809714-fe22-45b2-929c-52bd950963e0.XML 

चलो कुछ FIAS भरवां काली मिर्च पकाना। यह आगे के लिए एक शानदार भविष्य की तैयारी है। सबसे पहले, हम प्रारंभिक न्यूनतम सेट प्राप्त करेंगे। ये एकमात्र ऐसी सामग्रियां हैं जिनकी हमें आवश्यकता होगी:

 Class FIAS.AddressObject Extends (%Persistent, %XML.Adaptor) [ ProcedureBlock ] { Parameter XMLNAME = "Object"; Parameter XMLSEQUENCE = 1; /// Global unique identifier of the address object Property AOGUID As %String(MAXLEN = 36, MINLEN = 36, XMLNAME = "AOGUID", XMLPROJECTION = "ATTRIBUTE") [ Required ]; /// Official name Property OFFNAME As %String(MAXLEN = 120, MINLEN = 1, XMLNAME = "OFFNAME", XMLPROJECTION = "ATTRIBUTE"); /// Postal code Property POSTALCODE As %String(MAXLEN = 6, MINLEN = 6, XMLNAME = "POSTALCODE", XMLPROJECTION = "ATTRIBUTE"); /// Short name of object type Property SHORTNAME As %String(MAXLEN = 10, MINLEN = 1, XMLNAME = "SHORTNAME", XMLPROJECTION = "ATTRIBUTE") [ Required ]; /// Address object level Property AOLEVEL As %Integer(XMLNAME = "AOLEVEL", XMLPROJECTION = "ATTRIBUTE", XMLTotalDigits = 10) [ Required ]; /// Object identifier of the parent object Property PARENTGUID As %String(MAXLEN = 36, MINLEN = 36, XMLNAME = "PARENTGUID", XMLPROJECTION = "ATTRIBUTE"); /// Unique record identifier. Key field. Property AOID As %String(MAXLEN = 36, MINLEN = 36, XMLNAME = "AOID", XMLPROJECTION = "ATTRIBUTE") [ Required ]; } 

हम एक ऑब्जेक्ट बनाएंगे जो सिस्टम लाइब्रेरी% XML.Reader से एक क्लास का उपयोग करके XML को मूल भाषा के रूप में समझता है:

 set reader = ##class(%XML.Reader).%New() 

हम इसे इस बारे में निर्देश देंगे कि किसे लेना है, और इसे बाकी को अनदेखा करने के लिए कहें। हम परीक्षण के लिए एकल सेवा लेंगे।

अगला ... सहसंबंधी / पढ़ें, आदि। ...

 do reader.Correlate("Object","FIAS.AddressObject") set url="http://localhost/AS_ADDROBJ_20190106_90809714-fe22-45b2-929c-52bd950963e0.XML" write reader.OpenUrl(url) 

फिर अगला भाग आसान है: हम सिर्फ पढ़ते हैं और बचाते हैं।

 do reader.Next(.object) do object.%Save() 

और इतने पर, प्रत्येक ऑपरेशन के लिए 3,722,548 बार :-)

यह पहले से भी ज्यादा थका देने वाला है। इसीलिए हम अपने FIAS.AddressObject को उसी कमांड के आधार पर आयात करने के लिए श्रेणी विधि जोड़ेंगे:

 ClassMethod Import() { // Create object to read XML Set reader = ##class(%XML.Reader).%New() // Get source XML for parsing Set status = reader.OpenURL("http://localhost/AS_ADDROBJ_20190106_90809714-fe22-45b2-929c-52bd950963e0.XML") If $$$ISERR(status) {Do $System.Status.DisplayError(status)} // Join object with the right sample structure Do reader.Correlate("Object","FIAS.AddressObject") // Read and save the object in storage While (reader.Next(.object,.status)) { Set status = object.%Save() If $$$ISERR(status) {do $System.Status.DisplayError(status)} } // If an error occurs during parsing, display a message If $$$ISERR(status) {Do $System.Status.DisplayError(status) } 

हम टर्मिनल में सिर्फ एक कमांड के साथ अपने कंप्यूटर के एक्सोकार्टेक्स की शक्ति का उपयोग करेंगे:

 do ##class(FIAS.AddressObject).Import() 

डिनर तैयार है, सब लोग। यह mBD था, और अब यह एक तैयार पकवान है, रूसी शहरों के सत्यापित नामों के साथ एक वैश्विक।



और, अंत में, 4TB पर्याप्त नहीं होने पर क्या करना है, इसके बारे में कुछ शब्द। उस स्थिति में, हम धाराओं का उपयोग करते हैं । प्रलेखन में सब कुछ निर्धारित किया गया है। आप बाइनरी या वर्णों का उपयोग कर सकते हैं। एक वैश्विक में भंडारण भी संभव है। यहां नुस्खा है: धारा ले लो, इसे टुकड़ों में काट लें, और इसे उन वस्तुओं को असाइन करें जिन्हें हमें उपभोग के लिए आवश्यक है।

सुंदर पते वाले ऑब्जेक्टस्क्रिप्ट ऑब्जेक्ट्स और पायथन एपीआई पर यहां पर्याप्त जगह नहीं थी। वह एक और कहानी होगी।

अच्छी खबर: गार्टनर ने डीबीएमएस की श्रेणी में वास्तविक उपयोगकर्ता रेटिंग और प्रतिक्रिया का अपना वार्षिक संग्रह अभी पूरा किया है और इस जानकारी का उपयोग 2019 के सर्वश्रेष्ठ डीबीएमएस की अपनी रैंकिंग को प्रकाशित करने के लिए किया है। इंटरसिस्टम्स कैच और इंटरसिस्टम आईआरआईएस प्लेटफॉर्म को "ग्राहकों के लिए उच्चतम रेटिंग प्राप्त हुई है" 'विकल्प। " आप यह देख सकते हैं कि किन उत्पादों पर विचार किया गया था और उन्हें कैसे रेट किया गया था।

ग्राहकों द्वारा समीक्षित के रूप में 2019 का सर्वश्रेष्ठ ऑपरेशनल डेटाबेस मैनेजमेंट सिस्टम सॉफ्टवेयर।