💧 🧓 👂🏽 मेरा पता घर या गली नहीं है, मेरा पता सोवियत संघ है? 💇🏼 ⚱️ 🤳🏾

अपनी जेब में microBIGDATA या FIAS

पीटर ब्रुगल द यंगर, टैक्स पेमेंट , 1640

ऑब्जेक्ट पर शेवर पर अंतिम प्रविष्टि गई। हम युद्ध में टोह लेते रहेंगे। आज हम मुश्किल के बारे में बात करेंगे। यह बड़ी डेटा के बारे में अभी तक नहीं है, लेकिन यह काम करने के लिए पहले से ही असुविधाजनक है - बड़ी मात्रा में डेटा। हर कोई पूरे रैम में फिट नहीं होगा, लेकिन कुछ डिस्क पर भी फिट नहीं होगा (पर्याप्त जगह नहीं है, लेकिन बहुत सारे कचरा)। हमारे विश्वास का नाम FIAS डेटाबेस संघीय पता सूचना प्रणाली का डेटाबेस है। 5.5 जीबी संग्रह। और यह एक XML संग्रह में संकुचित है। अनपैक करने के बाद, एक पूर्ण 53 जीबी (अनपैकिंग के लिए स्टोर 110 जीबी) होगा। और जब आप इसे पार्स करना और इसे परिवर्तित करना शुरू करते हैं, तो 110 जीबी पर्याप्त नहीं होगा। रैम के बारे में आवश्यक राशि भी होगी।

सब कुछ ठीक होगा, लेकिन आप आगे खुदाई कर सकते हैं। इस तरह के एक अंतरराष्ट्रीय ओपन सोर्स डेटा संग्रह और सिस्टमैटाइजेशन प्रोजेक्ट है - ओपनएड्रेस । इसलिए अधिक डेटाबेस होंगे। ग्रह के वर्तमान कवरेज में कई सफेद धब्बे हैं, उदाहरण के लिए, रूस लगभग अनुपस्थित है। संग्रह का आकार 10 जीबी है।

या एक काफी प्रसिद्ध OpenStreetMaps परियोजना का डेटाबेस। यह स्वयंसेवकों द्वारा विकिपीडिया के आधार पर बनाया गया है। बहुत विस्तृत और बहुभाषी। अब 74 जीबी के आकार के साथ संकुचित एक्सएमएल का एक पूरा संग्रह।

अगर वे पते के बारे में बात करना शुरू कर देते हैं, तो अप्रत्याशित खबर डक डकगो से समय पर आ गई , जो आज के लिए सबसे अच्छा सुरक्षित खोज इंजन है, जो कि ऐप्पल कार्ड में इसके संक्रमण के बारे में है। अधिक सटीक रूप से Apple MapKit JS पर। हमारे संदर्भ में सबसे दिलचस्प विशेषता "बेहतर पता खोज" है। क्या Apple हमारे डेटा को सबसे बेहतर तरीके से इकट्ठा और सुरक्षित कर रहा है? यह ट्रेस करने के लिए आवश्यक होगा ...

तो चुनौती। उपयोग के लिए एक सुखद भंडार में यह सब पता धन कैसे लगाया जाए, जिससे आप एक मुफ्त एपीआई (निश्चित रूप से पायथन में) के बारे में सपना देख सकें, और अपने प्रिय लोहे को बिना पढ़े हुए लोड पर न जाने दें। इसे माइक्रोइगडाटा कहते हैं - अंग्रेजी में mcBD या μBG :-)

हर दूसरे (या यहां तक कि पहले) डेवलपर की अर्थव्यवस्था में, यह बात एक एड्रेस डायरेक्टरी है, यह टॉपोनीम्स की डायरेक्टरी भी है, बहुत जरूरी चीज। और जब यह सही शरीर द्वारा तैयार, साफ और अच्छी तरह से प्रलेखित है, तो भी आदर्श है - सिर्फ एक परी कथा। हमें श्रद्धांजलि अर्पित करनी चाहिए, रूसी कर सेवा अपने डिजिटल उत्पादन को अच्छी तरह से कर रही है। जहाँ तक हो सके। शायद अंदर कुछ खामियां हैं और डेटा सफाई जारी है। इस मुद्दे को कैसे सुलझाया जाए, राष्ट्राध्यक्षों को सोचने दें। वे अपने लिए और हम सभी के हित के लिए तय करते हैं। वैसे, FIAS से एक टाइपो नीचे उदाहरण में पाया गया था। परिणाम प्रभावित नहीं होता है। मैंने इसे ठीक नहीं किया। मिल जाएगा?

मुझे पता नहीं है कि आपकी परियोजनाओं में पता डेटा कितना विशिष्ट है - ये सभी क्षेत्र, शहर, सड़कें हैं। लेकिन ऐसा लगता है कि लोगों के लिए एक भी प्रोजेक्ट उनके बिना नहीं चल सकता। यह वह पता है जहां किसी व्यक्ति को देखना है या उसे पार्सल भेजना है। पासपोर्ट या किसी अन्य दस्तावेज का विवरण सहेजा जाना चाहिए। या हो सकता है कि यह काम करने वाले कार्यालय या आकर्षण का पता हो जो यात्रा करने के लिए अनुशंसित हो। और क्या करना है? कहाँ से लाऊँ?

त्रुटियों और डुप्लिकेट के संबंध में सबसे सरल समाधान, आदिम वस्तुएं हैं जिनमें सरल स्ट्रिंग शाब्दिक हैं (वे स्ट्रिंग स्थिरांक हैं, वे भी स्ट्रिंग हैं)। उपयोगकर्ताओं को अगली प्राप्त प्रविष्टियाँ दर्ज करने दें। और वस्तुएं खुद को बचाने में सक्षम हैं - हम पहले ही इसे पारित कर चुके हैं ।

उदाहरण के लिए, नीचे की कक्षा में वर्णित ऐसी वस्तुएँ हैं। सीधे पाठ्यपुस्तक से , भले ही अमेरिकी, लेकिन हमारी रूसी वास्तविकता के लिए समायोजित - उनके ज़िप के बजाय, हमारे पोस्टकोड होंगे। मैं एक नंबर के साथ ज़िप कोड को भी बदलूंगा, लेकिन एकरसता के कारण मैं एक स्ट्रिंग छोड़ देता हूं। कोई भी व्यक्ति जो किसी भाषा को तुरंत पहचानता है, और यह ऑब्जेक्टस्क्रिप्ट है, जैसे उत्साहवर्धक है।

Class Soviet.Address Extends %Persistent { Property streetName As %String; Property cityName As %String; Property areaName As %String; Property postalCode As %String; }

बेशक, कई लोग नाराज होंगे, वे कहते हैं कि सब कुछ वस्तु की जेब (शाब्दिक) से बाहर है। यह कहाँ देखा गया है, ताकि वस्तु सार्वजनिक रूप से अपने खेतों को चमकाए!? आइए हम इसे इस तरह से छोड़ते हैं, यह बहुत ही आकर्षक उदाहरण देता है और किसी भी छात्र के लिए समझ में आता है।

यह वास्तव में वह सब है जिसकी आवश्यकता है। खेतों में भरा। भंडारण में रखें। काम के लिए अन्य वस्तुओं में स्थानांतरित। किसी के आगे आगे घुसना। सब कुछ काम करता है। और संग्रहीत!

लेकिन कुछ शब्द क्यों यह करने लायक नहीं है, यह कहा जाना चाहिए। हमारा ऑब्जेक्ट एड्रेस क्या है? यह सिर्फ टेक्स्ट स्ट्रिंग्स का एक समूह क्यों नहीं हो सकता है? सबसे स्पष्ट आपत्तियां जो मन में आती हैं वे संदर्भ से आती हैं - जो इस पते का उपयोग करता है, किस रूप में और किस उद्देश्य से करता है? अपनी प्रोग्रामिंग सोच को अलग रखने की कोशिश करें और कल्पना करें कि एक "विदेशी पर्यटक", "इतिहासकार", "कर निरीक्षक", "वकील" इत्यादि।

मेरा मानना है कि तुरंत अतिरिक्त प्रश्नों और स्पष्टीकरणों का एक मेजबान पैदा होता है: किस भाषा का उपयोग करना है, जिसमें स्टोर करने और देने के लिए कोडिंग करना है, किस युग को वर्गीकृत करना है, क्या दस्तावेजों को प्रभावी, कानूनी या पोस्टल में डाला जाता है? एक शहर का नाम बस्ती है या क्या? यहां तक कि एक सड़क एक बुलेवार्ड, एक साइड स्ट्रीट, एवेन्यू या कुछ और हो सकती है। इन सभी महत्वपूर्ण कार्यान्वयन विवरणों के साथ क्या करना है?

एक जीवंत उदाहरण लीजिए। गूगल अब सुंदर पिचाई द्वारा चलाया जाता है। वह खुद भारत से हैं। चेन्नई शहर में जन्मे (उर्फ चेन्नई)। या मद्रास में? 1996 में, भारतीयों ने फैसला किया कि शहर का नाम बहुत पुर्तगाली था और इसका नाम तमिलनाडु की राजधानी मद्रास से चेन्नई रखा गया। और सुंदर और उनके हमवतन के 72 मिलियन को अपने इलेक्ट्रॉनिक दस्तावेजों में क्या लिखना चाहिए?

सामान्य तौर पर, पूरा विज्ञान इस पर लागू होता है - अनुप्रयुक्त सामयिकता ।

तो सवाल भीख माँगते हैं। समय और तारीख से कैसे निपटें? क्या पैसा इतना स्पष्ट है ? क्या भौगोलिक निर्देशांक इतने सरल हैं? और यह आपके कोड में कैसे लागू किया जाता है? क्या आप अमूर्त के स्तर को कम किए बिना चयनित DBMS में स्थानांतरित कर सकते हैं? परमाणु प्रकार के मशीन डेटा में कैसे न फिसलें और उनके पुनर्निर्माण के बारे में लगातार सोचें? यहाँ यह एक आदिम या, इसके विपरीत, ध्वनि एपीआई के स्रोत की तलाश के लायक है। अपने अवकाश पर इसके बारे में सोचो।

संक्षेप में, संदर्भ सबसे महत्वपूर्ण है। और ऑब्जेक्ट मॉडल हमें "मशीन डेटा" के एनकैप्सुलेशन और संदर्भ-संवेदनशील "लाइव" व्यवहार के कार्यान्वयन के माध्यम से सीधे इसका उपयोग करने में सक्षम बनाता है। नहीं है कि निम्न स्तर के tuples तालिकाओं में बाहर ;-)

इस बीच, हमें "आदिम" कार्यान्वयन पर वापस लौटना चाहिए और हमारे जीवन को जटिल बनाना चाहिए। शुरू करने के लिए, त्रुटियों और डुप्लिकेट को समाप्त करें। यही है, हम तुरंत सही पते को लिखने का एक तरीका तलाश करेंगे। उसी समय, हम उपयोगकर्ता इंटरफ़ेस के डेवलपर्स को डेटा प्रविष्टि फ़ील्ड भरने के दौरान उपयोगकर्ताओं के लिए युक्तियां व्यवस्थित करने में मदद करेंगे।

जब दो लोग एक जगह - ग्रंथों और इंटरसिस्टम आईआरआईएस डेटा प्लेटफॉर्म में इकट्ठा होते हैं, तो डेवलपर के पास मशीन को छोड़ने के बिना पूर्ण को तैनात करने का एक वास्तविक अवसर होता है। उदाहरण के लिए, अंतर्निहित ऑब्जेक्ट घटकों का उपयोग करना iKnow और iFind । ये क्रमशः असंरचित डेटा और पूर्ण-पाठ खोज के साथ काम करने के लिए घटक हैं। रूसी "बॉक्स से बाहर" समर्थित है।

पहले चीजें पहले, हम मूल स्रोत से आवश्यक डेटा पढ़ने के लिए पता सिखाएंगे। सौभाग्य से, संघीय कर सेवा के डेटा सेट में XML दस्तावेजों की संरचना का तैयार विवरण है। FIAS वेबसाइट के डेटा से जुड़े विवरण के अनुसार, हमें ADDROBJ डेटा सेट की आवश्यकता है, जो, मेरे मामले में, AS_ADDROBJ_2_250_01_04_01_01.xsd फ़ाइल से मेल खाती है

अगला, हम XSD टेम्पलेट के सिस्टम कनवर्टर का उपयोग% XML.Adaptor वर्ग के संबंधित क्षेत्र संरचना के लिए करेंगे, कृपया हमारे लिए IRIS डेवलपर्स द्वारा तैयार किया गया है। शुरुआत में प्रतिशत संकेत का मतलब है कि यह सिस्टम लाइब्रेरी से एक वर्ग है। उपयोग के विवरण प्रलेखन में हैं । हम टर्मिनल में परिचालन करेंगे।

 set xmlScheme = ##class(%XML.Utils.SchemaReader).%New() do xmlScheme.Process("http://localhost/AS_ADDROBJ_2_250_01_04_01_01.xsd")

इसे Atelier IDE (टूल> एड-इन> XML स्कीमा विज़ार्ड मेनू में) या प्रोग्राम कोड से ऑब्जेक्ट के समान अनुरोधों के द्वारा प्राप्त किया जा सकता है।

चूंकि हमने मापदंडों को निर्दिष्ट किए बिना निर्माणकर्ता का उपयोग किया, अर्थात् परिणामी कक्षाएं रखने के लिए पैकेज का नाम, वे टेस्ट पैकेज में समाप्त हो गए। जैसा कि आप दूसरी कमांड से देख सकते हैं, मैंने पायथन में अपने स्थानीय वेब सर्वर के माध्यम से स्कीम फाइल दी:

 python3 -m http.server 80

आप किसी अन्य http-सर्वर का उपयोग कर सकते हैं जो आपको पसंद है। या फ़ाइल को अपने आईआरआईएस सर्वर पर अपलोड करें और इसका सीधा रास्ता बताएं।

परिणामस्वरूप, हमारे पास दो वर्ग हैं जो हमारे पता योग्य XML की संरचना को पूरी तरह से दर्शाते हैं:

Test.AddressObjects

 ///            Class Test.AddressObjects Extends (%Persistent, %XML.Adaptor) [ ProcedureBlock ] { Parameter XMLNAME = "AddressObjects"; Parameter XMLSEQUENCE = 1; ///    Relationship Object As Test.Object(XMLNAME = "Object", XMLPROJECTION = "ELEMENT") [ Cardinality = many, Inverse = AddressObjects ]; }

Test.Object

 ///  : http://localhost:28869/AS_ADDROBJ_2_250_01_04_01_01.xsd Class Test.Object Extends (%Persistent, %XML.Adaptor) [ ProcedureBlock ] { Parameter XMLNAME = "Object"; Parameter XMLSEQUENCE = 1; ///      Property AOGUID As %String(MAXLEN = 36, MINLEN = 36, XMLNAME = "AOGUID", XMLPROJECTION = "ATTRIBUTE") [ Required ]; ///   Property FORMALNAME As %String(MAXLEN = 120, MINLEN = 1, XMLNAME = "FORMALNAME", XMLPROJECTION = "ATTRIBUTE") [ Required ]; ///   Property REGIONCODE As %String(MAXLEN = 2, MINLEN = 2, XMLNAME = "REGIONCODE", XMLPROJECTION = "ATTRIBUTE") [ Required ]; ///   Property AUTOCODE As %String(MAXLEN = 1, MINLEN = 1, XMLNAME = "AUTOCODE", XMLPROJECTION = "ATTRIBUTE") [ Required ]; ///   Property AREACODE As %String(MAXLEN = 3, MINLEN = 3, XMLNAME = "AREACODE", XMLPROJECTION = "ATTRIBUTE") [ Required ]; ///   Property CITYCODE As %String(MAXLEN = 3, MINLEN = 3, XMLNAME = "CITYCODE", XMLPROJECTION = "ATTRIBUTE") [ Required ]; ///    Property CTARCODE As %String(MAXLEN = 3, MINLEN = 3, XMLNAME = "CTARCODE", XMLPROJECTION = "ATTRIBUTE") [ Required ]; ///    Property PLACECODE As %String(MAXLEN = 3, MINLEN = 3, XMLNAME = "PLACECODE", XMLPROJECTION = "ATTRIBUTE") [ Required ]; ///     Property PLANCODE As %String(MAXLEN = 4, MINLEN = 4, XMLNAME = "PLANCODE", XMLPROJECTION = "ATTRIBUTE") [ Required ]; ///   Property STREETCODE As %String(MAXLEN = 4, MINLEN = 4, XMLNAME = "STREETCODE", XMLPROJECTION = "ATTRIBUTE"); ///     Property EXTRCODE As %String(MAXLEN = 4, MINLEN = 4, XMLNAME = "EXTRCODE", XMLPROJECTION = "ATTRIBUTE") [ Required ]; ///      Property SEXTCODE As %String(MAXLEN = 3, MINLEN = 3, XMLNAME = "SEXTCODE", XMLPROJECTION = "ATTRIBUTE") [ Required ]; ///   Property OFFNAME As %String(MAXLEN = 120, MINLEN = 1, XMLNAME = "OFFNAME", XMLPROJECTION = "ATTRIBUTE"); ///   Property POSTALCODE As %String(MAXLEN = 6, MINLEN = 6, XMLNAME = "POSTALCODE", XMLPROJECTION = "ATTRIBUTE"); ///    Property IFNSFL As %String(MAXLEN = 4, MINLEN = 4, XMLNAME = "IFNSFL", XMLPROJECTION = "ATTRIBUTE"); ///      Property TERRIFNSFL As %String(MAXLEN = 4, MINLEN = 4, XMLNAME = "TERRIFNSFL", XMLPROJECTION = "ATTRIBUTE"); ///    Property IFNSUL As %String(MAXLEN = 4, MINLEN = 4, XMLNAME = "IFNSUL", XMLPROJECTION = "ATTRIBUTE"); ///      Property TERRIFNSUL As %String(MAXLEN = 4, MINLEN = 4, XMLNAME = "TERRIFNSUL", XMLPROJECTION = "ATTRIBUTE"); /// OKATO Property OKATO As %String(MAXLEN = 11, MINLEN = 11, XMLNAME = "OKATO", XMLPROJECTION = "ATTRIBUTE"); /// OKTMO Property OKTMO As %String(MAXLEN = 11, MINLEN = 8, XMLNAME = "OKTMO", XMLPROJECTION = "ATTRIBUTE"); ///    Property UPDATEDATE As %Date(XMLNAME = "UPDATEDATE", XMLPROJECTION = "ATTRIBUTE") [ Required ]; ///     Property SHORTNAME As %String(MAXLEN = 10, MINLEN = 1, XMLNAME = "SHORTNAME", XMLPROJECTION = "ATTRIBUTE") [ Required ]; ///    Property AOLEVEL As %Integer(XMLNAME = "AOLEVEL", XMLPROJECTION = "ATTRIBUTE", XMLTotalDigits = 10) [ Required ]; ///     Property PARENTGUID As %String(MAXLEN = 36, MINLEN = 36, XMLNAME = "PARENTGUID", XMLPROJECTION = "ATTRIBUTE"); ///   .  . Property AOID As %String(MAXLEN = 36, MINLEN = 36, XMLNAME = "AOID", XMLPROJECTION = "ATTRIBUTE") [ Required ]; ///        Property PREVID As %String(MAXLEN = 36, MINLEN = 36, XMLNAME = "PREVID", XMLPROJECTION = "ATTRIBUTE"); ///        Property NEXTID As %String(MAXLEN = 36, MINLEN = 36, XMLNAME = "NEXTID", XMLPROJECTION = "ATTRIBUTE"); ///           4.0. Property CODE As %String(MAXLEN = 17, MINLEN = 0, XMLNAME = "CODE", XMLPROJECTION = "ATTRIBUTE"); ///      4.0      (  ) Property PLAINCODE As %String(MAXLEN = 15, MINLEN = 0, XMLNAME = "PLAINCODE", XMLPROJECTION = "ATTRIBUTE"); ///     .     .      . /// 0 –   /// 1 -  Property ACTSTATUS As %Integer(XMLNAME = "ACTSTATUS", XMLPROJECTION = "ATTRIBUTE", XMLTotalDigits = 10) [ Required ]; ///   Property CENTSTATUS As %Integer(XMLNAME = "CENTSTATUS", XMLPROJECTION = "ATTRIBUTE", XMLTotalDigits = 10) [ Required ]; ///     –    (.   OperationStatus): /// 01 – ; /// 10 – ; /// 20 – ; /// 21 –  ; /// 30 – ; /// 31 -     ; /// 40 –    (); /// 41 –     ; /// 42 -        ; /// 43 -         ; /// 50 – ; /// 51 –     ; /// 60 –    ; /// 61 –        Property OPERSTATUS As %Integer(XMLNAME = "OPERSTATUS", XMLPROJECTION = "ATTRIBUTE", XMLTotalDigits = 10) [ Required ]; ///    4 (    ) Property CURRSTATUS As %Integer(XMLNAME = "CURRSTATUS", XMLPROJECTION = "ATTRIBUTE", XMLTotalDigits = 10) [ Required ]; ///    Property STARTDATE As %Date(XMLNAME = "STARTDATE", XMLPROJECTION = "ATTRIBUTE") [ Required ]; ///    Property ENDDATE As %Date(XMLNAME = "ENDDATE", XMLPROJECTION = "ATTRIBUTE") [ Required ]; ///      Property NORMDOC As %String(MAXLEN = 36, MINLEN = 36, XMLNAME = "NORMDOC", XMLPROJECTION = "ATTRIBUTE"); ///     Property LIVESTATUS As %xsd.byte(VALUELIST = ",0,1", XMLNAME = "LIVESTATUS", XMLPROJECTION = "ATTRIBUTE") [ Required ]; ///  : /// 0 -   /// 1 - ; /// 2 - - Property DIVTYPE As %xsd.int(VALUELIST = ",0,1,2", XMLNAME = "DIVTYPE", XMLPROJECTION = "ATTRIBUTE") [ Required ]; Relationship AddressObjects As Test.AddressObjects(XMLPROJECTION = "NONE") [ Cardinality = one, Inverse = Object ]; }

FIAS में xml- फाइलों की पूरी सूची से हम केवल एक फाइल का उपयोग करेंगे जिसमें क्षेत्रों, शहरों और सड़कों के नाम होंगे। प्रकाशन की तैयारी के समय, मेरे पास यह था:
AS_ADDROBJ_20190106_90809714-fe22-45b2-929c-52bd950963e0.XML

फ़ाइल का आकार न तो बड़ा है और न ही छोटा है, लेकिन लगभग 3 जीबी है। आपने इसे सामान्य टेक्स्ट टूल से नहीं खोला है - वे इस आकार को नहीं पचाते हैं।

वैसे, InterSystems IRIS में एक स्ट्रिंग शाब्दिक (स्ट्रिंग प्रकार) की अधिकतम लंबाई 3,641,144 वर्णों से अधिक नहीं है। अर्थात्, फ़ाइल को सीधे डाउनलोड करना या उसमें URL फेल होना। अन्य प्रतिबंधों को प्रलेखन में पाया जा सकता है। बड़ी मात्रा में डेटा के साथ काम करने के लिए, आप डेटा की स्ट्रीम (स्ट्रीम) का उपयोग कर सकते हैं, जिसकी इतनी लंबाई सीमा नहीं है।

आइए देखें कि हमें क्या मिलता है?

कुकिंग FIAS भरवां मिर्च। यह केवल एक अद्भुत भविष्य की तैयारी है। पहले हमें प्रारंभिक न्यूनतम सेट मिलता है। हमें केवल इन सामग्रियों की आवश्यकता है:

 Class FIAS.AddressObject Extends (%Persistent, %XML.Adaptor) [ ProcedureBlock ] { Parameter XMLNAME = "Object"; Parameter XMLSEQUENCE = 1; ///      Property AOGUID As %String(MAXLEN = 36, MINLEN = 36, XMLNAME = "AOGUID", XMLPROJECTION = "ATTRIBUTE") [ Required ]; ///   Property OFFNAME As %String(MAXLEN = 120, MINLEN = 1, XMLNAME = "OFFNAME", XMLPROJECTION = "ATTRIBUTE"); ///   Property POSTALCODE As %String(MAXLEN = 6, MINLEN = 6, XMLNAME = "POSTALCODE", XMLPROJECTION = "ATTRIBUTE"); ///     Property SHORTNAME As %String(MAXLEN = 10, MINLEN = 1, XMLNAME = "SHORTNAME", XMLPROJECTION = "ATTRIBUTE") [ Required ]; ///    Property AOLEVEL As %Integer(XMLNAME = "AOLEVEL", XMLPROJECTION = "ATTRIBUTE", XMLTotalDigits = 10) [ Required ]; ///     Property PARENTGUID As %String(MAXLEN = 36, MINLEN = 36, XMLNAME = "PARENTGUID", XMLPROJECTION = "ATTRIBUTE"); ///   .  . Property AOID As %String(MAXLEN = 36, MINLEN = 36, XMLNAME = "AOID", XMLPROJECTION = "ATTRIBUTE") [ Required ];

इसके बाद, लेखन करें । हम एक ऐसी वस्तु बनाते हैं जो XML को मूल समझती है - हम% XML.Reader सिस्टम लाइब्रेरी से एक वर्ग का उपयोग करते हैं:

 set reader = ##class(%XML.Reader).%New()

और हम उसे हिदायत देते हैं, कि किसे लेना है, और बाकी को अनदेखा करना है। हम एक सेवारत लेंगे:

 do reader.Correlate("Object","FIAS.AddressObject")

फिर मूल माइक्रोब फ़ाइल प्राप्त करने के तरीके पर भिन्नताएं हैं। यदि सुविधाजनक है, तो आप इसे रिपॉजिटरी के बगल में रख सकते हैं - स्थानीय रूप से आईआरआईएस सर्वर की फाइल सिस्टम में। या, मेरे उदाहरण के रूप में, HTTP के माध्यम से भेजने के लिए कहें। एक और भी अधिक सार्वभौमिक विकल्प है, जिसके बारे में नीचे कुछ शब्द होंगे।

 set url="http://localhost/AS_ADDROBJ_20190106_90809714-fe22-45b2-929c-52bd950963e0.XML" write reader.OpenUrl(url)

महत्वपूर्ण! इस समय, बहुमत जो इस उदाहरण को खुद पर पारित करेगा, एक भयानक बात होगी। सिस्टम आनंदमय "1" (सब कुछ क्रम में है) के बजाय वापस आ जाएगा, कुछ "0” स्टोर ... "से शुरू होगा। और यह कृपया नहीं होगा। यही है, एक प्रतीत होता है माइक्रोबेस के साथ फ़ाइल काफी सूक्ष्म नहीं है और हमारी वस्तु में फिट नहीं होती है। उसके लिए आवंटित स्मृति पर्याप्त नहीं थी। हल? बेशक। आईआरआईएस डेटा प्लेटफॉर्म आपको रैम में 4 टीबी तक की वस्तुओं को बनाने की अनुमति देता है। फिर क्या गलत हो गया? डिफ़ॉल्ट रूप से, सिस्टम सेटिंग्स को प्रति ऑब्जेक्ट 256 एमबी पर सेट किया जाता है। और हमें और अधिक की आवश्यकता होगी। और याद रखें, ये रैम की आवश्यकताएं हैं। क्या आपके कंप्यूटर / सर्वर पर पर्याप्त स्टॉक है?

इस विशालकाय को स्थापित करने के लिए हमें किस आकार की मेमोरी की आवश्यकता है जिसे हमने आनुभविक रूप से स्थापित किया है - लगभग 10 जीबी। आपको सेटिंग्स में निर्दिष्ट करने की आवश्यकता है (मेनू> मेमोरी को कॉन्फ़िगर करें> अधिकतम मेमोरी प्रति प्रक्रिया (KB)) या $ ZSTORAGE सिस्टम चर के माध्यम से (किलोबाइट में):

 set $ZSTORAGE=10000000

आवश्यक मेमोरी सेटिंग्स के साथ एक नई प्रक्रिया शुरू की? फिर आगे सब कुछ सरल है - हम पढ़ते हैं और बचाते हैं।

एक विकल्प (और शायद पसंदीदा) विकल्प है -% XML.Reader वर्ग के UsePPGHandler संपत्ति का उपयोग करें जो आपको XML को मेमोरी में स्टोर नहीं करने देता है और मानक मेमोरी सेटिंग्स के साथ काम करता है।

 set reader = ##class(%XML.Reader).%New() set reader.UsePPGHandler = 1

अधिक ... सहसंबंधी / पढ़ें, आदि। ...

 do reader.Next(.object) do object.%Save()

और इसलिए प्रत्येक ऑपरेशन के लिए 3,722,548 बार :-)

यह थका देने वाला है। इसलिए, हम अपने FIAS.AddressObject वर्ग को आयात के लिए एक विधि के साथ पूरक करते हैं, केवल दिखाए गए आदेशों के आधार पर:

 ClassMethod Import() { //     XML Set reader = ##class(%XML.Reader).%New() //   XML   Set status = reader.OpenURL("http://localhost/AS_ADDROBJ_20190106_90809714-fe22-45b2-929c-52bd950963e0.XML") If $$$ISERR(status) {Do $System.Status.DisplayError(status)} //       Do reader.Correlate("Object","FIAS.AddressObject") //       While (reader.Next(.object,.status)) { Set status = object.%Save() If $$$ISERR(status) {do $System.Status.DisplayError(status)} } //      ,   If $$$ISERR(status) {Do $System.Status.DisplayError(status)} }

आइए हमारे कंप्यूटर एक्सोसोर्टेक्स की शक्ति का उपयोग करें - टर्मिनल में सिर्फ एक कमांड:

 do ##class(FIAS.AddressObject).Import()

मैं सभी से टेबल पर पूछता हूं। एमसीडी थे, और अब रूसी शहरों के सत्यापित नामों के साथ एक वैश्विक के रूप में तैयार पकवान और वज़न तैयार है।

और अंत में कुछ शब्दों के बारे में जब 4TB पर्याप्त नहीं है। इस मामले में, हम धाराओं का पालन करते हैं (या यदि आप चाहें तो धाराओं)। प्रलेखन अलमारियों पर रखा गया है। आप बाइनरी कर सकते हैं, आप प्रतीकात्मक कर सकते हैं। ग्लोबल में स्टोर करना भी मना है। नुस्खा यह है: हम एक धारा लेते हैं, इसे भागों में काटते हैं और इसे उन वस्तुओं को देते हैं जिनकी हमें खपत की आवश्यकता होती है।

इसके अलावा, पायथन में सुंदर पता योग्य ऑब्जेक्टस्क्रिप्ट ऑब्जेक्ट्स और एपीआई के बारे में फिट नहीं हुआ। एक अलग कहानी होगी।

सुखद: गार्टनर ने डीबीएमएस श्रेणी में वास्तविक उपयोगकर्ता रेटिंग और समीक्षाओं का वार्षिक संग्रह अभी पूरा किया है और इस आधार पर 2019 के सर्वश्रेष्ठ डीबीएमएस की अपनी रेटिंग प्रकाशित की है। InterSystems Caché और InterSystems IRIS डेटा प्लेटफ़ॉर्म उत्पादों को उच्चतम उपभोक्ता पसंद रेटिंग मिली है। आपने किसे चुना और कैसे मूल्यांकन किया, आप स्वयं देख सकते हैं ।

ग्राहकों द्वारा समीक्षित के रूप में 2019 का सर्वश्रेष्ठ ऑपरेशनल डेटाबेस मैनेजमेंट सिस्टम सॉफ्टवेयर

मेरा पता घर या गली नहीं है, मेरा पता सोवियत संघ है?

More articles: