पालतू परियोजना कैसे शुरू करें और लाभ न मिले

लक्ष्य

मैं शायद ही कभी नौकरी बदलता हूं, इसलिए, निश्चित प्रक्रियाओं के लिए प्रत्येक संगठन की स्वाभाविक इच्छा को देखते हुए, कोई भी कार्य एक दिनचर्या में बदल जाता है। एक तरफ, इस तरह की स्थिति को बनाए रखने के लिए एक व्यवसाय के लिए फायदेमंद है, दूसरी तरफ, मेरे लिए इसका मतलब है या तो पूर्ण हानि या कौशल का अप्रचलन। पीएचपी तेजी से विकसित हो रहा है, और, परिणामस्वरूप, संभावित अंतराल भी तेजी से बढ़ रहा है। अंत में, हम सभी जानते हैं कि आज एक प्रोग्रामर के लिए एलिटिक्स खोज, रैबिटएमक्यू, काफ्का और अन्य प्रौद्योगिकियों के ज्ञान के बिना एक अच्छी नौकरी ढूंढना मुश्किल है जो अक्सर मेरे दैनिक कार्य में नहीं दिखाई देते हैं।

अगली ठेठ साइट शुरू करने के बाद, मैंने फैसला किया कि कुछ बदलने का समय आ गया है। मैं अपने काम को बदलना नहीं चाहता था, लेकिन मुझे याद आया कि प्रशिक्षण के लिए स्पीकर ने अपने स्वयं के वैकल्पिक प्रोजेक्ट, तथाकथित पालतू प्रोजेक्ट का उपयोग करने की सिफारिश कैसे की। विधि उपयुक्त लगी और मैंने इसे आजमाने का फैसला किया।

कार्य चयन

कार्य का चुनाव उपक्रम का सबसे कठिन हिस्सा निकला। कुछ भी नहीं समझ में आया: कुछ सेवाओं, एक नौकरी पार्सर की तरह है जिसे आसानी से एक परिचित स्टैक पर लागू किया जा सकता है। मैंने कई महीनों तक परियोजना के विचार को छोड़ दिया, जब तक कि मैंने गलती से वित्त मंत्रालय के हैकथॉन के बारे में समाचार नहीं देखा। यह एक सेवा बनाने के लिए खुले डेटा स्रोतों की सूची में से एक का उपयोग करने का सुझाव दिया। दूसरों के बीच, संघीय सूचना पता प्रणाली (FIAS) का भी संकेत दिया गया था। दुर्भाग्य से, हैकाथन तब तक समाप्त हो चुका था।

मैंने पहली बार FIAS के बारे में सीखा, लेकिन यह काम दिलचस्प लगा। खुद के लिए जज: लगभग 30 जीबी एक्सएमएल फाइलें, डेटाबेस में लगभग 60 मिलियन लाइनें और इसके अलावा, लाइब्रेरी बाद में काम में उपयोगी साबित हो सकती है। जीथब पर कुछ तैयार समाधान थे, लेकिन यह मुझे नहीं रोक पाया। इसके विपरीत, उनके विश्लेषण के आधार पर, मैंने अतिरिक्त आवश्यकताएं बनाईं जो मेरे कार्यान्वयन पर प्रकाश डालेंगे।

आगे देखते हुए, मैं ध्यान देता हूं कि मैंने अपनी अपेक्षा से बहुत कम कठिनाइयों को पूरा किया।

कार्य विवरण

90% सफलता समस्या का सही कथन है। कई वर्षों के टेम्प्लेट कार्य के बाद, समस्या को स्पष्ट रूप से तैयार करने के लिए स्वयं को प्राप्त करना काफी कठिन था। मैं बस काम करना शुरू करना चाहता था, लेकिन पहले से ही इस प्रक्रिया में सब कुछ अपने आप साफ हो जाएगा। शिथिलता के साथ एक घंटे के संघर्ष के बाद, मैंने आखिरकार लिखा: FIAS डेटा आयात करने के लिए PHP में एक लाइब्रेरी बनाएं।

बाद में, एक स्वाद के बाद, मैंने कुछ अतिरिक्त आवश्यकताओं को जोड़ा:

• तृतीय-पक्ष उपयोगिताओं का उपयोग किए बिना PHP में कार्यान्वयन, विशेष रूप से PHP में कोड और PECL से एक्सटेंशन,
• FIAS सेट से सभी डेटा का आयात,
• पूर्ण स्थापना और अद्यतन चक्र: आवश्यक संस्करण की खोज, संग्रह प्राप्त करना, अनपैक करना, डेटाबेस को लिखना,
• अधिकतम लचीलापन: भंडारण स्थान को बदलने की क्षमता, रिकॉर्डिंग से पहले डेटा को संशोधित करना, आवश्यक फ़िल्टर करना, आदि।
• पुस्तकालय को आसानी से मौजूदा परियोजनाओं में एकीकृत किया जाना चाहिए।

FIAS

FIAS की एक आधिकारिक वेबसाइट है जो हमें एक सिस्टम बनाने की परिभाषा और उद्देश्य प्रदान करती है

संघीय सूचना पता प्रणाली (FIAS) संघीय राज्य सूचना प्रणाली है जो राज्य पते रजिस्टर के गठन, रखरखाव और उपयोग के लिए प्रदान करती है।

FIAS बनाने का उद्देश्य विश्वसनीय, एक समान, सार्वजनिक रूप से उपलब्ध, संरचित पते की जानकारी वाले एकल संघीय संसाधन का गठन है। FIAS के कार्यान्वयन के लिए धन्यवाद, आधिकारिक तौर पर पंजीकृत FIAS पोर्टल पर इंटरनेट के माध्यम से यह जानकारी नि: शुल्क प्राप्त की जा सकती है।

विवरण के साथ सामग्री FIAS वेबसाइट और Habré दोनों पर पर्याप्त हैं, इसलिए मैं इस पर ध्यान केंद्रित नहीं करूंगा।

संक्षेप में। FIAS दो स्वरूपों में आता है: FIAS और KLADR। दूसरा पदावनत है और अब उपयोग में नहीं है। जानकारी या तो DBF या XML में संग्रहित है। FIAS की संरचना में प्रत्येक परिवर्तन को एक नए संस्करण के साथ चिह्नित किया गया है। आप या तो पूरे डेटा के साथ एक पैकेज का अनुरोध कर सकते हैं जो इस समय चालू है, या केवल दो संस्करणों के बीच परिवर्तन हैं। लिंक एक SOAP सेवा प्रदान करता है। पैकेज एक RAR संग्रह है जिसमें विशेष रूप से निर्मित नामों वाली फाइलें होती हैं। इनमें एक उपसर्ग, एक डेटासेट नाम और एक पीढ़ी की तारीख शामिल होती है। दो प्रकार के उपसर्ग हैं: AS_ उन फ़ाइलों के लिए जिनमें से डेटा को डेटाबेस में जोड़ा जाना चाहिए, और AS DEL उन फ़ाइलों के लिए जिनके डेटा को डेटाबेस से हटा दिया जाना चाहिए।

FIAS में निम्नलिखित डेटा हैं:

• पता बनाने वाले तत्वों का रजिस्टर (यह पते का ग्राफ है: क्षेत्रों, शहरों और सड़कों),
• पता योग्य वस्तुओं (घर का नंबर और घर का डेटा) की पहचान करने वाले तत्व,
• भूमि भूखंडों के बारे में जानकारी
• परिसर के बारे में जानकारी (अपार्टमेंट, कार्यालय, कमरे, आदि),
• मानक दस्तावेज़ पर जानकारी, जो पता तत्व को नाम के असाइनमेंट का आधार है।

दस्तावेज़ में डेटा संरचना का वर्णन किया गया है, जिसे अपडेट अनुभाग में पाया जा सकता है।

अंततः, हमारे पास एक काफी सरल और रैखिक FIAS इंस्टॉलेशन एल्गोरिथम है:

• SOAP सेवा से पुरालेख और वर्तमान संस्करण संख्या के लिए एक लिंक प्राप्त करें,
• संग्रह डाउनलोड करें,
• खोल,
• डेटाबेस से उपसर्ग AS_ के साथ फ़ाइलों से सभी डेटा को लिखें,
• डेटाबेस से सभी डेटा को AS DEL उपसर्ग के साथ फाइलों से हटाएं (हां, यह सही है, स्थापना के दौरान आपको कुछ डेटा भी हटाना होगा),
• इंस्टॉल किए गए संस्करण की संख्या नीचे लिखें।

और कोई कम सरल अद्यतन एल्गोरिथ्म:

• SOAP सेवा से एक सूची प्राप्त करें जिसमें संस्करण संख्या और परिवर्तनों के साथ फ़ाइलों के लिंक हों,
• यदि स्थानीय डेटाबेस में वर्तमान संस्करण नवीनतम है, तो निष्पादन रोक दें,
• अगले संस्करण में परिवर्तनों के साथ संग्रह का लिंक प्राप्त करें,
• संग्रह डाउनलोड करें,
• खोल,
• डेटाबेस से उपसर्ग AS_ के साथ फ़ाइलों से सभी डेटा को लिखें,
• डेटाबेस से सभी डेटा को उपसर्ग AS DEL के साथ फ़ाइलों से निकालें,
• अद्यतन संस्करण की संख्या नीचे लिखें,
• पहले चरण पर लौटें।

FIAS परस्पर विरोधी छाप छोड़ता है। एक तरफ: पूरी प्रक्रिया का पूर्ण स्वचालन, खुले प्रारूप, अच्छा प्रलेखन। दूसरे पर: खुले डेटा के लिए मालिकाना RAR का उपयोग करने का एक अजीब निर्णय; प्रलेखन और वास्तविकता के बीच अंतर (मुख्य रूप से अनिवार्य विशेषताओं से संबंधित), जो कई छोटी लेकिन अप्रिय समस्याओं का कारण बनता है; कभी-कभी अभिलेखागार आते हैं जिन्हें लिनक्स में अनपैक नहीं किया जा सकता है; संस्करणों के बीच कुछ डेल्टा 4-5 जीबी पर कब्जा कर लेते हैं।

आर्किटेक्चर

प्रत्येक लाइब्रेरी एक मूल विचार पर आधारित होनी चाहिए, एक कोर जिसके चारों ओर बाकी कार्यक्षमता बढ़ेगी। "कर्तव्यों की श्रृंखला" पैटर्न मुझे ऐसे विचार की भूमिका के लिए सबसे अच्छा विकल्प लगता था। सबसे पहले, यह आदर्श है: कई अनुक्रमिक संचालन जो एक व्यक्ति ने किया होगा यदि वह मैन्युअल रूप से FIAS स्थापित करना चाहता था और डेवलपर के लिए स्पष्ट है और SOLID शैली में लिखे गए छोटे वर्गों पर अच्छी तरह से फिट है। दूसरे, इस तरह की श्रृंखला लगभग किसी भी स्तर पर नए संचालन के साथ बहुत आसानी से विस्तारित होती है, जो अच्छा लचीलापन प्रदान करती है। तीसरा, मैं लंबे समय से अपना कार्यान्वयन लिखना चाहता था।

संचालन के अलावा, मैंने कई सेवाओं का निर्माण किया है जिन्हें डीआई का उपयोग करके स्थानांतरित किया जा सकता है। वे आपको कोड का पुन: उपयोग करने की अनुमति देते हैं, आसानी से निम्न-स्तरीय सिस्टम कार्यों के लिए कार्यान्वयन को प्रतिस्थापित करते हैं (फ़ाइल डाउनलोड करना, संग्रह को अनपैक करना, डेटाबेस और अन्य को लिखना) और मॉक के लिए अच्छा परीक्षण कवरेज प्रदान करते हैं।

नतीजतन, पुस्तकालय में चार मुख्य प्रकार की वस्तुएं होती हैं, जिनमें से प्रत्येक के लिए जिम्मेदारी का क्षेत्र स्पष्ट रूप से परिभाषित किया गया है:

• सेवाएं - निम्न-स्तरीय सिस्टम कार्य करने के लिए उपकरण प्रदान करती हैं,
• राज्य वस्तु - संचालन के बीच संचरण के लिए जानकारी संग्रहीत करता है,
• संचालन - सेवाओं और राज्य का उपयोग करके वे व्यापार तर्क के परमाणु भाग को लागू करते हैं,
• संचालन की श्रृंखला - संचालन करती है और उनके बीच राज्य को स्थानांतरित करती है।

लाइब्रेरी द्वारा प्रदान किए गए संचालन और सेवाओं के लिंकिंग का उपयोग करके, आप आसानी से किसी भी नई श्रृंखला प्राप्त कर सकते हैं या केवल कॉन्फ़िगरेशन फ़ाइलों का उपयोग करके मौजूदा को पूरक कर सकते हैं।

चौखटे

लंबे ब्रेक और लगातार रीफैक्टरिंग के साथ, मैंने डेढ़ साल तक लाइब्रेरी में काम किया।

पहला अपेक्षाकृत स्थिर संस्करण शाम में दो महीने के काम में तैयार था। वास्तव में, यह फ्रेमवर्क से अलग से मौजूद हो सकता है और इसमें आवश्यक सभी चीजें शामिल हैं: कंसोल में चलने के लिए एक इनपुट स्क्रिप्ट, एक डीआई कंटेनर, पीडीओ के लिए एक ऐड-ऑन, अपने स्वयं के लकड़हारा और डेटाबेस संरचना पलायन - जिस पर मुझे बहुत गर्व था।

बेशक, उसके सहयोगियों ने उसे निर्दयता से अस्वीकार कर दिया।

इसके खिलाफ मुख्य तर्क लोकप्रिय फ्रेमवर्क के लिए समर्थन की कमी थी। कोई भी पुस्तकालय के लिए एक अलग आवरण लिखना नहीं चाहता था। इस वजह से, मैंने समय में सबसे महंगी गलती की: मैंने प्रत्येक ढांचे के लिए स्टैंडअलोन संस्करण और व्यक्तिगत रैपर दोनों का समर्थन करना शुरू कर दिया। असली FIAS फाइलें प्रलेखन में लिखी गई बातों से अलग हैं। हर बार इसे हटाने या जोड़ने के लिए आवश्यक था, उदाहरण के लिए, कॉलम विवरण में शून्य नहीं, मुझे तीन रिपॉजिटरी में बदलाव करना था। प्रक्रिया की थकाऊता के कारण, अगले छह महीने तक काम ठप रहा।

अपूर्णता की भावना ने मुझे यह सब समय दिया और आलस्य के साथ एक खूनी लड़ाई के बाद मुझे एक नया संस्करण डिजाइन करने के लिए वापस जाने के लिए मजबूर किया। शुरुआत करने के लिए, मैंने फैसला किया कि किसी को स्टैंडअलोन लाइब्रेरी की आवश्यकता नहीं है, जिसका अर्थ है कि आपको पैकेज से फ्रेमवर्क प्रदान करने वाली सभी सेवाओं को छोड़ देना चाहिए, उन्हें इंटरफेस के साथ बदलना होगा। इसलिए हम चाकू के नीचे गए: कंसोल में चलने के लिए एक इनपुट स्क्रिप्ट, एक डीआई कंटेनर, एक ऐड-ऑन पीडीओ, हमारे अपने लकड़हारा और डेटाबेस संरचना के माइग्रेशन। अगला, मैंने प्रत्येक ढांचे के लिए अलग-अलग पैकेज बनाने का फैसला किया, जो मुख्य से सभी भागों को एक कामकाजी स्क्रिप्ट से जोड़ देगा और सेवाओं के विशिष्ट कार्यान्वयन प्रदान करेगा।

प्रमुख बिंदु मॉडल था। लगातार कई रिपॉजिटरी में वस्तुओं के विषम सेट को अपडेट नहीं करना चाहता था। उसी समय, मुख्य काम पर, मुझे सिम्फनी पर एक प्रोजेक्ट मिला। इसके साथ एक त्वरित परिचित के बाद, मैंने फैसला किया कि एसएफ की सबसे उपयोगी विशेषता कोड पीढ़ी है और यह मेरी सभी समस्याओं को हल करेगी। मैंने मुख्य पैकेज में एक yaml फ़ाइल बनाई, जिसमें FIAS डेटा का घोषणात्मक विवरण है। फिर मैंने कोड जनरेटर जोड़े जो इस विवरण के आधार पर मॉडल के लिए विशिष्ट कक्षाएं बनाते हैं: लॉरेल के लिए सिम्फनी और एलोक्वेंट ऑब्जेक्ट के लिए सिद्धांत इकाइयां। जनरेटर के विकास के दौरान, मैंने महसूस किया कि टहनी टेम्पलेट इसके लिए उपयुक्त नहीं थे, और एक विशेष समाधान पर बसे - नेटटे पीएचपी जेनरेटर ।

अवधारणा के प्रमाण के रूप में, मैंने लारवेल और सिम्फनी के लिए बंडल बनाया। चूंकि मैंने दूसरे के साथ लंबे समय तक काम किया, इसलिए मैं इसके संदर्भ में बाद में सब कुछ वर्णन करूंगा।

आधारभूत संरचना

मेरी अधिकांश युद्ध परियोजनाओं को पुरानी तकनीकों पर लिखा गया था, इसलिए मैं उनमें से किसी पर भी आधुनिक कोड विश्लेषणकर्ताओं का उपयोग नहीं कर सका। विरासत के उत्पीड़न से छुटकारा पाने के लिए, मैंने सभी कोड गुणवत्ता नियंत्रण उपकरण स्थापित और कॉन्फ़िगर किए हैं जो मैं कर सकता था:

• प्रकार की जाँच के लिए स्तोत्र ,
• सामान्य गुणवत्ता मूल्यांकन के लिए स्क्रूटिनीज़र (साइक्लोमैटिक जटिलता के साथ बहुत मदद करता है)
• कोड स्टाइल की जाँच के लिए PHP कोडिंग मानक फिक्सर ,
• डुप्लिकेट खोजने के लिए PHP कॉपी / पेस्ट डिटेक्टर ,
• इकाई परीक्षण चलाने के लिए PHPUnit ।

ट्रैविस का उपयोग कर जीथुब में एकीकृत सत्यापन। अंतिम स्पर्श के रूप में, उन्होंने एक डॉक फ़ाइल को स्थानीय डेवलपर वातावरण बनाने के लिए एक मेक फ़ाइल के साथ जोड़ा जिसमें कंटेनर के लिए मूल कमांड्स शामिल हैं (चेक, परीक्षण लॉन्च करना, मॉडल और अन्य को लॉन्च करना)।

सीखने के परिणाम

PHP 7

लाइब्रेरी पर काम शुरू करने से पहले, मैंने वास्तव में PHP 7 की नई विशेषताओं का उपयोग नहीं किया था। वे सुंदर हैं: सख्त प्रकार से उत्पादकता में उल्लेखनीय वृद्धि तक। नल कोलेसिंग ऑपरेटर के लिए डेवलपर्स के लिए विशेष धन्यवाद। मैंने एक ऑपरेटर के आने के बाद कोड बेस में इतनी गंभीर कमी नहीं देखी है।

RAR

हैरानी की बात है कि PECL में RAR के साथ काम करने के लिए एक पैकेज था। आमतौर पर, ऐसे एक्सटेंशन पर भरोसा नहीं किया जाता है और मैं उनसे बचने की कोशिश करता हूं। यह संदिग्ध रूप से स्थिर निकला: इसे 7.2 में समस्याओं के बिना स्थापित किया गया था, यह अपेक्षाकृत बड़े अभिलेखागार को अपेक्षाकृत जल्दी और कम रैम खपत के साथ (6 जीबी 10-20 मिनट में उपलब्ध सिस्टम संसाधनों के आधार पर अनपैक किया गया) को अनपैक करने में सक्षम था। मुझे अब भी डर है कि यह मर्फी के कानून की कुछ अभिव्यक्ति है।

XmlReader

विशाल एक्सएमएल फाइलें पढ़ना कोई मामूली काम नहीं है। और फिर से PECL एक्सटेंशन बचाव में आ गया - XmlReader । मुझे तुरंत इसकी सारी शक्ति का अहसास नहीं हुआ, लेकिन कई दृष्टिकोणों में मैंने इसे सिम्फनी धारावाहिक के साथ मिलकर जल्दी और आर्थिक रूप से FIAS फ़ाइलों से डेटा प्राप्त करने के लिए अनुकूलित किया। लाइब्रेरी की तरफ, रीडर ऑब्जेक्ट पुनरावृत्ति इंटरफ़ेस को लागू करता है, जो क्रमिक रूप से फ़ाइल में एक रिकॉर्ड के लिए xml स्ट्रिंग देता है। सिम्फनी सीरियलाइज़र का उपयोग करके, ये तार वस्तुओं में परिवर्तित हो जाते हैं। 50 एमबी से अधिक रैम का उपयोग नहीं करते हुए 20 जीबी की फाइल 3-4 मिनट में पढ़ी जा सकती है।

डेटाबेस में लिखें

बेशक, मैंने डेटा और भारी तालिका विवरण के साथ साहचर्य सरणियों के साथ शुरू किया। कोड जल्दी से कॉन्फ़िगर और कनवर्टर वर्गों के हैश में बदल गया।

डॉक्ट्रिन संस्थाओं के जादू ने दिखाया कि कैसे वस्तुओं का स्व-वर्णन किया जा सकता है। मैंने उसी दृष्टिकोण का उपयोग करने का निर्णय लिया, लेकिन साथ ही पीडीओ का उपयोग करके डेटाबेस में डेटा लिखने के अपने कार्यान्वयन से छुटकारा पा लिया। इसके बजाय, मैंने एक स्टोरेज इंटरफ़ेस बनाया, जो ऑब्जेक्ट्स को प्रोसेस करने के तरीकों का वर्णन करता है। इकाई वर्ग के आधार पर, एक विशेष संग्रहण कार्यान्वयन वास्तव में कैसे और कहां डेटा लिखने का निर्णय लेता है। इस दृष्टिकोण ने विभिन्न प्रकार के स्टोरेज को कनेक्ट करना आसान बना दिया: MySql से सीएसवी फाइलों तक।

डेटा प्रविष्टि अनुकूलन

मैंने 48 घंटे में इसे पार करने के बाद पहला आयात बाधित किया। यह स्पष्ट हो गया कि आपको डेटा डालने की प्रक्रिया को अनुकूलित करने की आवश्यकता है।

सबसे पहले, मैंने PostgreSql में निर्मित प्राथमिक कुंजी के लिए कुरूप-प्रकार के कॉलम पर स्विच किया। एक अनुक्रमणिका के साथ एक uuid कॉलम को लिखना एक स्ट्रिंग से लिखने की तुलना में बहुत तेज है।

इसके बाद, मैंने सभी गैर-महत्वपूर्ण अनुक्रमित और विदेशी कुंजियों को छोड़ दिया, क्योंकि डेटा अखंडता के लिए चिंता पूरी तरह से एफआईएएस टीम की ओर है।

फिर मैंने स्टोरेज इंटरफ़ेस को रिडीम किया ताकि बाहरी स्क्रिप्ट स्पष्ट रूप से आयात के पूरा होने के बारे में सूचित कर सके। इसने बल्क इंसर्ट के उपयोग की अनुमति दी, जिससे कई बार रिकॉर्डिंग में तेजी आई। जानकारी की तलाश में, मैं query_to_xml के साथ copy कमांड पर भी आया। इसकी दो बड़ी कमियां थीं: सबसे पहले, PostgreSql उपयोगकर्ता के पास फ़ाइल के लिए अनुमतियाँ होनी चाहिए, जिन्हें मैं गारंटी नहीं दे सकता था और दूसरी बात, लिखने से पहले स्क्रिप्ट के अंदर डेटा को संशोधित करने की क्षमता खो गई थी।

इन परिवर्तनों के बावजूद, आयात समय 30 घंटे से अधिक हो गया। दृष्टिकोण के एक क्रांतिकारी परिवर्तन की आवश्यकता थी।

समानांतर प्रक्रिया

इंटरनेट PHP में एसिंक्रोनस के बारे में लेखों से भरा हुआ है। मेरी पसंद Amp पर गिर गई। यह सिर्फ अतुल्यकालिक रूप से काम नहीं करता है। सबसे पहले, कोड जल्दी से कॉलबैक और अनौपचारिक कॉल की एक भयानक शीट में बदल गया (यह शायद मेरी गलती है, अतुल्यकालिक दृष्टिकोण नहीं)। दूसरे, मुझे मानक ORM के उपयोग को छोड़ना पड़ा क्योंकि विशेष ढांचे के माध्यम से डेटाबेस में गैर-अवरोधक कॉल की आवश्यकता होती है। तीसरा, हालांकि ऐसी स्थितियां हैं जिनके तहत PostgreSql समानांतर में पंक्तियों को सम्मिलित कर सकते हैं, उन्हें पूरा करना बेहद मुश्किल है । नतीजतन, 5 घंटे के काम के बाद, मैंने देखा कि कैसे मेरे सभी अतुल्यकालिक अनुरोधों को डेटाबेस की ओर से जबरन "सिंक्रनाइज़" किया गया था।

लेकिन आयात अच्छी तरह से समानांतर प्रक्रियाओं में विभाजित है: कई पूरी तरह से स्वतंत्र कार्य जिनके पास सामान्य संसाधन नहीं हैं जिनके लिए वे प्रतिस्पर्धा कर सकते हैं, और डेटा जो वे विनिमय कर सकते थे। इसके अलावा, एक धागे के ढांचे के भीतर, मुझे एक सुंदर और रैखिक कोड प्राप्त हुआ।

पहले मैंने समानांतर विस्तार की कोशिश करने का फैसला किया। इसका एक घातक दोष है - इंटरप्रिटर को ZTS (Zend Thread Safety) के लिए समर्थन के साथ बनाया जाना चाहिए। चूंकि ZTS नियमित वेब स्क्रिप्ट में काम नहीं करता है, इसलिए दुभाषिया के दो अलग-अलग संस्करण होने चाहिए। एक, ZTS के बिना, वेब के लिए, दूसरा, ZTS के साथ, FIAS स्थापित करने के लिए। संभावित प्रदर्शन ने इस असुविधा को बढ़ावा दिया, विशेष रूप से यह देखते हुए कि एक नए डॉकटर कंटेनर को इकट्ठा करना कितना आसान है और पुराने के साथ संयोजन में इसका उपयोग करें। दुर्भाग्य से, एक नए धागे के अंदर सिम्फनी शुरू करने से PHP स्टैक ओवरफ्लो हो गया, और मैं डीआई कंटेनर और सुविधाजनक कॉन्फ़िगरेशन को मना करने के लिए तैयार नहीं था।

अंत में, मुझे सिम्फनी प्रक्रिया मिली। वास्तव में, यह निर्दिष्ट कंसोल कमांड के लिए एक नई प्रक्रिया शुरू करता है और इसके पूरा होने की निगरानी करता है। मुझे दो अतिरिक्त श्रृंखलाओं को जोड़ना था। पहले एक संग्रह को डाउनलोड करता है, इसे अनपैक करता है और डेटा प्रोसेसिंग के लिए समानांतर प्रक्रिया शुरू करता है। दूसरा कमांड लाइन तर्क से फाइलों की एक सूची लेता है और डेटाबेस में अपनी सामग्री लिखता है।

समानांतर प्रक्रियाओं के साथ अनुभव की कमी के कारण, मुझे लगता है कि सभी नौसिखिया गलतियाँ की हैं।

उदाहरण के लिए, मेरी दीक्षा प्रक्रिया ने अनंत लूप का उपयोग करके बच्चों के पूरा होने की जाँच की और निश्चित रूप से, यह इस पर बहुत अधिक प्रोसेसर संसाधनों को खर्च कर रहा था। पुनरावृत्तियों के बीच नींद की कॉल ने मदद की।

पहले कार्यान्वयन में, फ़ाइलों को असमान रूप से प्रक्रियाओं के बीच वितरित किया गया था। दो सबसे बड़े एक धारा में गिर गए, जिसे 20 घंटे से अधिक समय तक संसाधित किया गया था। दूसरे कार्यान्वयन में, मैंने एक विशेष प्रबंधक को जोड़ा जो कि उन्हें आयात करने में लगने वाले समय के आधार पर फाइलों को वितरित करता है। अब प्रक्रियाएँ समान रूप से भरी हुई हैं।

इन संपादनों के बाद, मैं सर्वर संसाधनों के आधार पर FIAS के पूर्ण संस्करण को 16-20 घंटों में आयात करने में सक्षम था। जैसा हम चाहते हैं उतना अच्छा नहीं है, लेकिन मैं अनुकूलन पर काम करना जारी रखता हूं। अगला कदम एलिटिक्स खोज के पक्ष में PostgreSql की पूरी अस्वीकृति है।

निष्कर्ष

क्या यह इसके लायक था? एक पुस्तकालय पर दो साल का काम जो कभी किसी युद्ध परियोजना में नहीं मिला?

हाँ, पूरी तरह से।

मैंने वैसे भी अपनी नौकरी बदल ली। एक दर्जन साक्षात्कारों के दौरे के दौरान, मैंने कई पेचीदा सवालों के जवाब दिए, केवल मेरे पालतू प्रोजेक्ट के लिए।

पीएचपी के मरने की दहशत लगातार मजबूत हो रही है। मैं इस तथ्य को नहीं छिपाऊंगा कि मैं खुद दूसरी भाषा में प्रवास के बारे में सोच रहा था।

जब मैंने PHP टीम को संस्करण 7 में डाल दिया, तब मैंने बहुत बड़ा काम देखा; वह व्यक्तिगत उदाहरण से आश्वस्त था कि भाषा कितनी परिपक्व हो गई और पारिस्थितिकी तंत्र कितना समृद्ध हो गया है; मैं सुरक्षित रूप से कह सकता हूं कि PHP की मृत्यु के बारे में अफवाहें बहुत अतिरंजित हैं। और यह सिर्फ शुरुआत है: भविष्य में हम जेआईटी की प्रतीक्षा कर रहे हैं, अतुल्यकालिक बॉक्स से बाहर और बहुत कुछ।