अपाचे शून्य प्रज्वलित: बिल्कुल शून्य?

हम एक खुदरा प्रौद्योगिकी विकास विभाग हैं। एक बार, प्रबंधन ने MSSQL के साथ संयोजन में अपाचे इग्नाइट का उपयोग करके वॉल्यूमेट्रिक गणना को गति देने का कार्य निर्धारित किया, और जावा कोड के सुंदर चित्र और उदाहरणों के साथ एक साइट दिखाई। साइट को तुरंत ज़ीरो परिनियोजन पसंद है, जिसका वर्णन चमत्कार का वादा करता है: आपको मैन्युअल रूप से ग्रिड में प्रत्येक नोड पर अपने जावा या स्काला कोड को तैनात करना होगा और इसे हर बार बदलने पर इसे फिर से तैनात करना होगा। काम के दौरान, यह पता चला कि शून्य परिनियोजन का एक विशिष्ट उपयोग है, जिन सुविधाओं को मैं साझा करना चाहता हूं। बिल्ली प्रतिबिंब और कार्यान्वयन विवरण के तहत।

1. समस्या का विवरण

समस्या का सार इस प्रकार है। SalesPoint के लिए विक्रय बिंदु निर्देशिका और उत्पादों Sku (स्टॉक कीपिंग यूनिट) की निर्देशिका है। बिक्री के बिंदु में "छोटे" और "बड़े" मूल्यों के साथ विशेषता "स्टोर प्रकार" है। एक वर्गीकरण (बिक्री के एक बिंदु के सामान की एक सूची) जुड़ा हुआ है (बिक्री के प्रत्येक बिंदु पर एक DBMS से लोड) और जानकारी प्रदान की जाती है कि निर्दिष्ट उत्पाद दिनांकित किया गया है
वर्गीकरण से बाहर रखा गया है या वर्गीकरण में जोड़ा गया है।

एक महीने पहले से जुड़े सामानों के बारे में जानकारी और बिक्री के स्टोर के विभाजन वाले कैश को व्यवस्थित करना आवश्यक है। मुकाबला प्रणाली के साथ संगतता के लिए डेटा डाउनलोड करने के लिए इग्नाइट क्लाइंट नोड की आवश्यकता होती है, प्रकार (स्टोर प्रकार, उत्पाद कोड, दिन, बिक्री के बिंदुओं की संख्या) की कुल गणना करें और इसे डीबीएमएस पर वापस अपलोड करें।

2. साहित्य का अध्ययन

अभी तक कोई अनुभव नहीं है, इसलिए मैं स्टोव से नृत्य करना शुरू कर रहा हूं। वह है, प्रकाशनों की समीक्षा के साथ।

अपाचे इग्नाइट को पेश करने वाला 2016 का लेख : पहले चरणों में अपाचे इग्नाइट प्रोजेक्ट डॉक्यूमेंट का लिंक दिया गया है और उसी समय इसे स्लेरिंग के लिए फटकार दिया गया है। मैंने इसे एक-दो बार पढ़ा, स्पष्टता नहीं आई। आधिकारिक होने वाले ट्यूटोरियल को चालू करना, जो
आशावादी रूप से वादा करता है "आप एक झटके में उठेंगे और चलेंगे!"। मैं पर्यावरण चर की सेटिंग को समझता हूं, दो अपाचे इग्नाइट आवश्यक वीडियो देखें, वे मेरे विशिष्ट कार्य के लिए बहुत उपयोगी नहीं थे। मैंने कमांड लाइन से इग्नाइट को मानक फ़ाइल "example-ignite.xml" के साथ सफलतापूर्वक लॉन्च किया, मैं मावेन का उपयोग करके पहला कम्प्यूट एप्लिकेशन बनाता हूं। आवेदन काम करता है और शून्य तैनाती का उपयोग करता है, क्या एक सौंदर्य!

मैं आगे पढ़ता हूं, और वहां उदाहरण तुरंत आत्मीयता का उपयोग करता है (पहले एक SQL क्वेरी के माध्यम से बनाया गया), और यहां तक ​​कि रहस्यमय बाइनरीऑब्जेक्ट भी लागू होता है:

IgniteCache<BinaryObject, BinaryObject> people = ignite.cache("Person").withKeepBinary(); 

मैं थोड़ा पढ़ता हूं: द्विआधारी प्रारूप थोड़ा प्रतिबिंब है, नाम से किसी वस्तु के क्षेत्रों तक पहुंच। यह ऑब्जेक्ट को पूरी तरह से डिस्क्राइब किए बिना किसी फ़ील्ड का मान पढ़ सकता है (मेमोरी को सेव करना)। लेकिन व्यक्ति के बजाय बाइनरीऑब्जेक्ट का उपयोग क्यों किया जाता है, क्योंकि शून्य तैनाती है? IgniteCache क्यों है <कुंजी, व्यक्ति> IgniteCache में अनुवादित <बाइनरीऑब्जेक्ट, बाइनरीऑब्जेक्ट>? यह अभी तक स्पष्ट नहीं है।

मैं अपने मामले में कंप्यूट एप्लिकेशन का रीमेक बनाता हूं। MSSQL में बिक्री निर्देशिका के बिंदु की प्राथमिक कुंजी को [id] [int] के रूप में परिभाषित किया गया है, NULL नहीं, मैं क्रोध द्वारा कैश बनाता हूं

 IgniteCache<Integer, SalesPoint> salesPointCache=ignite.cache("spCache") 

Xml-config में मैं इंगित करता हूं कि कैश का विभाजन है

 <bean class="org.apache.ignite.configuration.CacheConfiguration"> <property name="name" value="spCache"/> <property name="cacheMode" value="PARTITIONED"/> </bean> 

बिक्री के बिंदुओं के अनुसार विभाजन मानता है कि आवश्यक एग्रीगेट वहाँ उपलब्ध SalesPointCache रिकॉर्ड के लिए क्लस्टर के प्रत्येक नोड पर बनाया जाएगा, जिसके बाद क्लाइंट नोड अंतिम योग प्रदर्शन करेगा।

मैंने प्रथम इग्नाइट कम्प्यूट एप्लीकेशन ट्यूटोरियल पढ़ा, मैं इसे सादृश्य द्वारा करता हूं। क्लस्टर के प्रत्येक नोड पर मैं प्रज्वलित करने योग्य (), कुछ इस तरह से चलाता हूं:

  @Override public void run() { SalesPoint sp=salesPointCache.get(spId); sp.calculateSalesPointCount(); .. } 

मैं एकत्रीकरण और अपलोड तर्क जोड़ता हूं, एक परीक्षण डेटा सेट पर चलाता हूं। स्थानीय रूप से, सब कुछ विकास सर्वर पर काम करता है।

मैं दो CentOs परीक्षण सर्वर लॉन्च करता हूं, डिफ़ॉल्ट पर config-xml में आईपी पते निर्दिष्ट करता हूं, प्रत्येक पर निष्पादित करता हूं

 ./bin/ignite.sh config/default-config.xml 

दोनों इग्नाइट नोड्स शुरू करते हैं और एक दूसरे को देखते हैं। मैं क्लाइंट एप्लिकेशन के xml-config में आवश्यक पते निर्दिष्ट करता हूं, यह शुरू होता है, टोपोलॉजी में एक तीसरा नोड जोड़ता है और तुरंत फिर से दो नोड होते हैं। लॉग लाइन में "ClassNotFoundException: model.SalesPoint" पढ़ता है

 SalesPoint sp=salesPointCache.get(spId); 

StackOverflow का कहना है कि त्रुटि का कारण यह है कि CentOs सर्वरों का कस्टम SalesPoint वर्ग नहीं है। हम पहुंचे। तो आपको प्रत्येक नोड और उसके बाद अपने जावा कोड को मैन्युअल रूप से कैसे लागू करना है? या आपका Java Code SalesPoint के बारे में नहीं है?

मुझे शायद कुछ याद आया - फिर से मैं फिर से खोजना, पढ़ना और खोजना शुरू करता हूं। समय के साथ, यह महसूस होता है कि मैंने इस विषय पर सब कुछ पढ़ा है, कोई नई बात नहीं है। खोज करते समय, मुझे कुछ दिलचस्प टिप्पणियां मिलीं।

वैलेन्टिन कुलिचेंको, ग्रिडगैन सिस्टम्स के प्रमुख वास्तुकार, स्टैकऑवरफ्लो की प्रतिक्रिया , अप्रैल 2016:

 Model classes are not peer deployed, but you can use withKeepBinary() flag on the cache and query BinaryObjects. This way you will avoid deserialization on the server side and will not get ClassNotFoundException. 

एक अन्य आधिकारिक राय: डेनिस मागडा, उत्पाद प्रबंधन के निदेशक, ग्रिडजेन सिस्टम्स।

माइक्रोबर्विसेस के बारे में हैबे के एक लेख में तीन डेनिस माग्डा लेखों का संदर्भ दिया गया है: माइक्रोसिस्टर्सेज़ पार्ट I , माइक्रोसर्विस पार्ट II , माइक्रोसर्विस पार्ट III 2016-2017। एक दूसरे लेख में, डेनिस ने सुझाव दिया है कि अनुरक्षण सेवा के माध्यम से क्लस्टर नोड शुरू किया जाए। आप xml कॉन्फ़िगरेशन और कमांड लाइन के साथ लॉन्च का भी उपयोग कर सकते हैं, लेकिन फिर आपको प्रत्येक तैनात क्लस्टर नोड पर मैन्युअल रूप से कस्टम कक्षाएं लगाने की आवश्यकता है:

 That's it. Start (..) node using MaintenanceServiceNodeStartup file or pass maintenance-service-node-config.xml to Apache Ignite's ignite.sh/bat scripts. If you prefer the latter then make sure to build a jar file that will contain all the classes from java/app/common and java/services/maintenance directories. The jar has to be added to the classpath of every node where the service might be deployed. 

वास्तव में, यह बात है। यहाँ यह पता चला है, क्यों, यह रहस्यमय द्विआधारी प्रारूप!

3. सिंगलजर

डेनिस ने मेरी व्यक्तिगत रेटिंग में पहला स्थान प्राप्त किया, IMHO सभी उपलब्ध सबसे उपयोगी ट्यूटोरियल। उनके github MicroServicesExample में क्लस्टर नोड्स को कॉन्फ़िगर करने का एक पूरी तरह से तैयार उदाहरण है, जो बिना किसी अतिरिक्त स्क्वाट्स के संकलन करता है।

मैं इसे छवि और समानता में करता हूं, मुझे एक एकल जार फ़ाइल मिलती है जो कमांड लाइन तर्क के आधार पर "डेटा नोड" या "क्लाइंट नोड" को चलाती है। विधानसभा शुरू होती है और चलती है। शून्य तैनाती पराजित हुई है।

मुकाबला डेटा के दसियों गीगाबाइट के परीक्षण डेटा के मेगाबाइट से संक्रमण से पता चला कि अच्छे कारण के लिए द्विआधारी प्रारूप मौजूद है। नोड्स पर मेमोरी खपत को अनुकूलित करना आवश्यक था, और यहां बाइनरीऑब्जेक्ट बहुत उपयोगी था।

4. निष्कर्ष

अपाचे इग्नाइट प्रोजेक्ट के स्लेटेड डॉक्यूमेंटेशन के बारे में हमें जो पहली फटकार लगी, वह सही निकली, यह 2016 से थोड़ी बदल गई है। किसी साइट और / या रिपॉजिटरी के आधार पर एक कामकाजी प्रोटोटाइप का निर्माण करना किसी शुरुआत के लिए आसान नहीं है।

किए गए कार्यों के परिणामस्वरूप, ऐसा लगता था कि शून्य तैनाती काम करती है, लेकिन केवल सिस्टम स्तर पर। कुछ इस तरह से: बाइनरीऑब्जेक्ट का उपयोग दूरस्थ क्लस्टर नोड्स को सिखाने के लिए किया जाता है कि कस्टम कक्षाओं के साथ कैसे काम किया जाए; शून्य तैनाती - आंतरिक तंत्र
अपाचे खुद को प्रज्वलित करता है और क्लस्टर में सिस्टम ऑब्जेक्ट वितरित करता है।

मुझे उम्मीद है कि मेरा अनुभव नए अपाचे इग्नाइट उपयोगकर्ताओं के लिए उपयोगी होगा।