मई में, अपाचे इग्नाइट का एक नया संस्करण जारी किया गया था - 2.5। इसमें कई बदलाव किए गए हैं, जिनकी एक पूरी सूची रिलीज नोट्स में मिल सकती है। और इस लेख में हम उन महत्वपूर्ण नवाचारों पर विचार करेंगे जो ध्यान देने योग्य हैं।

अपाचे इग्नाइट डेटा के लेन-देन के भंडारण के लिए एक क्षैतिज रूप से स्केलेबल प्लेटफॉर्म है, साथ ही साथ वास्तविक समय मोड में इस डेटा के शीर्ष पर वितरित कंप्यूटिंग भी है।

क्षैतिज स्केलेबिलिटी और बहुत उच्च डेटा प्रोसेसिंग गति की आवश्यकता होने पर इग्नाइट का उपयोग किया जाता है। बाद में भी रैम में डेटा को सीधे स्टोर करने के लिए प्लेटफॉर्म को ऑप्टिमाइज़ करके प्राथमिक स्टोरेज के रूप में प्राप्त किया जाता है, न कि कैश (इन-मेमोरी कंपाउंड) के बजाय। उत्पाद की विशिष्ट विशेषताएं एक पूर्ण विकसित क्वेरी इंजन ANSI SQL 1999, डिस्क स्टोरेज, रैम का विस्तार, बड़ी संख्या में अंतर्निर्मित एकीकरण उपकरण और जीरो-ईटीएल मशीन लर्निंग हैं।

अपाचे इग्नाइट का उपयोग करने वाली कंपनियों में वेन / बीलाइन , सेर्बैंक, हुआवेई, बार्कलेज, सिटी, माइक्रोसॉफ्ट और कई अन्य कंपनियां हैं ।

न्यू टोपोलॉजी ऑप्शन: द स्टार अराउंड ज़ूकीपर

संस्करण 2.5 में एक बड़ा बदलाव टोपोलॉजी का एक नया संस्करण है। पहले, इग्नाइट में केवल "रिंग" टोपोलॉजी थी, जिसका उपयोग क्लस्टर के भीतर घटनाओं का आदान-प्रदान करने के लिए किया गया था और 300 नोड तक के पैमाने पर कुशल और तेज मापनीयता प्रदान की गई थी।

नई टोपोलॉजी कई सैकड़ों और हजारों नोड्स की स्थापना के लिए डिज़ाइन की गई है।

अब आप चुन सकते हैं: पुरानी टोपोलॉजी का उपयोग करें, जहां इग्नाइट आपके लिए पर्याप्त है, या - बड़े समूहों के लिए - एक छोटे ज़ूकेपर के साथ बड़े इग्नाइट को पूरक करें जिसके माध्यम से घटनाओं का आदान-प्रदान होगा।

यह क्यों है और यह कैसे मदद करता है?

बड़े "रिंग" में एक खामी है: नेटवर्क एक्सचेंज और प्रसंस्करण को ध्यान में रखते हुए, एक नई घटना के बारे में सभी नोड्स की अधिसूचना सेकंड तक पहुंच सकती है। यह अपने आप में खराब है, और यदि आप इस बात को ध्यान में रखते हैं कि एक अस्थायी नेटवर्क विफलता के कारण नोड विफलता की संभावना, क्लस्टर आकार के साथ उपकरण या अन्य समस्याएं बढ़ जाती हैं, तो टोपोलॉजी पुनर्निर्माण काफी सामान्य कार्य बन जाता है, विशेष रूप से सस्ते (कमोडिटी) हार्डवेयर पर निर्मित क्लस्टर पर। बड़े "रिंग" में यह अतिरिक्त अराजकता का परिचय देता है, घटनाओं के प्रवाह के प्रसंस्करण को बाधित करता है और इसे फिर से शुरू करने के लिए मजबूर करता है, साथ ही साथ नई टोपोलॉजी के बारे में जानकारी प्रेषित करता है।

नया "स्टार", जहां ज़ूकीपर क्लस्टर केंद्र में स्थित है, न केवल स्केलेबिलिटी बनाए रखने की अनुमति देता है (ज़ूकीपर भी क्षैतिज रूप से बढ़ सकता है), बल्कि बड़े पैमाने पर इसकी स्केलेबिलिटी - दक्षता में भी काफी वृद्धि करता है। आखिरकार, प्रोसेसिंग इवेंट्स की ज़िम्मेदारी साझा करने और डेटा के साथ काम करने के बाद, हम ईवेंट प्रोसेसिंग के लिए बहुत अधिक कॉम्पैक्ट ज़ूकेपर क्लस्टर आवंटित कर सकते हैं, जिससे क्लस्टर आकार पर घटनाओं की निर्भरता कम हो सकती है।

यह इग्नाइट नोड्स के बीच डेटा के आदान-प्रदान को प्रभावित नहीं करता है, उदाहरण के लिए, पुनर्संतुलन के दौरान, साथ ही डेटा का भंडारण या पुनः प्राप्ति, क्योंकि ये सभी ऑपरेशन क्लस्टर नोड्स के बीच सीधे कनेक्शन के माध्यम से घटना टोपोलॉजी के आसपास गए और चले गए।

इसके अलावा, एक नई टोपोलॉजी को जोड़ने से पुराने को किसी भी तरह से प्रभावित नहीं होता है - यह अभी भी अनुशंसित है, क्योंकि इसे बनाए रखना और हल्का करना बहुत आसान है, अतिरिक्त तत्वों की आवश्यकता नहीं है।

लेकिन अगर आप इग्नाइट "रिंग" को स्केल करने की सीमा तक पहुंच गए हैं, तो आप माइक्रो-टोटमाइजेशन और हैकिंग में संलग्न नहीं हो सकते हैं, विशिष्ट ज्ञान और "बैसाखी" को लागू नहीं करते हैं। इस मामले में, आपके पास आधिकारिक रूप से उपलब्ध और समर्थित समाधान है जो इतने बड़े क्लस्टर के कार्यान्वयन और समर्थन की सुविधा प्रदान करेगा।

नए टोपोलॉजी की विस्तृत जानकारी प्रलेखन में पाई जा सकती है ।

पतले ग्राहक: पतला जावा ग्राहक, पतला ग्राहक प्रमाणीकरण

संस्करण 2.4 में, JDBC / ODBC के बाहर पतले ग्राहकों के लिए समर्थन प्रदान किया गया था, जो टोपोलॉजी में पूर्ण-भाग लेने वाले प्रतिभागी नहीं हैं, बहुत कम संसाधन-मांग वाले हैं, लेकिन एक ही समय में कम कार्यक्षमता प्रदान करते हैं। पहला पतला क्लाइंट .NET के लिए क्लाइंट था।

संस्करण 2.5 से शुरू, जावा के लिए एक पतला ग्राहक भी उपलब्ध है।

यह इग्नाइट को संसाधन-संवेदनशील अनुप्रयोगों में एम्बेड करने की अनुमति देता है, उदाहरण के लिए, टर्मिनल उपकरणों पर अनुप्रयोगों में, बिना किसी अतिरिक्त परत के। पहले, इस कार्य के लिए एक मध्यवर्ती परत की आवश्यकता थी, जो उदाहरण के लिए, आरईएसटी के माध्यम से अनुरोध प्राप्त करता है और फिर इग्नाइट क्लस्टर के साथ डेटा का आदान-प्रदान करने के लिए आंतरिक "मोटी" क्लाइंट का उपयोग करता है।

पतली क्लाइंट का उपयोग मानक "शून्य-निर्भरता" इग्नाइट-कोर JAR फ़ाइल से कनेक्ट करके किया जा सकता है, उदाहरण के लिए, मावेन रिपॉजिटरी से।

पतले ग्राहक का उपयोग करने का एक उदाहरण:

ClientConfiguration cfg = new ClientConfiguration().setAddresses("127.0.0.1:10800"); try (IgniteClient igniteClient = Ignition.startClient(cfg)) { System.out.println(">>>    ."); final String CACHE_NAME = "put-get-example"; ClientCache<Integer, Address> cache = igniteClient.getOrCreateCache(CACHE_NAME); System.out.format(">>>   [%s].\n", CACHE_NAME); Integer key = 1; Address val = new Address(", 20", 101000); cache.put(key, val); System.out.format(">>>  [%s]   .\n", val); Address cachedVal = cache.get(key); System.out.format(">>>  [%s]   .\n", cachedVal); } catch (...) { ... } 

इसके अलावा संस्करण 2.4 में पतले ग्राहकों के लिए कोई प्रमाणीकरण नहीं था। संस्करण 2.5 के साथ शुरू, यह, पतले ग्राहकों तक पहुंचने पर एन्क्रिप्शन के लिए समर्थन के साथ, इग्नाइट में पहली बार शुरू होगा।

 ClientConfiguration clientCfg = new ClientConfiguration() .setAddresses("127.0.0.1:10800"); //   clientCfg .setSslMode(SslMode.REQUIRED) .setSslClientCertificateKeyStorePath("client.jks") .setSslClientCertificateKeyStoreType("JKS") .setSslClientCertificateKeyStorePassword("123456") .setSslTrustCertificateKeyStorePath("trust.jks") .setSslTrustCertificateKeyStoreType("JKS") .setSslTrustCertificateKeyStorePassword("123456") .setSslKeyAlgorithm("SunX509") .setSslTrustAll(false) .setSslProtocol(SslProtocol.TLS); //   clientCfg .setUserName("joe") .setUserPassword("passw0rd!"); try (IgniteClient client = Ignition.startClient(clientCfg)) { ... } catch (ClientAuthenticationException e) { // Handle authentication failure } 

विस्तृत जानकारी प्रलेखन में पाई जा सकती है ।

SQL: प्रमाणीकरण और उपयोगकर्ता प्रबंधन, तेज़ बल्क लोडिंग

वितरित ANSI99 SQL इंजन ऐतिहासिक रूप से अपाचे इग्नाइट की ताकत और महत्वपूर्ण विशिष्ट विशेषताओं में से एक रहा है। यह जावा / .NET / C ++ क्लाइंट के माध्यम से या JDBC / ODBC ड्राइवर के माध्यम से, पूरे क्लस्टर के शीर्ष पर SQL क्वेरी को निष्पादित करने के लिए, दोनों RAM और इग्नाइट मूल परिप्रेक्ष्य में अनुमति देता है।

संस्करण 2.0-2.4 में, डेवलपर्स ने उत्पादकता बढ़ाने के अलावा ध्यान केंद्रित किया (जो कि कभी पर्याप्त नहीं होता है), प्राथमिक और बल्क डेटा लोडिंग में तेजी लाने पर और डीडीएल के लिए अधिक पूर्ण समर्थन, जैसे कि क्रिएट टेबल, अलर्ट टेबल, क्रिएट इंडेक्स, आदि। जो कि "सिंगल विंडो" के माध्यम से क्लस्टर पर लगातार चलाया जा सकता है।

संस्करण 2.5 में, डीडीएल के आगे विकास की दिशा में एक कदम उठाया गया था: एसक्यूएल के लिए प्रमाणीकरण और संबंधित कमांड सृजित USER , ALTER USER , DROP USER जोड़े गए थे ।

यदि आपने पहले सेवाओं की अधिकता के स्तर पर पहुंच नियंत्रण के साथ एक बाँझ DMZ में इग्नाइट एसक्यूएल को होस्ट करने की योजना बनाई है, तो अब आप SQL- प्रबंधित प्रमाणीकरण के साथ सुरक्षा बढ़ा सकते हैं।

डेटा के बड़े संस्करणों की डाउनलोड गति के संदर्भ में, 2 में 2.5 नवाचार दिखाई दिए।

पहला JDBC में नया COPY SQL कमांड है, जो आपको बल्क मोड में, CSV फ़ाइल की सामग्री को एक टेबल पर जल्दी से ट्रांसफर करने की अनुमति देता है।

 COPY FROM "/path/to/local/file.csv" INTO city ( ID, Name, CountryCode, District, Population) FORMAT CSV 

दूसरा JDBC के लिए स्ट्रीमिंग मोड है, जो नए SET कमांड के माध्यम से सक्षम है। यह मानक INSERT संचालन के माध्यम से डेटा को पारदर्शी रूप से समूह के लिए लोड करने और नए रिकॉर्ड को इग्नाइट क्लस्टर में लोड करने की अनुमति देता है। क्लस्टर में संचित संचालन का स्थानांतरण बैच में भरते समय या जेडीबीसी कनेक्शन बंद करते समय होता है।

 SET STREAMING ON 

मशीन लर्निंग: जेनेटिक एल्गोरिदम, विभाजन

मशीन लर्निंग इग्नाइट के विकास के रणनीतिक क्षेत्रों में से एक है। एमएल शून्य-ईटीएल प्रतिमान को लागू करता है, जो इग्नाइट ट्रांजेक्शनल स्टोरेज में निहित डेटा पर सीधे प्रशिक्षण देता है। जिससे प्रशिक्षण प्रणाली में डेटा रूपांतरण और नेटवर्क हस्तांतरण पर महत्वपूर्ण समय और संसाधन की बचत होती है।

2.5 संस्करण में, आनुवंशिक एल्गोरिदम को सुलभ उपकरणों के सेट में जोड़ा जाता है।

इसके अलावा, सीखने की प्रक्रिया का अनुकूलन करने और नेटवर्क एक्सचेंज को कम करने के लिए, एमएल-कैलकुलेशन के लिए समर्थन दिखाई दिया है, जिसमें उन विभाजनों के बारे में जानकारी होती है जिन पर वे निष्पादित होते हैं और इन विभाजनों के लिए अतिरिक्त जानकारी को बाँधने में सक्षम होते हैं। यह देखते हुए कि वितरण के संदर्भ में विभाजन परमाणु हैं, और एक विभाजन को कई नोड्स के बीच नहीं काटा जा सकता है, यह आपको लर्निंग प्रोसेस को ऑप्टिमाइज़ करने की अनुमति देता है, एल्गोरिथ्म के लिए और अधिक गारंटी प्रदान करता है।

विस्तृत जानकारी प्रलेखन में पाई जा सकती है ।

और भी बहुत कुछ

संस्करण 2.5 में भी इसे लागू किया गया है:

• स्पार्क डेटाफ्रेम के माध्यम से एसक्यूएल प्रश्नों को निष्पादित करने के लिए समर्थन स्पार्क में मध्यवर्ती डेटा को ऊपर उठाए बिना सीधे इग्नाइट में;
• .NET में LINQ के माध्यम से UPDATE सहायता;
• महत्वपूर्ण त्रुटियों के अनुकूलन योग्य हैंडलिंग (उदाहरण के लिए, स्मृति पूर्ण होने पर नोड का स्वत: पुनरारंभ);
• लेनदेन लेबल और डीबगिंग के लिए अतिरिक्त उपकरण लंबे लेनदेन ;
• लेनदेन की निगरानी के लिए जेएमएक्स बीन्स;
• यदि यह विभाजन टोपोलॉजी (जो सक्रिय लेनदेन की उपस्थिति से अवरुद्ध है) का पुनर्निर्माण करना आवश्यक है, तो लंबे लेनदेन को बाधित करने की क्षमता;
• डेटा और मेटाडेटा स्थिरता के ऑफ़लाइन सत्यापन के लिए उपकरण;
• SQL क्वेरी परिणामों का अतिरिक्त सत्यापन ;
• ओडीबीसी विफलता ;
• नए मीट्रिक : कैश समूह के लिए नोड पर विभाजन की संख्या, नोड पर डेटा क्षेत्र के लिए रैम की मात्रा, नोड पर वाल का कुल आकार, डिस्क भंडारण के पन्नों के लिए निम्न-स्तरीय मैट्रिक्स;
• पहले दिखाई देने वाले RPM के अलावा DEB पैकेज ।