कम से कम प्रयास के साथ वितरित सी ++ अनुप्रयोग

मेरी पोस्ट का उद्देश्य अपाचे इग्नाइट वितरित डेटाबेस के सी ++ एपीआई के बारे में बात करना है जिसे इग्नाइट सी ++ कहा जाता है, साथ ही इसकी विशेषताएं भी हैं।

अपाचे के बारे में प्रज्वलित एक हाब पर पहले से ही एक से अधिक बार लिखा है, तो निश्चित रूप से आप में से कुछ पहले से ही मोटे तौर पर जानते हैं कि यह क्या है और यह क्यों आवश्यक है।

संक्षेप में अपाचे के बारे में उन लोगों के लिए प्रज्वलित करें जो अभी तक इससे परिचित नहीं हैं

मैं इस बारे में विवरण में नहीं जाऊंगा कि अपाचे इग्नाइट कैसे आया और यह क्लासिक डेटाबेस से कैसे अलग है। ये सभी प्रश्न पहले से ही, यहाँ या यहाँ उठाए गए हैं ।

तो, अपाचे इग्नाइट अनिवार्य रूप से रैम के साथ काम करने के लिए अनुकूलित एक तेजी से वितरित डेटाबेस है। प्रज्वलित एक इन-मेमोरी डेटा ग्रिड से बढ़ी और हाल ही में, एक वितरित हैश तालिका के आधार पर एक बहुत तेज़, पूरी तरह से इन-मेमोरी वितरित कैश के रूप में तैनात किया गया था। इसीलिए, डेटा संग्रहीत करने के अलावा, उनकी तेजी से वितरित प्रसंस्करण के लिए कई सुविधाजनक सुविधाएँ हैं: मैप-रिड्यूस, एटॉमिक डेटा ऑपरेशंस, फुल-एडेड एसीआईडी ​​ट्रांजेक्शंस, एसक्यूएल डेटा क्वेश्चंस, तथाकथित कंटीन्यूज़ क्वेरीज़, जो कुछ डेटा में परिवर्तनों की निगरानी करना संभव बनाता है और अन्य शामिल हैं।

हाल ही में, हालांकि, मंच ने डिस्क पर डेटा के लगातार भंडारण के लिए समर्थन जोड़ा है। उसके बाद, अपाचे इग्नाइट ने एक पूर्ण-ऑब्जेक्ट ऑब्जेक्ट-ओरिएंटेड डेटाबेस के सभी फायदे प्राप्त किए, जबकि ग्रिड तिथि की सुविधा, उपकरण, लचीलापन और गति की समृद्धि को बनाए रखा।

सिद्धांत की बिट

अपाचे इग्नाइट के साथ काम करने को समझने का एक महत्वपूर्ण हिस्सा यह है कि यह जावा में लिखा गया है। आप पूछेंगे: "अगर डेटाबेस में SQL के माध्यम से इसके साथ संचार होता है तो क्या फर्क पड़ता है?" इस बात में कुछ सच्चाई है। यदि आप केवल एक डेटाबेस के रूप में इग्नाइट का उपयोग करना चाहते हैं, तो आप ODBC या JDBC ड्राइवर को ले सकते हैं जो इग्नाइट के साथ आता है, विशेष रूप से बनाई गई ignite.sh लिपि का उपयोग करके आपके द्वारा आवश्यक सर्वर नोड की संख्या ignite.sh , उन्हें लचीले ignite.sh का उपयोग करके कॉन्फ़िगर करें, और विशेष रूप से भाषा के बारे में चढ़ता है, यहाँ तक कि गो से भी, PHP से इग्नाइट के साथ काम करना।

देशी इग्नाइट इंटरफ़ेस सिर्फ एसक्यूएल की तुलना में कई अधिक सुविधाएँ प्रदान करता है। सरलतम से: डेटाबेस में ऑब्जेक्ट्स के साथ तेजी से परमाणु संचालन, सिंक्रोनाइज़ेशन ऑब्जेक्ट्स को वितरित करना और स्थानीय डेटा पर क्लस्टर में कंप्यूटिंग वितरित करना, जब आपको गणना के लिए क्लाइंट को सैकड़ों मेगाबाइट डेटा खींचने की आवश्यकता नहीं होती है। जैसा कि आप समझते हैं, एपीआई का यह हिस्सा SQL के माध्यम से काम नहीं करता है, लेकिन बहुत विशिष्ट सामान्य-प्रयोजन प्रोग्रामिंग भाषाओं में लिखा जाता है।

स्वाभाविक रूप से, चूंकि इग्नाइट जावा में लिखा गया है, इसलिए इस प्रोग्रामिंग भाषा में सबसे व्यापक एपीआई लागू किया गया है। हालाँकि, जावा के अलावा, C # .NET और C ++ के लिए भी एपीआई संस्करण हैं। ये तथाकथित "मोटी" ग्राहक हैं - वास्तव में, जेवीएम में इग्नाइट नोड, सी ++ या सी # से लॉन्च किया गया है, जिसके साथ संचार जेएनआई के माध्यम से होता है। क्लस्टर के लिए इसी तरह की नोड आवश्यक है, क्रम में क्लस्टर संगत भाषाओं में वितरित कंप्यूटिंग को चलाने में सक्षम होने के लिए - सी ++ और सी #।

इसके अलावा, तथाकथित "पतले" ग्राहकों के लिए एक खुला प्रोटोकॉल है। ये पहले से ही विभिन्न प्रोग्रामिंग भाषाओं में हल्के पुस्तकालय हैं जो टीसीपी / आईपी के माध्यम से क्लस्टर के साथ संवाद करते हैं। वे बहुत कम मेमोरी स्पेस लेते हैं, लगभग तुरंत शुरू करते हैं, मशीन पर एक जेवीएम की आवश्यकता नहीं होती है, लेकिन उनके पास "मोटी" क्लाइंट की तुलना में थोड़ा बदतर विलंबता और इतना समृद्ध एपीआई नहीं है। आज जावा, C #, और Node.js में पतले ग्राहक हैं, C ++, PHP, Python3, Go में क्लाइंट सक्रिय रूप से विकसित हैं।

एक पोस्ट में, मैं C ++ एपीआई के लिए इग्नाइट मोटी एपीआई को देखूंगा, क्योंकि यह वह है जो वर्तमान में सबसे व्यापक एपीआई प्रदान करता है।

शुरुआत हो रही है

मैं ढांचे की स्थापना और कॉन्फ़िगरेशन पर विस्तार से ध्यान केंद्रित नहीं करूंगा - प्रक्रिया नियमित है, बहुत दिलचस्प नहीं है और अच्छी तरह से वर्णित है, उदाहरण के लिए, आधिकारिक दस्तावेज में । सीधे कोड पर चलते हैं।

चूंकि अपाचे इग्नाइट एक वितरित मंच है, आरंभ करने के लिए, आपको सबसे पहले कम से कम एक नोड चलाना होगा। यह बहुत ही सरलता से ignite::Ignition किया जाता है ignite::Ignition क्लास:

 #include <iostream> #include <ignite/ignition.h> using namespace ignite; int main() { IgniteConfiguration cfg; Ignite node = Ignition::Start(cfg); std::cout << "Node started. Press 'Enter' to stop" << std::endl; std::cin.get(); Ignition::StopAll(false); std::cout << "Node stopped" << std::endl; return 0; } 

बधाई हो, आपने डिफ़ॉल्ट सेटिंग्स के साथ अपना पहला कैश अपाचे इग्नाइट नोड लॉन्च किया। आग्नेय वर्ग, बदले में, पूरे क्लस्टर एपीआई तक पहुंचने के लिए मुख्य प्रवेश बिंदु है।

डेटा के साथ काम करें

इग्नाइट सी ++ का मुख्य घटक जो डेटा के साथ काम करने के लिए एपीआई प्रदान करता है वह है कैश, ignite::cache::Cache<K,V> । कैश डेटा के साथ काम करने के लिए बुनियादी तरीके प्रदान करता है। चूंकि Cache अनिवार्य रूप से एक वितरित हैश तालिका के लिए एक इंटरफ़ेस है, इसलिए इसके साथ काम करने के लिए बुनियादी तरीके map या unordered_map जैसे साधारण कंटेनरों के साथ काम करते हैं।

 #include <string> #include <cassert> #include <cstdint> #include <ignite/ignition.h> using namespace ignite; struct Person { int32_t age; std::string firstName; std::string lastName; } //... int main() { IgniteConfiguration cfg; Ignite node = Ignition::Start(cfg); cache::Cache<int32_t, Person> personCache = node.CreateCache<int32_t, Person>("PersonCache"); Person p1 = { 35, "John", "Smith" }; personCache.Put(42, p1); Person p2 = personCache.Get(42); std::cout << p2 << std::endl; assert(p1 == p2); return 0; } 

बहुत आसान लगता है, है ना? वास्तव में, चीजें थोड़ी जटिल हो जाती हैं अगर हम C ++ की सीमाओं पर अधिक बारीकी से देखते हैं।

C ++ एकीकरण चुनौतियां

जैसा कि मैंने उल्लेख किया है, अपाचे इग्नाइट पूरी तरह जावा में लिखा गया है - एक शक्तिशाली ओओपी-संचालित भाषा। यह तर्कसंगत है कि इस भाषा की कई विशेषताएं, उदाहरण के लिए, कार्यक्रम निष्पादन समय के प्रतिबिंब के साथ, अपाचे इग्नाइट घटकों को लागू करने के लिए सक्रिय रूप से उपयोग की गई थीं। उदाहरण के लिए, एक डिस्क पर भंडारण और एक नेटवर्क पर संचरण के लिए वस्तुओं के क्रमांकन / deserialization के लिए।

जावा के विपरीत C ++ में, ऐसा कोई शक्तिशाली प्रतिबिंब नहीं है। सामान्य तौर पर, नहीं, अभी तक, दुर्भाग्य से नहीं। विशेष रूप से, किसी ऑब्जेक्ट की सूची और प्रकार के क्षेत्रों का पता लगाने के कोई तरीके नहीं हैं, जो स्वचालित रूप से उपयोगकर्ता प्रकारों की वस्तुओं को क्रमबद्ध / deserializing करने के लिए आवश्यक कोड उत्पन्न कर सकता है। इसलिए, यहां एकमात्र विकल्प उपयोगकर्ता को उपयोगकर्ता प्रकार के बारे में स्पष्ट रूप से मेटाडेटा का आवश्यक सेट प्रदान करने और इसके साथ काम करने का तरीका पूछने के लिए है।

इग्नाइट सी ++ में, यह ignite::binary::BinaryType<T> टेम्पलेट के विशेषज्ञता के माध्यम से लागू किया गया है। इस दृष्टिकोण का उपयोग "मोटी" और "पतले" क्लाइंट दोनों में किया जाता है। ऊपर प्रस्तुत व्यक्ति वर्ग के लिए, एक समान विशेषज्ञता इस तरह दिख सकती है:

 namespace ignite { namespace binary { template<> struct BinaryType<Person> { static int32_t GetTypeId() { return GetBinaryStringHashCode("Person"); } static void GetTypeName(std::string& name) { name = "Person"; } static int32_t GetFieldId(const char* name) { return GetBinaryStringHashCode(name); } static bool IsNull(const Person& obj) { return false; } static void GetNull(Person& dst) { dst = Person(); } static void Write(BinaryWriter& writer, const Person& obj) { writer.WriteInt32("age", obj.age; writer.WriteString("firstName", obj.firstName); writer.WriteString("lastName", obj.lastName); } static void Read(BinaryReader& reader, Person& dst) { dst.age = reader.ReadInt32("age"); dst.firstName = reader.ReadString("firstName"); dst.lastName = reader.ReadString("lastName"); } }; } // namespace binary } // namespace ignite 

जैसा कि आप देख सकते हैं, क्रमांकन / deserialization BinaryType<Person>::Write , BinaryType<Person>::Read , कई अन्य तरीके हैं। प्लेटफ़ॉर्म की व्याख्या करने के लिए इनकी आवश्यकता होती है कि अन्य भाषाओं में, विशेष रूप से जावा में कस्टम C ++ प्रकारों के साथ कैसे काम किया जाए। आइए प्रत्येक विधि पर करीब से नज़र डालें:

• GetTypeName() - टाइप नाम लौटाता है। सभी प्लेटफार्मों पर प्रकार का नाम समान होना चाहिए, जिस पर प्रकार का उपयोग किया जाता है। यदि आप केवल इग्नाइट C ++ में टाइप का उपयोग करते हैं, तो नाम कुछ भी हो सकता है।
• GetTypeId() - यह विधि प्रकार के लिए एक क्रॉस-प्लेटफ़ॉर्म अद्वितीय पहचानकर्ता देता है। विभिन्न प्लेटफार्मों पर एक प्रकार के साथ सही काम के लिए, यह आवश्यक है कि इसकी गणना हर जगह समान हो। GetBinaryStringHashCode(TypeName) विधि डिफ़ॉल्ट रूप से अन्य सभी प्लेटफार्मों पर एक ही प्रकार की ID लौटाती है, अर्थात, इस पद्धति का यह कार्यान्वयन आपको अन्य प्लेटफार्मों से इस प्रकार के साथ सही ढंग से काम करने की अनुमति देता है।
• GetFieldId() - प्रकार नाम के लिए एक विशिष्ट पहचानकर्ता लौटाता है। फिर से, सही क्रॉस-प्लेटफ़ॉर्म काम के लिए यह GetBinaryStringHashCode() विधि का उपयोग करने के लायक है;
• IsNull() - चेक करता है कि किसी वर्ग का उदाहरण NULL प्रकार का ऑब्जेक्ट NULL । NULL मानों को सही रूप से NULL करने के लिए उपयोग किया जाता है। वर्ग के उदाहरणों के साथ बहुत उपयोगी नहीं है, लेकिन यह बहुत सुविधाजनक हो सकता है यदि उपयोगकर्ता स्मार्ट पॉइंटर्स के साथ काम करना चाहता है और विशेषज्ञता को परिभाषित करना चाहता है, उदाहरण के लिए, BinaryType< std::unique_ptr<Person> > ।
• GetNull() - जब किसी NULL वैल्यू को GetNull() करने की कोशिश की जाती है। IsNull बारे में सब कुछ GetNull() लिए भी सही है।

एसक्यूएल

यदि हम शास्त्रीय डेटाबेस के साथ एक सादृश्य आकर्षित करते हैं, तो कैश एक डेटाबेस स्कीमा है जिसमें एक वर्ग नाम होता है जिसमें एक तालिका होती है - एक प्रकार के नाम के साथ। कैश योजनाओं के अलावा, एक सामान्य योजना है जिसे PUBLIC कहा जाता है, जिसमें आप मानक DDL कमांड का उपयोग करके असीमित संख्या में टेबल बना सकते हैं / हटा सकते हैं, जैसे क्रिएट CREATE TABLE , DROP TABLE और इतने पर। यह सार्वजनिक योजना है कि वे आम तौर पर ODBC / JDBC के माध्यम से जुड़ते हैं यदि वे केवल वितरित डेटाबेस के रूप में इग्नाइट का उपयोग करना चाहते हैं।

इग्नाइट डीएमएल और डीडीएल सहित पूर्ण एसक्यूएल प्रश्नों का समर्थन करता है। SQL लेनदेन के लिए अभी तक कोई समर्थन नहीं है, लेकिन समुदाय अब MVCC के कार्यान्वयन पर सक्रिय रूप से काम कर रहा है, जो लेनदेन को जोड़ देगा, और, जहां तक ​​मुझे पता है, मुख्य परिवर्तन हाल ही में मास्टर में पेश किए गए थे।

SQL के माध्यम से कैश डेटा के साथ काम करने के लिए, आपको कैश कॉन्फ़िगरेशन में स्पष्ट रूप से निर्दिष्ट करना होगा कि SQL क्वेरी में ऑब्जेक्ट के कौन से फ़ील्ड का उपयोग किया जाएगा। कॉन्फ़िगरेशन XML फ़ाइल में लिखा जाता है, जिसके बाद नोड शुरू होने पर कॉन्फ़िगरेशन फ़ाइल का पथ निर्दिष्ट किया जाता है:

 <beans xmlns="http://www.springframework.org/schema/beans" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:util="http://www.springframework.org/schema/util" xsi:schemaLocation=" http://www.springframework.org/schema/beans http://www.springframework.org/schema/beans/spring-beans.xsd http://www.springframework.org/schema/util http://www.springframework.org/schema/util/spring-util.xsd"> <bean id="grid.cfg" class="org.apache.ignite.configuration.IgniteConfiguration"> <property name="cacheConfiguration"> <list> <bean class="org.apache.ignite.configuration.CacheConfiguration"> <property name="name" value="PersonCache"/> <property name="queryEntities"> <list> <bean class="org.apache.ignite.cache.QueryEntity"> <property name="keyType" value="java.lang.Integer"/> <property name="valueType" value="Person"/> <property name="fields"> <map> <entry key="age" value="java.lang.Integer"/> <entry key="firstName" value="java.lang.String"/> <entry key="lastName" value="java.lang.String"/> </map> </property> </bean> </list> </property> </bean> </list> </property> </bean> </beans> 

कॉन्फ़िगरेशन जावा इंजन द्वारा पार्स किया गया है, इसलिए जावा के लिए आधार प्रकार भी निर्दिष्ट किए जाने चाहिए। कॉन्फ़िगरेशन फ़ाइल बनने के बाद, आपको नोड शुरू करने की आवश्यकता है, कैश इंस्टेंस प्राप्त करें और आप एसक्यूएल का उपयोग शुरू कर सकते हैं:

 //... int main() { IgniteConfiguration cfg; cfg.springCfgPath = "config.xml"; Ignite node = Ignition::Start(cfg); cache::Cache<int32_t, Person> personCache = node.GetCache<int32_t, Person>("PersonCache"); personCache.Put(1, Person(35, "John", "Smith")); personCache.Put(2, Person(31, "Jane", "Doe")); personCache.Put(3, Person(12, "Harry", "Potter")); personCache.Put(4, Person(12, "Ronald", "Weasley")); cache::query::SqlFieldsQuery qry( "select firstName, lastName from Person where age = ?"); qry.AddArgument<int32_t>(12); cache::query::QueryFieldsCursor cursor = cache.Query(qry); while (cursor.HasNext()) { QueryFieldsRow row = cursor.GetNext(); std::cout << row.GetNext<std::string>() << ", "; std::cout << row.GetNext<std::string>() << std::endl; } return 0; } 

उसी तरह, आप insert , update , create table और अन्य क्वेरी create table सकते हैं। बेशक, क्रॉस-कैश अनुरोध भी समर्थित हैं। हालांकि, इस मामले में, कैश नाम योजना के नाम के रूप में उद्धरण चिह्नों में अनुरोध में इंगित किया जाना चाहिए। उदाहरण के लिए, के बजाय

 select * from Person inner join Profession 

लिखना चाहिए

 select * from "PersonCache".Person inner join "ProfessionCache".Profession 

और इसी तरह

अपाचे इग्नाइट में वास्तव में बहुत संभावनाएं हैं और निश्चित रूप से, एक पोस्ट में उन सभी को कवर करना असंभव था। सी ++ एपीआई अब सक्रिय रूप से विकसित हो रहा है, इसलिए जल्द ही और अधिक दिलचस्प होगा। यह संभव है कि मैं कुछ और पोस्ट लिखूंगा जहां मैं कुछ विशेषताओं का अधिक विस्तार से विश्लेषण करूंगा।

PS मैं 2017 से अपाचे इग्नाइट कमेटर रहा हूं और इस उत्पाद के लिए C ++ API को सक्रिय रूप से विकसित कर रहा हूं। यदि आप C ++, Java, या .NET से काफी परिचित हैं और एक सक्रिय, मैत्रीपूर्ण समुदाय के साथ एक खुले उत्पाद के विकास में भाग लेना चाहते हैं, तो हम हमेशा आपके लिए कुछ अन्य दिलचस्प कार्य करेंगे।