संदेश दलालों को समझना। ActiveMQ और Kafka के माध्यम से संदेश भेजने के यांत्रिकी सीखना। अध्याय 1

सभी को नमस्कार!

एक छोटी पुस्तक का अनुवाद करने लगे:
" मैसेज ब्रोकर्स को समझना ",
लेखक: जैकब कोरब, प्रकाशक: ओ'रेली मीडिया, इंक।, प्रकाशन तिथि: जून २०१ab, आईएसबीएन: ९ 4929१४ ९ २०४ ९ २ ९ ६६।

पुस्तक से परिचय से:
"... यह पुस्तक आपको दो लोकप्रिय ब्रोकर तकनीकों की तुलना और विपरीत करके दलालों पर मैसेजिंग सिस्टम के बारे में बात करना सिखाएगी: Apache ActiveMQ और Apache Kafka। यहां आपको उपयोग और विकास प्रोत्साहन के उदाहरण मिलेंगे जिनके कारण उनके डेवलपर्स ने पूरी तरह से दृष्टिकोण का उपयोग किया। एक ही क्षेत्र में - एक मध्यवर्ती ब्रोकर के साथ सिस्टम के बीच मैसेजिंग। हम इन तकनीकों को खरोंच से देखेंगे और रास्ते में विभिन्न डिज़ाइन विकल्पों के प्रभाव को उजागर करेंगे। आपको दोनों उत्पादों की गहरी समझ मिलेगी। भविष्य में अन्य मैसेजिंग तकनीकों पर विचार करते समय उन्हें कैसे इस्तेमाल किया जाना चाहिए और क्या नहीं देखना चाहिए, इसकी समझ ...

आज तक अनुवादित भागों:
अध्याय 1. परिचय
अध्याय 2. ActiveMQ
अध्याय 3. काफ्का

अनुवाद पूरा हुआ: tele.gg/middle_java

मैं भरे हुए अध्यायों को पोस्ट करूंगा क्योंकि वे अनुवादित हैं।

अध्याय १

परिचय

Intersystem मैसेजिंग IT के सबसे कम समझे जाने वाले क्षेत्रों में से एक है। एक डेवलपर या वास्तुकार के रूप में, आप विभिन्न रूपरेखाओं और डेटाबेस से अच्छी तरह से परिचित हो सकते हैं। हालांकि, यह संभावना है कि आपके पास केवल एक परिचित परिचित है जो ब्रोकर-आधारित मैसेजिंग तकनीक काम करता है। यदि आप ऐसा महसूस करते हैं, तो चिंता न करें, आप अच्छी कंपनी में हैं।

लोगों का आमतौर पर मैसेजिंग इन्फ्रास्ट्रक्चर के साथ बहुत सीमित संपर्क होता है। अक्सर वे बहुत समय पहले बनाए गए सिस्टम से कनेक्ट होते हैं, या इंटरनेट से वितरण किट डाउनलोड करते हैं, इसे PROM में इंस्टॉल करते हैं और इसके लिए कोड लिखना शुरू करते हैं। PROM में इन्फ्रास्ट्रक्चर लॉन्च करने के बाद, परिणाम मिश्रित हो सकते हैं: विफलताओं के दौरान संदेश की हानि, भेजना आपकी अपेक्षा के अनुरूप काम नहीं करता है, या दलाल आपके उत्पादकों को "निलंबित" करते हैं या आपके उपभोक्ताओं को संदेश नहीं भेजते हैं।

परिचित लग रहा है?

एक सामान्य परिदृश्य तब होता है जब आपका मैसेजिंग कोड ठीक काम करता है, कुछ समय के लिए। जब तक यह काम करना बंद नहीं करता। यह अवधि सतर्कता को कम करती है और सुरक्षा का झूठा अहसास कराती है, जो प्रौद्योगिकी के मौलिक व्यवहार के बारे में गलत विचारों के आधार पर और भी अधिक कोड की ओर ले जाती है। जब कुछ गलत होने लगता है, तो आपको एक असुविधाजनक सच्चाई का सामना करना पड़ता है: कि आप वास्तव में उत्पाद के मूल व्यवहार या लेखकों द्वारा चुने गए समझौतों को नहीं समझ पाए, जैसे कि प्रदर्शन बनाम विश्वसनीयता, या अस्थिरता बनाम क्षैतिज मापनीयता।

दलालों के काम करने की गहरी समझ के बिना, लोग अपने मैसेजिंग सिस्टम के बारे में उचित बयान देते हैं, जैसे:

• सिस्टम कभी संदेश नहीं खोएगा
• संदेशों को क्रमिक रूप से संसाधित किया जाएगा
• उपभोक्ताओं को जोड़ने से सिस्टम तेज होगा
• संदेश केवल एक बार वितरित किए जाएंगे।

दुर्भाग्य से, इनमें से कुछ कथन मान्यताओं पर आधारित हैं जो केवल कुछ विशेष परिस्थितियों में लागू होते हैं, जबकि अन्य बस गलत हैं।

यह पुस्तक आपको दो लोकप्रिय ब्रोकर तकनीकों की तुलना और इसके विपरीत: ब्रोकर-आधारित मैसेजिंग सिस्टम के बारे में बात करना सिखाएगी: Apache ActiveMQ और Apache Kafka। यहां हम उपयोग और विकास प्रोत्साहनों के उदाहरणों का वर्णन करेंगे, जिन्होंने अपने डेवलपर्स को एक ही क्षेत्र में पूरी तरह से अलग दृष्टिकोण का उपयोग करने के लिए नेतृत्व किया - एक मध्यवर्ती ब्रोकर के साथ सिस्टम के बीच संदेश। हम इन तकनीकों को खरोंच से देखेंगे और रास्ते में विभिन्न डिजाइन विकल्पों के प्रभाव को उजागर करेंगे। आप दोनों उत्पादों की गहरी समझ हासिल करेंगे, यह समझने की कोशिश करें कि उन्हें कैसे इस्तेमाल किया जाना चाहिए और क्या नहीं, और भविष्य में अन्य मैसेजिंग तकनीकों पर विचार करने के लिए क्या देखना चाहिए।

आरंभ करने से पहले, आइए मूल बातों से गुजरें।

एक संदेश प्रणाली क्या है और इसकी आवश्यकता क्यों है

एक दूसरे के साथ संवाद करने के लिए दो अनुप्रयोगों के लिए, उन्हें पहले एक इंटरफ़ेस परिभाषित करना होगा। इस इंटरफ़ेस की परिभाषा में एक ट्रांसपोर्ट या प्रोटोकॉल का चयन करना शामिल है, जैसे कि HTTP, MQTT, या SMTP, और संदेश स्वरूपों पर बातचीत करना जो सिस्टम एक्सचेंज करेंगे। यह एक कठोर प्रक्रिया हो सकती है, जैसे किसी संदेश की पेलोड आवश्यकताओं के साथ एक्सएमएल स्कीमा को परिभाषित करना, या यह बहुत कम औपचारिक हो सकता है, उदाहरण के लिए, दो डेवलपर्स के बीच एक समझौते जिसमें HTTP अनुरोध के कुछ हिस्से में एक ग्राहक पहचानकर्ता होगा ।

जब तक संदेश प्रारूप और सिस्टम के बीच भेजने का क्रम संगत है, तब तक वे एक-दूसरे के साथ एक दूसरे सिस्टम के कार्यान्वयन के बारे में चिंता किए बिना बातचीत कर सकेंगे। इन प्रणालियों के इंटर्नल्स, जैसे एक प्रोग्रामिंग भाषा या उपयोग की गई रूपरेखा, समय के साथ बदल सकती है। जब तक अनुबंध स्वयं समर्थित होता है, तब तक बातचीत दूसरी तरफ से अपरिवर्तित रह सकती है। इस इंटरफ़ेस द्वारा दो प्रणालियों को प्रभावी ढंग से डिस्कनेक्ट (अलग) किया जाता है।

संदेश प्रणाली, एक नियम के रूप में, दो प्रणालियों के बीच एक मध्यस्थ की भागीदारी के लिए प्रदान करते हैं जो प्राप्तकर्ता या प्राप्तकर्ताओं से प्रेषक को अलग (अलग) करने के लिए बातचीत करते हैं। उसी समय, मैसेजिंग सिस्टम प्रेषक को यह जानने के बिना संदेश भेजने की अनुमति देता है कि प्राप्तकर्ता कहां है, वह सक्रिय है या उनमें से कितने हैं।

आइए उन समस्याओं की किस्मों के कुछ उपमाओं को देखें, जो एक मैसेजिंग सिस्टम हल करता है, और कुछ बुनियादी शब्दों को पेश करता है।

पॉइंट-टु-पॉइंट

अलेक्जेंड्रा, एडम को पार्सल भेजने के लिए पोस्ट ऑफिस जाती है। वह खिड़की पर जाती है और कर्मचारी को एक पैकेज सौंपती है। कर्मचारी पार्सल उठाता है और एलेक्जेंड्रा को एक रसीद देता है। पार्सल भेजने के समय एडम को घर होने की जरूरत नहीं है। एलेक्जेंड्रा को भरोसा है कि पैकेज भविष्य में किसी बिंदु पर एडम को दिया जाएगा और अपनी खुद की बात करना जारी रख सकता है। बाद में, कुछ बिंदु पर, एडम पैकेज प्राप्त करता है।

यह पॉइंट-टू-पॉइंट मैसेजिंग मॉडल का एक उदाहरण है। यहां डाकघर पार्सल वितरण तंत्र के रूप में कार्य करता है, यह सुनिश्चित करता है कि प्रत्येक पार्सल एक बार डिलीवर हो जाए। डाकघर का उपयोग पार्सल की डिलीवरी से पार्सल भेजने के अधिनियम को अलग करता है।
क्लासिक मैसेजिंग सिस्टम में, पॉइंट टू पॉइंट मॉडल को कतारों के माध्यम से लागू किया जाता है। कतार एक FIFO बफर के रूप में कार्य करता है (पहले में, पहले बाहर) जो एक या अधिक उपभोक्ता सदस्यता ले सकते हैं। प्रत्येक संदेश केवल सब्सक्राइबर उपभोक्ताओं में से एक को दिया जाता है। कतारें आमतौर पर उपभोक्ताओं के बीच संदेश वितरित करने का प्रयास करती हैं। केवल एक उपभोक्ता को यह संदेश प्राप्त होगा।

"टिकाऊ" शब्द कतारों में लागू होता है। विश्वसनीयता सेवा की एक विशेषता है जो यह सुनिश्चित करती है कि संदेश सेवा तब संदेश सहेजेगी जब कोई सक्रिय ग्राहक न हों जब तक कि उपभोक्ता संदेश वितरण के लिए कतार में नहीं जाता है।

विश्वसनीयता को अक्सर दृढ़ता के साथ भ्रमित किया जाता है और, हालांकि, दो शब्दों का परस्पर उपयोग किया जाता है, वे अलग-अलग कार्य करते हैं। दृढ़ता यह निर्धारित करती है कि संदेश को संदेश प्रणाली द्वारा किसी भी प्रकार के भंडारण में उपभोक्ता को प्राप्त करने और भेजने के बीच आदान-प्रदान किया जाता है या नहीं। कतार में भेजे गए संदेश लगातार नहीं भी हो सकते हैं।
पॉइंट-टू-पॉइंट मैसेजिंग का उपयोग तब किया जाता है जब किसी मैसेज केस में मैसेज के साथ वन-टाइम एक्शन की आवश्यकता होती है। एक उदाहरण एक खाते में धन जमा करना या डिलीवरी ऑर्डर पूरा करना है। हम बाद में चर्चा करेंगे कि मैसेजिंग सिस्टम खुद एक बार की डिलीवरी क्यों नहीं दे पा रहा है और क्यों कतारें कम से कम एक बार डिलीवरी की गारंटी प्रदान कर सकती हैं।

प्रकाशक सब्सक्राइबर

गैब्रिएला कॉन्फ्रेंस नंबर डायल करती है। जब वह सम्मेलन से जुड़ी होती है, तो वह उस सब कुछ सुन लेती है, जो स्पीकर कहता है, साथ ही कॉल में अन्य प्रतिभागियों के साथ। जब वह बंद हो जाती है, तो वह जो कहती है उसे छोड़ देती है। जब दोबारा मिलाया जाता है, तो वह सुनती रहती है कि वे क्या कहते हैं।

यह एक प्रकाशित-सदस्यता संदेश सेवा मॉडल का एक उदाहरण है। कॉन्फ्रेंसिंग एक प्रसारण तंत्र के रूप में कार्य करता है। बात करने वाले को इस बात की परवाह नहीं है कि वर्तमान में कितने लोग कॉल में शामिल हो रहे हैं - सिस्टम सुनिश्चित करता है कि पल में जुड़ा कोई भी सुनता है कि क्या कहा जा रहा है।
क्लासिक मैसेजिंग सिस्टम में, प्रकाशन-सदस्यता वाले मैसेजिंग मॉडल को विषयों के माध्यम से लागू किया जाता है । विषय कॉन्फ्रेंसिंग तंत्र के समान प्रसारण विधि प्रदान करता है। जब कोई संदेश विषय पर भेजा जाता है, तो उसे सभी सदस्यता प्राप्त उपयोगकर्ताओं को वितरित किया जाता है ।

विषय आमतौर पर विश्वसनीय नहीं होते हैं। एक श्रोता की तरह जो कान्फ्रेंस कॉल पर जो कुछ भी नहीं सुनता है, जब श्रोता डिस्कनेक्ट हो जाता है, तो विषय के ग्राहक ऑफ़लाइन होने पर भेजे जाने वाले किसी भी संदेश को छोड़ देते हैं। इस कारण से, यह कहा जा सकता है कि विषय प्रत्येक उपभोक्ता के लिए एक से अधिक बार वितरण की गारंटी प्रदान करते हैं।

प्रकाशन-सदस्यता संदेश का उपयोग आमतौर पर तब किया जाता है जब संदेश प्रकृति में सूचनात्मक होते हैं, और एक संदेश का नुकसान विशेष रूप से महत्वपूर्ण नहीं होता है। उदाहरण के लिए, एक विषय प्रति सेकंड एक बार सेंसर के समूह से तापमान रीडिंग संचारित कर सकता है। एक प्रणाली जो वर्तमान तापमान में रुचि रखती है और जो विषय की सदस्यता लेती है वह चिंता नहीं करेगा यदि यह एक संदेश याद करता है - निकट भविष्य में एक और आगमन होगा।

हाइब्रिड मॉडल

स्टोर की वेबसाइट संदेश कतार में संदेश भेजती है। इन संदेशों का मुख्य उपभोक्ता कार्यकारी प्रणाली है। इसके अलावा, ऑडिट प्रणाली में बाद के ट्रैकिंग के लिए इन आदेश संदेशों की प्रतियां होनी चाहिए। दोनों सिस्टम संदेशों को छोड़ नहीं सकते, भले ही सिस्टम स्वयं कुछ समय के लिए अनुपलब्ध हो। एक वेबसाइट को अन्य प्रणालियों के बारे में पता नहीं होना चाहिए।

उपयोग परिदृश्यों को अक्सर प्रकाशन-सदस्यता और पॉइंट-टू-पॉइंट मैसेजिंग मॉडल के संयोजन की आवश्यकता होती है, उदाहरण के लिए, जब कई प्रणालियों को संदेश की प्रतिलिपि की आवश्यकता होती है, और संदेश हानि को रोकने के लिए विश्वसनीयता और दृढ़ता दोनों की आवश्यकता होती है।

इन मामलों में, एक गंतव्य की आवश्यकता होती है (कतारों और विषयों के लिए एक सामान्य शब्द), जो मुख्य रूप से संदेश को एक विषय के रूप में वितरित करता है, ताकि प्रत्येक संदेश को एक अलग सिस्टम पर भेजा जाए जो इन संदेशों में रुचि रखता है, लेकिन यह भी कि प्रत्येक प्रणाली कई को परिभाषित कर सकती है उपभोक्ता जो आने वाले संदेशों को प्राप्त करते हैं, जो एक कतार की तरह अधिक है। इस मामले में पढ़ने का प्रकार एक बार प्रत्येक इच्छुक पार्टी के लिए है । इन संकर प्राप्तकर्ताओं को अक्सर स्थायित्व की आवश्यकता होती है, इसलिए यदि उपभोक्ता डिस्कनेक्ट करता है, तो इस समय भेजे गए संदेश उपभोक्ता को फिर से कनेक्ट करने के बाद प्राप्त होते हैं।

हाइब्रिड मॉडल नए नहीं हैं और इसका उपयोग अधिकांश मैसेजिंग सिस्टम में किया जा सकता है, जिसमें एक्टिवएमक्यू (वर्चुअल या कम्पोजिट डेस्टिनेशंस के साथ-साथ विषयों और कतारों को मिलाकर), और काफ्का (संक्षेप में, इसके पते की डिजाइन की मूल संपत्ति के रूप में) शामिल हैं।

अब जब हमारे पास कुछ बुनियादी शब्दावली है और इस बात की समझ है कि मैसेजिंग सिस्टम के लिए क्या उपयोगी हो सकता है, तो आइए विवरणों पर चलते हैं।

अनुवाद पूरा हुआ: tele.gg/middle_java

अगला भाग: अध्याय 2. ActiveMQ

जारी रखने के लिए ...