🔚 🏾 👐🏼 नेटफ्लिक्स माइक्रोसर्विसेज हैंडल पब-सब डेटा कैसे 🙏🏻 🏎️ 🧛🏼

लेख का अनुवाद विशेष रूप से पाठ्यक्रम के छात्रों के लिए तैयार किया गया था "हाई लोड आर्किटेक्ट" ।

परिचय

Netflix microservice आर्किटेक्चर में, डेटासेट को एक से कई एंडपॉइंट पर स्थानांतरित करना बेहद मुश्किल हो सकता है। इन डेटा सेटों में सर्विस कॉन्फ़िगरेशन से लेकर बैच प्रोसेसिंग परिणाम तक कुछ भी हो सकता है। एक्सेस का अनुकूलन करने के लिए, एक निवासी डेटाबेस अक्सर आवश्यक होता है, और डेटा को अपडेट करने के तुरंत बाद परिवर्तन भेजा जाना चाहिए।

एक उदाहरण जो किसी डेटासेट के वितरित वितरण की आवश्यकता को दर्शाता है, ऐसा दिखता है: किसी भी समय, नेटफ्लिक्स ए / बी परीक्षणों की एक बड़ी संख्या का प्रदर्शन करता है। ये परीक्षण कई सेवाओं और आदेशों को कवर करते हैं, और परीक्षण ऑपरेटरों को मक्खी पर पुन: कॉन्फ़िगर करने में सक्षम होना चाहिए। इसमें नोड्स का पता लगाने की क्षमता की भी आवश्यकता होती है जो नवीनतम परीक्षण कॉन्फ़िगरेशन प्राप्त नहीं कर सके, और कुछ गलत होने पर पुराने संस्करणों में वापस रोल करने की क्षमता।

एक डेटा सेट का एक और उदाहरण जिसे वितरित करने की आवश्यकता है वह मशीन लर्निंग मॉडल का आउटपुट अनुक्रम है: इसके काम के परिणामों का उपयोग कई टीमों द्वारा किया जा सकता है, हालांकि एमएल टीमों को एक महत्वपूर्ण स्थिति में निर्बाध पहुंच सेवाओं का समर्थन करने में कोई दिलचस्पी नहीं है। स्थिति के बजाय जब प्रत्येक टीम को सफलतापूर्वक रोल बैक करने में सक्षम होने के लिए बैकअप बनाने की आवश्यकता होती है, यह सुनिश्चित करने के लिए विशेष ध्यान दिया जाता है कि कई टीमें एकल टीम के परिणामों का उपयोग कर सकती हैं।

बुनियादी ढांचे के स्तर पर समर्थन के बिना, प्रत्येक टीम अंततः अपने स्वयं के समाधान को लागू करने की कोशिश करती है, लेकिन यह अलग-अलग टीमों के साथ बदलती सफलता के साथ होती है। डेटा अपने आप अलग आकार के होते हैं, कुछ बाइट्स से कुछ गिगाबाइट्स तक। विशेष उपकरणों का उपयोग करके प्रक्रियाओं के प्रदर्शन की निगरानी करने और खराबी का पता लगाने की क्षमता बनाना महत्वपूर्ण है ताकि ऑपरेटर जल्दी से अपना समाधान बनाने के बिना बदलाव कर सकें।

डेटा प्रसार

नेटफ्लिक्स में, हम एक आंतरिक पब / उप डेटा सिस्टम का उपयोग करते हैं जिसे गुटेनबर्ग कहा जाता है। गुटेनबर्ग आपको वर्जनिंग के साथ डेटासेट वितरित करने की अनुमति देता है - प्राप्तकर्ता डेटा की सदस्यता लेते हैं और प्रकाशित होने पर अपने नवीनतम संस्करण प्राप्त करते हैं। डेटा सेट का प्रत्येक संस्करण अपरिवर्तित रहता है और इसमें डेटा का पूर्ण प्रतिनिधित्व होता है, अर्थात पिछले संस्करणों पर निर्भरता नहीं होती है। गुटेनबर्ग आपको अपनी आवश्यकता के मामले में डेटा के पुराने संस्करणों को देखने की अनुमति देता है, उदाहरण के लिए, डिबगिंग, जल्दी से डेटा समस्या को हल करना, या मशीन सीखने के मॉडल को फिर से सिखाना। इस लेख में, हम गुटेनबर्ग की उच्च-स्तरीय वास्तुकला के बारे में बात करेंगे।

डेटा मॉडल

1 विषय -> कई संस्करण

गुटेनबर्ग की टॉप-लेवल डिज़ाइन थीम है। प्रकाशक विषय के भीतर डेटा प्रकाशित करता है, और प्राप्तकर्ता इसे से निकालते हैं। विषय में प्रकाशन एक अलग संस्करण के रूप में जोड़ा जाता है। उन विशिष्ट भंडारण नीति की विशेषता है जो उपयोग के मामले के आधार पर संस्करणों की संख्या निर्धारित करती है। उदाहरण के लिए, आप पिछले 10 दिनों के 10 संस्करणों या संस्करणों को संग्रहीत करने के लिए किसी विषय को कॉन्फ़िगर कर सकते हैं।

प्रत्येक संस्करण में मेटाडेटा (कुंजी और मान) और एक डेटा पॉइंटर होता है। डेटा पॉइंटर को विशेष मेटाडेटा के रूप में माना जा सकता है जो दर्शाता है कि प्रकाशित डेटा वास्तव में संग्रहीत है। आज, गुटेनबर्ग प्रत्यक्ष डेटा पॉइंटर्स का समर्थन करता है (यदि पेलोड स्वयं डेटा पॉइंटर के मूल्य में लिखा गया है) और एस 3 डेटा पॉइंटर्स (यदि पेलोड एस 3 में संग्रहीत है)। डेटा के छोटे (1 एमबी से कम) होने पर आमतौर पर डायरेक्ट डेटा पॉइंटर्स का उपयोग किया जाता है, और डेटा वॉल्यूम बड़ा होने की स्थिति में S3 को बैकअप स्टोरेज के रूप में उपयोग किया जाता है।

1 विषय -> कई प्रकाशित सेट

गुटेनबर्ग प्राप्तकर्ता उपयोगकर्ताओं के एक विशिष्ट सेट में एक प्रकाशन भेजने की क्षमता प्रदान करता है - उदाहरण के लिए, एक सेट को एक विशिष्ट क्षेत्र, एप्लिकेशन या क्लस्टर द्वारा समूहीकृत किया जा सकता है। इसका उपयोग डेटा परिवर्तन की गुणवत्ता को नियंत्रित करने या डेटा सेट को सीमित करने के लिए किया जा सकता है ताकि अनुप्रयोगों का एक सबसेट इसे सदस्यता ले सके। प्रकाशक डेटा के किसी विशेष संस्करण के प्रकाशन क्षेत्र को निर्धारित करते हैं और पहले प्रकाशित डेटा में क्षेत्रों को जोड़ सकते हैं। कृपया ध्यान दें कि इसका मतलब है कि डेटा के नवीनतम संस्करण की अवधारणा एक विशिष्ट क्षेत्र पर निर्भर करती है - दो एप्लिकेशन को प्रकाशक द्वारा परिभाषित प्रकाशन क्षेत्र के आधार पर डेटा के नवीनतम विभिन्न संस्करण प्राप्त हो सकते हैं। गुटेनबर्ग सेवा नवीनतम संस्करण के रूप में भेजने का निर्णय लेने से पहले प्रकाशन क्षेत्रों के लिए प्राप्तकर्ता अनुप्रयोगों को मैप करती है।

मामलों का उपयोग करें

गुटेनबर्ग के लिए सबसे आम उपयोग मामला एक प्रकाशक से कई प्राप्तकर्ताओं को विभिन्न आकारों के डेटा को वितरित करना है। अक्सर डेटा को प्राप्तकर्ता की मेमोरी में संग्रहीत किया जाता है और इसे "साझा कैश" के रूप में उपयोग किया जाता है, जहां यह हमेशा प्राप्तकर्ता के कोड के निष्पादन के दौरान उपलब्ध रहता है और यदि आवश्यक हो तो इसे हुड के नीचे बदल दिया जाता है। इन उपयोग मामलों में से कई को "कॉन्फ़िगरेशन" में वर्गीकृत किया जा सकता है, जैसे कि ओपन कनेक्ट एप्लायंस कैश कॉन्फ़िगरेशन, समर्थित डिवाइस प्रकार आईडी, समर्थित भुगतान विधि मेटाडेटा, और ए / बी परीक्षण कॉन्फ़िगरेशन। गुटेनबर्ग इस डेटा को प्रकाशित करने और प्राप्त करने के बीच एक अमूर्तता प्रदान करता है, जिससे प्रकाशकों को बहाव के प्राप्तकर्ताओं को प्रभावित किए बिना अपने आवेदन के माध्यम से स्वतंत्र रूप से पुनरावृति करने की अनुमति मिलती है। कुछ मामलों में, प्रकाशन गुटेनबर्ग द्वारा प्रबंधित उपयोगकर्ता इंटरफ़ेस का उपयोग करके किया जाता है, और टीमों को अपने प्रकाशन आवेदन को छूने की आवश्यकता नहीं होती है।

गुटेनबर्ग प्रणाली का एक अन्य उपयोग संस्करणित डेटा का भंडार है। यह मशीन सीखने के अनुप्रयोगों के लिए उपयोगी है जहां टीम ऐतिहासिक डेटा के आधार पर मॉडल का निर्माण और प्रशिक्षण देती है, देखें कि वे समय के साथ कैसे बदलते हैं, फिर कुछ मापदंडों को बदलते हैं और एप्लिकेशन को फिर से चलाते हैं। अधिकांश बार बैच गणना में, गुटेनबर्ग का उपयोग डेटा सेट के विभिन्न संस्करणों के रूप में इन गणनाओं के परिणामों को संग्रहीत और वितरित करने के लिए किया जाता है। ऑनलाइन उपयोग के मामले नवीनतम संस्करण सेट से वास्तविक समय डेटा प्रदान करने के लिए विषयों की सदस्यता लेते हैं, जबकि स्वायत्त प्रणाली एक ही विषय से ऐतिहासिक डेटा का उपयोग कर सकते हैं, उदाहरण के लिए, मशीन सीखने का मॉडल सिखाने के लिए।

यह ध्यान रखना महत्वपूर्ण है कि गुटेनबर्ग को एक घटना प्रणाली के रूप में नहीं बनाया गया है, यह पूरी तरह से संस्करण नियंत्रण और डेटा वितरण के लिए है। विशेष रूप से, लगातार प्रकाशनों का मतलब यह नहीं है कि ग्राहक को प्रत्येक संस्करण प्राप्त करना आवश्यक है। जब वह किसी अपडेट का अनुरोध करता है, तो उसे नवीनतम संस्करण प्राप्त होगा, भले ही वर्तमान में उसका वर्तमान संस्करण वर्तमान में बहुत पीछे हो। पारंपरिक पब-उप या ईवेंट सिस्टम छोटे संदेशों के लिए अधिक उपयुक्त होते हैं जो क्रमिक रूप से भेजे जाते हैं। यही है, प्राप्तकर्ता घटनाओं के पूरे (संपीड़ित) स्ट्रीम का उपभोग करके पूरे डेटा सेट का एक विचार बना सकते हैं। हालांकि, गुटेनबर्ग को एक डेटासेट के पूर्ण, अपरिवर्तनीय प्रतिनिधित्व को प्रकाशित करने और उपयोग करने का इरादा है।

विकास और वास्तुकला

गुटेनबर्ग में एक जीआरपीसी सेवा और एक आरईएसटी एपीआई, साथ ही एक जावा ग्राहक पुस्तकालय भी शामिल है जो जीआरपीसी एपीआई का उपयोग करता है।

उच्च स्तरीय वास्तुकला

ग्राहक

गुटेनबर्ग क्लाइंट लाइब्रेरी एक सदस्यता, लोडिंग / अनलोडिंग एस 3, एटलस मेट्रिक्स, और मापदंडों को प्रबंधित करने जैसे कार्यों को संभालती है, जिन्हें आर्कियस गुणों का उपयोग करके कॉन्फ़िगर किया जा सकता है। वह सेवाओं की खोज के लिए यूरेका का उपयोग करके, GRPC के माध्यम से गुटेनबर्ग सेवा के साथ बातचीत करता है।

प्रकाशन

प्रकाशक आमतौर पर स्ट्रिंग, फ़ाइलों और बाइट सरणियों को प्रकाशित करने के लिए उच्च-स्तरीय एपीआई का उपयोग करते हैं। डेटा के आकार के आधार पर, उन्हें डेटा के प्रत्यक्ष सूचक के रूप में प्रकाशित किया जा सकता है या S3 पर अपलोड किया जा सकता है, और फिर डेटा सूचक S3 के रूप में प्रकाशित किया जा सकता है। ग्राहक प्रकाशक की ओर से एस 3 को पेलोड अपलोड कर सकता है या केवल पेलोड मेटाडेटा प्रकाशित कर सकता है जो पहले से ही एस 3 में है।

प्रत्यक्ष डेटा संकेत स्वचालित रूप से विश्व स्तर पर दोहराया जाता है। S3 में प्रकाशित डेटा डिफ़ॉल्ट रूप से, प्रकाशक द्वारा कई क्षेत्रों में अपलोड किया जाता है, हालाँकि इसे भी अनुकूलित किया जा सकता है।

सदस्यता प्रबंधन

क्लाइंट लाइब्रेरी प्राप्तकर्ता सदस्यता प्रबंधन प्रदान करता है। यह उपयोगकर्ताओं को कुछ निश्चित विषयों के लिए सदस्यता बनाने की अनुमति देता है जिससे लाइब्रेरी डेटा (उदाहरण के लिए, S3 से) को उपयोगकर्ता द्वारा निर्धारित प्राप्तकर्ता को हस्तांतरित करने के लिए निकालती है। सर्वेक्षण के मॉडल के अनुसार सदस्यता काम करती है - वे सेवा से हर 30 सेकंड में एक नया अपडेट का अनुरोध करते हैं, जो उन्हें पिछले प्राप्त संस्करण को भेजते हैं। सब्स्क्राइब्ड ग्राहक उस डेटा के पुराने संस्करण का उपयोग नहीं करेंगे, जो वर्तमान में उनके पास है अगर यह ठीक नहीं है (देखें "नीचे की तरफ गलती")। बार-बार अनुरोध तर्क वायर्ड और विन्यास योग्य है। उदाहरण के लिए, उपयोगकर्ता डेटा के पुराने संस्करणों का उपयोग करने के लिए गुटेनबर्ग को कॉन्फ़िगर कर सकते हैं यदि डाउनलोड प्रक्रिया टूट जाती है या स्टार्टअप पर डेटा के नवीनतम संस्करण को संसाधित करने के लिए, सबसे अधिक बार डेटा परिवर्तनों के साथ काम करने के लिए जो प्रतिक्रिया के साथ असंगत हैं। गुटेनबर्ग एक पूर्व-कॉन्फ़िगर सदस्यता भी प्रदान करता है जो नवीनतम डेटा को संग्रहीत करता है और हुड के तहत परिवर्तन आने पर उन्हें परमाणु अद्यतन करता है। यह सबसे अधिक सदस्यता उपयोग के मामलों को पूरा करता है, जहां ग्राहक किसी भी समय केवल वर्तमान मूल्य के बारे में परवाह करते हैं, जो उपयोगकर्ताओं को डिफ़ॉल्ट मान निर्दिष्ट करने की अनुमति देता है, उदाहरण के लिए, उस विषय के लिए जिसे पहले कभी पोस्ट नहीं किया गया है (उदाहरण के लिए, यदि विषय कॉन्फ़िगरेशन के लिए उपयोग किया जाता है), या यदि विषय के आधार पर कोई त्रुटि है (वैध डिफ़ॉल्ट मान होने पर सेवा के लॉन्च को रोकने से बचने के लिए)।

प्राप्तकर्ता एपीआई

गुटेनबर्ग उच्च-स्तरीय क्लाइंट एपीआई भी प्रदान करता है, जिसमें हुड के नीचे निम्न-स्तरीय जीआरपीसी एपीआई होते हैं और क्वेरी निष्पादन की अतिरिक्त कार्यक्षमता और पारदर्शिता प्रदान करते हैं। एक उदाहरण एक विशिष्ट विषय और संस्करण के लिए डेटा डाउनलोड कर रहा है, जो नेटफ्लिक्स खोखले से जुड़े घटकों द्वारा व्यापक रूप से उपयोग किया जाता है। एक अन्य उदाहरण एक निश्चित समय पर किसी विषय के नवीनतम संस्करण की प्राप्ति है - डिबगिंग या शिक्षण मशीन शिक्षण मॉडल के लिए एक सामान्य उपयोग मामला।

ग्राहक की स्थिरता और "पारदर्शिता"

गुटेनबर्ग को प्राप्तकर्ता सेवाओं को सफलतापूर्वक शुरू करने की अनुमति देने के बजाय एक फोकस के साथ डिज़ाइन किया गया था, बजाय इसके कि वे सबसे वर्तमान डेटा के साथ शुरू करें। इस कारण से, क्लाइंट लाइब्रेरी को राज्यों को संभालने के लिए बैकअप तर्क के साथ बनाया गया था जब यह गुटेनबर्ग सेवा के साथ बातचीत नहीं कर सकता था। यदि HTTP अनुरोध विफल हो जाता है, तो ग्राहक S3 से प्रकाशित विषय के बैकअप मेटाडेटा कैश को लोड करता है और इसके साथ काम करता है। इस कैश में यह तय करने की सभी जानकारी होती है कि क्या अद्यतन को लागू करना है और कहां डेटा पुनर्प्राप्त करना है (या तो प्रकाशन मेटाडेटा से या S3 से)। यह ग्राहकों को सेवा का उपयोग किए बिना डेटा (जो संभावित रूप से पुराना है, बैकअप कैश की वर्तमान स्थिति पर निर्भर करता है) प्राप्त करने की अनुमति देता है।

क्लाइंट लाइब्रेरी प्रदान करने के फायदों में से एक मेट्रिक्स प्राप्त करने की क्षमता है जिसका उपयोग सामान्य रूप से बुनियादी ढांचे की समस्याओं और विशिष्ट अनुप्रयोगों में त्रुटियों की रिपोर्ट करने के लिए किया जा सकता है। आज इन मेट्रिक्स का उपयोग गुटेनबर्ग टीम द्वारा हमारे SLI प्रकाशनों और विशिष्ट समस्याओं के मामले में अलर्ट की निगरानी के लिए किया जाता है। कुछ ग्राहक विशिष्ट एप्लिकेशन-विशिष्ट त्रुटियों की रिपोर्ट करने के लिए इन मैट्रिक्स का भी उपयोग करते हैं, उदाहरण के लिए, व्यक्तिगत प्रकाशन विफलताओं या किसी विशेष विषय से इनकार।

सर्वर

गुटेनबर्ग एक गवर्नर / टोमाकट एप्लिकेशन है जो जीआरपीसी और आरईएसटी समापन बिंदु प्रदान करता है। यह प्रत्येक क्षेत्र में प्रकाशन मेटाडेटा को संग्रहीत करने और वितरित करने के लिए विश्व स्तर पर प्रतिकृति कैसंड्रा क्लस्टर का उपयोग करता है। प्राप्तकर्ता के अनुरोधों को संसाधित करने वाले उदाहरणों को प्रकाशन अनुरोधों को संसाधित करने वाले उदाहरणों से अलग से स्केल किया जाता है। प्रकाशन के अनुरोधों की तुलना में प्रकाशन के लिए लगभग 1,000 गुना अधिक अनुरोध हैं। इसके अलावा, यह आपको रसीद पर प्रकाशन के तथ्य की निर्भरता को दूर करने की अनुमति देता है, इसलिए प्रकाशनों में अचानक वृद्धि रसीद को प्रभावित नहीं करेगी, और इसके विपरीत।

प्राप्तकर्ता अनुरोध क्लस्टर में प्रत्येक उदाहरण हाल के प्रकाशनों की अपनी इन-मेमोरी कैश प्रक्रिया करता है, इसे कैसेंड्रा से हर कुछ सेकंड में खींचता है। कैसेंड्रा क्लस्टर में ट्रैफ़िक स्थानांतरित किए बिना हस्ताक्षर किए गए क्लाइंट से बड़ी संख्या में प्राप्त अनुरोधों को संसाधित करने के लिए यह आवश्यक है। इसके अलावा, एक छोटे से ttl अनुरोध पूल के साथ कैश क्वेरी स्पाइक्स के खिलाफ सुरक्षा करता है जो संभवतः कैसेंड्रा को इतना धीमा कर सकता है कि यह पूरे क्षेत्र को प्रभावित करता है। हमारे पास ऐसी परिस्थितियां थीं जब अचानक बड़े समूहों के पुनर्वितरण के साथ हुई त्रुटियों के कारण गुटेनबर्ग सेवा में रुकावट आ गई। इसके अलावा, हम दूसरों को प्रभावित किए बिना गलत व्यवहार वाले अनुप्रयोगों को दबाने के लिए मूल एप्लिकेशन में पाए गए अनुकूली संगामिति लिमिटर का उपयोग करते हैं।

ऐसे मामलों में जहां कई क्षेत्रों में डेटा S3 में प्रकाशित किया जाता है, सर्वर क्लाइंट को डाउनलोड करने के लिए किस खंड पर वापस भेजता है, यह तय करता है कि ग्राहक कहां स्थित है। यह ग्राहक को "निकटतम" क्षेत्र में एक खंड के साथ ग्राहक प्रदान करने की अनुमति देता है या ग्राहक को किसी अन्य क्षेत्र में स्थानांतरित करने के लिए मजबूर करता है यदि वर्तमान क्षेत्र एक कारण या किसी अन्य के लिए डिस्कनेक्ट हो जाता है।

प्राप्तकर्ताओं को सदस्यता डेटा वापस करने से पहले, गुटेनबर्ग पहले स्थिरता के लिए डेटा की जाँच करता है। यदि चेक विफल हो जाता है, और ग्राहक को पहले से ही कुछ डेटा मिल गया है, तो सेवा कुछ भी वापस नहीं करती है, जिसका वास्तव में मतलब है कि अपडेट अनुपलब्ध है। यदि सब्सक्राइबर क्लाइंट को अभी तक कोई डेटा नहीं मिला है (आमतौर पर इसका मतलब है कि यह अभी शुरू हुआ है), सेवा विषय के इतिहास का अनुरोध करती है और पिछले मूल्य को वापस करती है जो स्थिरता की जांच से गुजरती है। यह इस तथ्य के कारण है कि हम कैसंड्रा स्तर पर प्रतिकृति में एपिसोड देरी का निरीक्षण करते हैं, जहां समय के अनुसार ग्राहक नए डेटा का अनुरोध करते हैं, नवीनतम प्रकाशित संस्करण से जुड़े मेटाडेटा को केवल आंशिक रूप से दोहराया गया था। यह क्लाइंट को अधूरा डेटा प्राप्त करने का कारण बन सकता है, जो तब व्यापार तर्क में डेटा अनुरोध त्रुटियों या त्रुटियों को जन्म देगा। सर्वर पर इस तरह की निरंतरता जांच करने से प्राप्तकर्ताओं को संभावित निरंतरता के अलर्ट से सुरक्षा मिलती है जो डेटा वेयरहाउस सेवा की पसंद के साथ आते हैं।

इन विषयों का उपयोग करने वाले विषयों और साइटों के प्रकाशनों की निगरानी करने की क्षमता ऑडिटिंग और उपयोग जानकारी एकत्र करने के लिए एक महत्वपूर्ण कार्य है। इस डेटा को एकत्र करने के लिए, सेवा प्रकाशकों और प्राप्तकर्ताओं (दोनों ग्राहकों और अन्य लोगों से डेटा अपडेट करने के लिए अनुरोध) से अनुरोधों को स्वीकार करती है और उन्हें कीस्टोन डेटा पाइपलाइन का उपयोग करके एलिटिक्स खोज में अनुक्रमित करती है। इसलिए हमारे पास उन विषयों की निगरानी के लिए डेटा प्राप्त करने का अवसर है जो उपयोग किए जाते हैं और अब नहीं हैं। हम आंतरिक यूआई से किबाना डैशबोर्ड के लिए इन-डेप्थ लिंक प्रकाशित करते हैं ताकि थीम मालिक स्वतंत्र रूप से अपने ग्राहकों का प्रबंधन कर सकें।

प्रकाशक और प्राप्तकर्ता अनुरोधों को संभालने वाले समूहों के अलावा, गुटेनबर्ग सेवा एक और क्लस्टर लॉन्च करती है जो आवधिक अनुरोधों को संसाधित करती है। विशेष रूप से, वह दो समस्याओं का हल करता है:

हर कुछ मिनट में, सभी नवीनतम प्रकाशन और मेटाडेटा एकत्र किए जाते हैं और S3 को भेजे जाते हैं। यह बैकअप कैश की शुरुआत करता है, जो क्लाइंट द्वारा उपयोग किया जाता है, जैसा कि ऊपर वर्णित है।
कचरा संग्रहकर्ता उन विषयों के संस्करणों को हटा देता है जो उनकी अवधारण नीतियों को पूरा नहीं करते हैं। यह इसके साथ जुड़े डेटा (उदाहरण के लिए, S3 ऑब्जेक्ट) को भी हटाता है और एक अच्छी तरह से परिभाषित डेटा जीवन चक्र को सुनिश्चित करने में मदद करता है।

दोष सहिष्णुता

जोड़ने

अनुप्रयोग विकास की दुनिया में असफल तैनाती होती है, और इस तरह की समस्याओं को ठीक करने के लिए पहले के संस्करणों में रोलबैक एक आम रणनीति है। डेटा-संचालित आर्किटेक्चर स्थिति को जटिल करता है, क्योंकि व्यवहार डेटा द्वारा निर्धारित किया जाता है जो समय के साथ बदलता है।

गुटेनबर्ग द्वारा वितरित डेटा और कई मामलों में प्रणाली के व्यवहार को नियंत्रित करता है। इसका मतलब यह है कि अगर कुछ गलत हो जाता है, तो आपको डेटा के एक सिद्ध अच्छे संस्करण में वापस रोल करने का एक तरीका चाहिए। स्थिति को कम करने के लिए, गुटेनबर्ग एक विशिष्ट संस्करण के लिए विषय को "लिंक" करना संभव बनाता है। पिन डेटा के नवीनतम संस्करण को ओवरराइड करते हैं और क्लाइंट को इस संस्करण में अपग्रेड करने के लिए मजबूर करते हैं, जो आपको नवीनतम कार्यशील संस्करण को प्रकाशित करने के तरीके का पता लगाने की कोशिश करने के बजाय एक महत्वपूर्ण स्थिति को जल्दी से ठीक करने की अनुमति देता है। आप प्रकाशन क्षेत्र में बाइंडिंग भी लागू कर सकते हैं ताकि केवल इस क्षेत्र के प्राप्तकर्ता डेटा का उपयोग कर सकें। पिन सक्रिय बाइंडिंग के दौरान प्रकाशित डेटा को भी ओवरराइड करता है, लेकिन जब पिन को हटा दिया जाता है, तो क्लाइंट को नवीनतम संस्करण प्राप्त होगा, जो नवीनतम पिन किए गए संस्करण या एक नया संस्करण हो सकता है जो कि पुराने को पिन किया गया था।

अनुक्रमिक तैनाती

नए कोड को तैनात करते समय, अक्सर ट्रैफ़िक के सबसेट के साथ नई असेंबली बनाने की सिफारिश की जाती है, उन्हें धीरे-धीरे परिनियोजित करना, या किसी अन्य तरीके से तैनाती के जोखिमों को कम करना, इसे धीमा करना। , , .

, Gutenberg, — Spinnaker . , . , . , , , , , . , AWS- .

Gutenberg Netflix . Gutenberg , 6 . – , 1-2 , 12 .

24- , , . , 200, 7. - , , Hollow. , , , – 60, – 4.

, Gutenberg:

: Gutenberg Java-, Node.JS Python-. , REST API Gutenberg . , Node.JS Python.
: Gutenberg . Gutenberg.
: , . , .
: , Gutenberg, Gutenberg . , .
: , , . , Elasticsearch.
: Netflix – . , Gutenberg , .

वह सब है। .

नेटफ्लिक्स माइक्रोसर्विसेज हैंडल पब-सब डेटा कैसे