कैसे पुशर चैनल्स ने पहले ही 10,000,000,000,000 मैसेज डिलीवर कर दिए

नमस्ते! मैं हाल ही में Pusher Channels की वास्तुकला के एक दिलचस्प वर्णन के बारे में आया और आपके लिए इसका अनुवाद करने का निर्णय लिया। मेरी राय में, लेखक ने बहुत आसानी से एक अत्यधिक भरी हुई और स्केलेबल वास्तुकला के निर्माण के दृष्टिकोण का वर्णन किया है। सबसे अधिक संभावना है, लेख शुरुआती लोगों के साथ-साथ संबंधित क्षेत्रों के विशेषज्ञों के लिए उपयोगी होगा।

पुशर कार्यालय में, हमारे पास एक बढ़ती संख्या के साथ एक छोटा सा काउंटर है। यह पुशर चैनल के संपूर्ण अस्तित्व के लिए वितरित संदेशों की संख्या को दर्शाता है। शुक्रवार को 22:20 यूटीसी पर, एक श्रेणी की संख्या बढ़ गई और 10,000,000,000,000 तक पहुंच गई। इसके 13 शून्य हैं - 10 ट्रिलियन।

आप सोच सकते हैं कि कुल संदेश संख्या एक बेकार झोंके मीट्रिक है। लेकिन वह संख्या हमारे वास्तविक समय के संचार उत्पाद, पुशर चैनल्स की सफलता का एक महत्वपूर्ण संकेतक है। सबसे पहले, यह काउंटर उपयोगकर्ताओं द्वारा हमारे ऊपर रखे गए विश्वास को दर्शाता है। दूसरे, यह हमारे सिस्टम की मापनीयता को मापता है। संख्या बढ़ाने के लिए, हमें Pusher में यह सुनिश्चित करना चाहिए कि उपयोगकर्ता हमारी सेवा में संदेशों को भेजने पर भरोसा करते हैं, और हमें यह सुनिश्चित करना चाहिए कि हमारा सिस्टम इन संदेशों को संसाधित करने में सक्षम है। लेकिन हमें 10 ट्रिलियन संदेश क्या देने चाहिए? आइए देखते हैं।

पुशर चैनल के माध्यम से प्रति सेकंड लगभग 200,000 संदेश भेजे जाते हैं, और चरम समय पर लाखों। उदाहरण के लिए, जब न्यूयॉर्क टाइम्स ने अपने पाठकों को अमेरिकी राष्ट्रपति चुनाव की प्रगति से अवगत कराने के लिए सेवा का उपयोग किया।

आइए सबसे पहले पुशर चैनल्स को एक बड़े ब्लैक बॉक्स के रूप में देखते हैं जिसके माध्यम से ये सभी संदेश जाते हैं:

पुशर चैनल एक प्रकाशित-सदस्यता प्रकार प्रणाली है। ग्राहक चैनलों की सदस्यता लेते हैं (उदाहरण के लिए, "btc-usd" या "निजी उपयोगकर्ता-जिम"), जबकि अन्य ग्राहक उन्हें संदेश भेजते हैं। यदि मिलियन लोगों को "बीटीसी-यूएसडी" चैनल की सदस्यता दी जाती है और कोई वहां बिटकॉइन की वास्तविक लागत भेजता है, तो पुशर चैनल को एक लाख संदेश देने की आवश्यकता होगी। हम कुछ मिलीसेकंड में ऐसा करते हैं।

एक सर्वर इतने कम समय में इतने सारे संदेश नहीं दे सकता है। इसलिए, हम तीन समय-परीक्षण की गई तकनीकों का उपयोग करते हैं: फैन-आउट, शार्किंग और लोड संतुलन। देखते हैं कि ब्लैक बॉक्स में क्या है।

लगभग 170 शक्तिशाली एज सर्वरों में लाखों ग्राहक वितरित किए गए हैं, जिनमें से प्रत्येक में लगभग 20,000 कनेक्शन हैं। प्रत्येक ऐसा सर्वर उन चैनलों की सूची को याद करता है जो उसके ग्राहकों के लिए दिलचस्प हैं और केंद्रीय रेडिस सेवा में उनकी सदस्यता लेते हैं। भले ही 2000 क्लाइंट एज सर्वर पर "बीटीसी-यूएसडी" में रुचि रखते हैं, उन्हें केवल एक बार सदस्यता लेने की आवश्यकता है। इस प्रकार, जब एक नया संदेश चैनल में आता है, Redis 170 संदेश एज सर्वरों को भेजता है, जो पहले से ही अपने ग्राहकों को 20,000 संदेश भेजते हैं। इस दृष्टिकोण को फैन-आउट कहा जाता है।

लेकिन सिर्फ फैन-आउट हमारे लिए पर्याप्त नहीं है, क्योंकि अभी भी एक केंद्रीय रेडिस घटक है जिसके माध्यम से संदेश भेजने वाले सभी लोग जाते हैं। यह केंद्रीयकरण प्रति सेकंड भेजे गए संदेशों की संख्या को सीमित करता है। इस सीमा के आसपास जाने के लिए, केंद्रीय रेडिस सेवा में कई रेडिस शार्क होते हैं। प्रत्येक चैनल, इसके नाम से हैशिंग द्वारा रेडिस-शार्क से जुड़ा हुआ है। जब ग्राहक एक संदेश भेजना चाहता है, तो वह बाकी सेवा में चला जाता है। बाद वाले ने चैनल के नाम को हैश किया और, परिणाम के आधार पर, आवश्यक रेडिस शार्क को निर्धारित करता है, जिसे संदेश भेजा जाना चाहिए। इस दृष्टिकोण को शार्किंग कहा जाता है।

ऐसा लगता है कि हम सिर्फ रेडिस सेवा से शेष सेवा में केंद्रीकरण को स्थानांतरित कर रहे हैं। लेकिन ऐसा नहीं है, क्योंकि बाकी सेवा में लगभग 90 सर्वर शामिल हैं जो समान कार्य करते हैं: वे प्रकाशन के लिए अनुरोध प्राप्त करते हैं, Redis-shards की गणना करते हैं और उन्हें संदेश भेजते हैं। जब कोई प्रकाशक संदेश भेजना चाहता है, तो वह कई बाकी सर्वरों में से एक में चला जाता है। इस दृष्टिकोण को लोड संतुलन कहा जाता है।

एक साथ फैन-आउट, शार्किंग और लोड बैलेंसिंग सिस्टम को एक केंद्रीय घटक की अनुमति देते हैं। यह संपत्ति क्षैतिज मापनीयता प्राप्त करने के लिए महत्वपूर्ण है, जो प्रति सेकंड लाखों संदेश भेजने की अनुमति देती है।

हमने पुशर चैनल सेवा के केंद्रीय घटकों की जांच की, लेकिन अन्य भाग भी हैं, जैसे कि मेट्रिक्स (हमें यह 10 ट्रिलियन की संख्या कैसे मिलती है), वेबहक्स (हम दिलचस्प घटनाओं के बारे में ग्राहकों को कैसे सूचित करते हैं), प्राधिकरण (चैनलों तक पहुंच प्रतिबंधित), सक्रिय पर डेटा उपयोगकर्ताओं, दर सीमित करना (हम यह कैसे सुनिश्चित करते हैं कि हमारे ग्राहक उतने ही संसाधनों का उपयोग करते हैं जितना वे भुगतान करते हैं, और यह कि वे अन्य ग्राहकों के साथ हस्तक्षेप नहीं करते हैं)। यह सब अतिरिक्त कार्यक्षमता बैंडविड्थ, संदेश वितरण समय और समग्र रूप से हमारी सेवा की उपलब्धता के बिना लागू की जानी चाहिए।