GitHub ने उनके लोड बैलेंसर कोड का खुलासा किया - उनका समाधान कैसे काम करता है

पिछले हफ्ते, GitHub के डेवलपर्स ने अपने लोड बैलेंसर - GLB के निदेशक का स्रोत कोड अपलोड किया । टीम ने कई वर्षों तक इस परियोजना पर काम किया।

क्या उल्लेखनीय है उनका निर्णय, यह कैसे व्यवस्थित किया जाता है, और किसने लोड सोर्सिंग सिस्टम को खुले स्रोत में स्थानांतरित किया, हम आगे बताते हैं।


/ फ़्लिकर / इल्र / सीसी

क्यों GitHub खुद बैलेंसर

GitHub उत्पादकता बढ़ाने के लिए नंगे धातु क्लाउड बुनियादी ढांचे का उपयोग करता है। इस मामले में, सॉफ्टवेयर नंगे धातु पर वर्चुअलाइजेशन के अतिरिक्त स्तरों के बिना काम करता है।

पहले, कंपनी ने लोड संतुलन प्रदान करने के लिए एक विशेष हार्डवेयर कॉन्फ़िगरेशन के साथ हैप्रोक्सी का उपयोग किया था, जो 10-गीगाबाइट ईथरनेट कनेक्शन के लिए गलती सहिष्णुता प्रदान करता था। हालांकि, इस दृष्टिकोण ने अच्छी तरह से स्केल नहीं किया था (ऊर्ध्वाधर स्केलिंग का अनुमान लगाया गया था), और गिटहब ने अपना लोड बैलेंसर लिखने का फैसला किया, जो अभी भी कम लागत वाले हार्डवेयर पर काम कर सकता था।

जीएलबी निदेशक क्या और कैसे कर सकता है

GitHub बैलेंसर निर्बाध टीसीपी कनेक्शन सुनिश्चित करता है, व्यक्तिगत सेवाओं के भार का प्रबंधन करता है, DDoS हमलों के लिए प्रतिरोधी है और क्षैतिज रूप से पैमाने पर करने में सक्षम है। यह डेटा केंद्रों में काम के लिए " कैद " है, जहां बड़ी संख्या में सर्वर बीजीपी के माध्यम से एकल आईपी पते की घोषणा करते हैं , और राउटर ईसीएमपी रणनीति का उपयोग करते हैं।

लोड संतुलन L4 और L7 के स्तर पर किया जाता है। LVS जैसे समाधानों के विपरीत, GLB निदेशक सभी पैकेटों को एक निर्देशक नोड में नहीं रखता है, ताकि उन्हें फिर अन्य नोड्स के बीच पुनर्वितरित किया जा सके। इसके बजाय, यह प्रत्येक आने वाले कनेक्शन के लिए प्रॉक्सी सर्वर (प्राथमिक और माध्यमिक) की एक जोड़ी का चयन करने के लिए एक स्थिर तालिका बनाने के लिए एक मुलाकात योग्य हैशिंग ( HRW ) हैशिंग परिवर्तन का उपयोग करता है । यदि उनमें से एक विफल हो जाता है, तो पैकेट दूसरे को भेजा जाता है। सिस्टम इस विकल्प को याद रखता है, और इसे प्रत्येक पैकेज के लिए बनाने की आवश्यकता नहीं है।

सर्वर स्वास्थ्य की निगरानी ग्लब-हेल्थचेक समाधान द्वारा की जाती है, जो किसी समस्या की स्थिति में प्राथमिक और द्वितीयक प्रणालियों को स्विच करता है। glb-healthcheck प्रत्येक GUE टनल (जेनेरिक UDP इनकैप्सुलेशन) के सही संचालन और बैकएंड सर्वरों के मनमाने ढंग से HTTP पोर्ट की निगरानी करता है।

GLB नेटफिल्टर सिस्टम और iptables उपयोगिता का भी उपयोग करता है। नेटफिल्टर एक सरल कार्य को हल करता है: यह निर्धारित करता है कि प्रत्येक GUE पैकेट में आंतरिक टीसीपी / आईपी पैकेट लिनक्स कर्नेल टीसीपी स्टैक के साथ अनुपालन करता है या नहीं। यदि ऐसा नहीं है, तो यह पैकेट को स्थानीय रूप से डीप्‍युलेट करने के बजाय सेकेंडरी प्रॉक्सी सर्वर पर पुनर्निर्देशित करता है।

घटकों का इंटरैक्शन आरेख इस तरह दिखता है:


GitHub को उम्मीद है कि उनका बैलेंसर उन सभी कंपनियों के लिए उपयोगी होगा, जिनके अपने डेटा सेंटर हैं।

जीएलबी कैसे स्थापित करें और इसके साथ काम करना शुरू करें, यह डेवलपर्स द्वारा तैयार किए गए त्वरित आरंभ गाइड में पाया जा सकता है ।

इसी तरह के घटनाक्रम

मई में, फेसबुक ने अपने कैटरन लोड बैलेंसर लाइब्रेरी के लिए स्रोत कोड भी साझा किया । आईटी दिग्गज बैकएंड सर्वर के बीच लोड को कुशलतापूर्वक वितरित करने के लिए इसका उपयोग करता है।

कंपनी के पिछले बैलेंसर - L4LB - कार्य के साथ सामना नहीं कर सके, क्योंकि इसमें काम के लिए समर्पित सर्वर की आवश्यकता थी, जिससे नेटवर्क पर लोड बढ़ गया। इस समस्या को हल करने के लिए, कंपनी ने कटरान को विकसित किया। इसे eXpress डेटा पाथ फ्रेमवर्क और eBPF वर्चुअल मशीन का उपयोग करके लॉन्च किया गया है। VM लिनक्स कर्नेल पर अलग-अलग बिंदुओं पर प्रोग्राम चलाकर सामान्य कार्यक्षमता का विस्तार करता है।


/ फ़्लिकर / दा सैल / सी.सी.

अपडेट किया गया बैलेंसर अधिक प्रभावी ढंग से बुनियादी ढांचे पर भार वितरित करता है और पैकेट प्रसंस्करण की गति को बढ़ाता है। गीथहब पर स्रोत कोड डेवलपर्स "अपलोड" ।

कटहल प्रणाली में गीथहब में प्रस्तावित समाधान से कई अंतर हैं। उदाहरण के लिए, फेसबुक XDP और IPIP सुरंगों का उपयोग करता है जो लिनक्स कर्नेल के साथ काम करते हैं। जीएलबी, इसके विपरीत, उपयोगकर्ता स्थान से पैकेट को संसाधित करने के लिए डीपीडीके की मदद का सहारा लिया है।

GitHub के डेवलपर थियो जुलिएन ने कहा कि DPDK आपको आने वाले ट्रैफ़िक के बड़े वॉल्यूम को संभालने की अनुमति देता है। यह जटिल कार्य वातावरण में भी उच्च प्रदर्शन (10-गीगाबिट कनेक्शन) सुनिश्चित करता है और DDoS हमलों के खिलाफ कुछ सुरक्षा प्रदान करता है।

ओपन सोर्स के लिए जीएलबी और कटारन जैसे शक्तिशाली टूल के हस्तांतरण से अन्य आईटी कंपनियों के लिए नए अवसर खुलेंगे और यह दुनिया में आईटी पारिस्थितिकी तंत्र के तेजी से विकास में योगदान देगा।

---

PS पहले कॉर्पोरेट IaaS ब्लॉग के कुछ अतिरिक्त लेख:

• IaaS प्रदाता के क्लाउड में 100% बुनियादी ढांचे को कैसे रखा जाए और इसे पछतावा न हो
• क्लाउड डिस्क परीक्षण: मूल बातें
• IaaS क्लाउड लोड संतुलन: मुझे DRS की आवश्यकता क्यों है

---