📹 🐴 ♻️ दोष सहिष्णु वीओआईपी यातायात संतुलन। पीक समय में डेटा केंद्रों के बीच लोडिंग स्विच करना 👩🏾‍🤝‍👩🏼 🥇 🚙

हम जो करते हैं उसके बारे में कुछ शब्द। DINS कॉर्पोरेट ग्राहकों के लिए अंतर्राष्ट्रीय बाजार में UCaaS सेवा के विकास और समर्थन में शामिल है। सेवा का उपयोग छोटी कंपनियों और स्टार्टअप, और बड़े व्यवसाय दोनों द्वारा किया जाता है। ग्राहक टीसीपी, टीएलएस या डब्ल्यूएसएस पर एसआईपी प्रोटोकॉल के माध्यम से इंटरनेट पर जुड़ते हैं। यह एक बड़ा लोड बनाता है: अंत उपकरणों से लगभग 1.5 मिलियन कनेक्शन - पीसी / मैक / आईओएस / एंड्रॉइड के लिए पॉलीकॉम / सिस्को / येलिंक टेलीफोन और सॉफ्ट क्लाइंट।

इस लेख में, मैं बात करता हूं कि कैसे वीओआईपी प्रवेश बिंदुओं की व्यवस्था की जाती है।

प्रागितिहास

सिस्टम की परिधि पर (टर्मिनल डिवाइस और कर्नेल के बीच) वाणिज्यिक SBC (सेशन बॉर्डर कंट्रोलर) हैं।

2012 के बाद से, हम एक्मे पैकेट से समाधान का उपयोग कर रहे हैं, बाद में ओरेकल द्वारा अधिग्रहित किया गया है। इससे पहले, हम NatPASS का उपयोग करते थे।

हमारे द्वारा उपयोग की जाने वाली कार्यक्षमता को संक्षेप में सूचीबद्ध करें:

• एनएटी ट्रैवर्सल;
• बी 2 बी यू ए;
• एसआईपी सामान्यीकरण (अनुमत / अस्वीकृत हेडर, हेडर हेरफेर नियम, आदि)
• टीएलएस और एसआरटीपी ऑफलोड;
• परिवहन का रूपांतरण (सिस्टम के अंदर हम यूडीपी पर एसआईपी का उपयोग करते हैं);
• MOS निगरानी (RTCP-XR के माध्यम से);
• ACLs, ब्रूटफोर्स डिटेक्शन;
• बढ़ी हुई संपर्क समाप्ति के कारण पंजीकरण ट्रैफ़िक में कमी (एक्सेस साइड पर कम समय समाप्त होना, कोर की तरफ अधिक होना);
• प्रति-विधि SIP थ्रॉटलिंग संदेश।

वाणिज्यिक प्रणालियों में उनके स्पष्ट प्लस (बॉक्स से बाहर की कार्यक्षमता, वाणिज्यिक समर्थन) और minuses (कीमत, डिलीवरी का समय, अवसर की कमी या नई सुविधाओं को लागू करने की आवश्यकता के लिए बहुत समय सीमा, समस्याओं को हल करने के लिए समय सीमा, आदि) हैं। धीरे-धीरे, खामियों को दूर किया जाने लगा, और यह स्पष्ट हो गया कि हमारे अपने समाधानों को विकसित करने के लिए जरूरत पकी हुई थी।

डेढ़ साल पहले विकास को लॉन्च किया गया था। बॉर्डर सबसिस्टम में, हमने पारंपरिक रूप से 2 मुख्य घटकों को अलग किया: एसआईपी और मीडिया सर्वर; प्रत्येक घटक के ऊपर लोड बैलेंसर्स। मैं यहां एंट्री पॉइंट / बैलेन्कर्स पर काम कर रहा हूं, इसलिए मैं उनके बारे में बात करने की कोशिश करूंगा।

आवश्यकताओं

दोष सहिष्णुता: डेटा सेंटर या संपूर्ण डेटा सेंटर में एक या अधिक उदाहरणों की विफलता के मामले में सिस्टम को एक सेवा प्रदान करनी चाहिए
सेवाक्षमता: हम एक डेटा सेंटर से दूसरे में लोड स्विच करने में सक्षम होना चाहते हैं
स्केलेबिलिटी: मैं जल्दी और सस्ते में क्षमता बढ़ाना चाहता हूं

संतुलन

हमने IPIP (ट्रैफिक टनलिंग) मोड में IPVS (उर्फ LVS) का चयन किया। मैं NAT / DR / TUN / L3DSR के तुलनात्मक विश्लेषण में नहीं जाऊंगा, (आप मोड के बारे में पढ़ सकते हैं, उदाहरण के लिए, यहां ), मैं केवल कारणों का उल्लेख करूंगा:

हम एक ही सबनेट पर होने की आवश्यकता का समर्थन नहीं करना चाहते हैं क्योंकि LVS (पूल में हमारे अपने और दूरस्थ डेटा केंद्रों से बैकएंड शामिल हैं);
बैकएंड को क्लाइंट के मूल स्रोत आईपी (या उसके NAT) को प्राप्त करना होगा, दूसरे शब्दों में, स्रोत NAT उपयुक्त नहीं है;
बैकएंड को कई वीआईपी के साथ एक साथ काम करने का समर्थन करना चाहिए।

हम मीडिया ट्रैफ़िक को संतुलित कर रहे हैं (यह बहुत कठिन निकला, हम मना कर रहे हैं), इसलिए डेटा सेंटर में वर्तमान परिनियोजन योजना इस प्रकार है:

वर्तमान IPVS संतुलन की रणनीति "sed" (सबसे छोटी अपेक्षित देरी) है, उस पर और अधिक। वेटेड राउंड रॉबिन / वेटेड लीस्ट-कनेक्शन के विपरीत, यह आपको एक निश्चित सीमा तक पहुंचने तक कम वज़न वाले बैकएंड्स में ट्रैफ़िक स्थानांतरित करने की अनुमति नहीं देता है। सबसे कम अपेक्षित विलंब की गणना सूत्र (Ci + 1) / Ui द्वारा की जाती है, जहां बैक बैक पर कनेक्शन की संख्या है, Ui बैकएंड का वजन है। उदाहरण के लिए, यदि 50,000 और 2 के वजन वाले पूल में बैकएंड हैं, तो नए कनेक्शन पहले लोगों द्वारा वितरित किए जाएंगे, जब तक कि प्रत्येक सर्वर 25,000 कनेक्शन तक या यूथ्रेशल्ड तक न पहुंच जाए - कनेक्शन की कुल संख्या पर एक सीमा।
मैन आईपीवास्डम में रणनीतियों को संतुलित करने के बारे में और पढ़ें।

IPVS पूल इस तरह दिखता है (यहाँ और नीचे, काल्पनिक आईपी पते सूचीबद्ध हैं):

# ipvsadm -ln Prot LocalAddress:Port Scheduler Flags -> RemoteAddress:Port Forward Weight ActiveConn InActConn TCP 1.1.1.1:5060 sed -> 10.11.100.181:5060 Tunnel 50000 5903 4 -> 10.11.100.192:5060 Tunnel 50000 5905 1 -> 10.12.100.137:5060 Tunnel 2 0 0 -> 10.12.100.144:5060 Tunnel 2 0 0

वीआईपी पर लोड को 50,000 के वजन वाले सर्वर पर वितरित किया जाता है (वे एक विशिष्ट एलवीएस उदाहरण के रूप में एक ही डेटा सेंटर में तैनात किए जाते हैं), अगर वे ओवरलोड होते हैं या एक ब्लैकलिस्ट में आते हैं, तो लोड पूल के बैकअप भाग में जाएगा - 2 के वजन वाले सर्वर, जो में स्थित हैं पड़ोसी डेटा सेंटर।

बिल्कुल एक ही पूल, लेकिन तराजू के साथ, इसके विपरीत, पड़ोसी डेटा सेंटर (उत्पादन प्रणाली पर, बैकेंड की संख्या, ज़ाहिर है, बहुत बड़ा है) में कॉन्फ़िगर किया गया है।

आईपीवीएस सिंक के माध्यम से कनेक्शन का सिंक्रनाइज़ेशन बैकअप एलवीएस को सभी वर्तमान कनेक्शनों के बारे में जानने की अनुमति देता है।

डेटा केंद्रों के बीच सिंक्रनाइज़ेशन के लिए, एक "गंदी" तकनीक लागू की गई थी, जो फिर भी ठीक काम करती है। IPVS सिंक्रोनाइज़ेशन केवल मल्टीकास्ट के माध्यम से काम करता है, जो हमारे लिए पड़ोसी डीसी को सही ढंग से वितरित करना मुश्किल था। मल्टीकास्ट के बजाय, हम iptables के माध्यम से सिंक्रनाइज़ेशन ट्रैफ़िक को डुप्लिकेट करते हैं, आईपीवी से टीईई के लक्ष्य को पड़ोसी डीसी में सर्वर को आईपी-आईपी सुरंग तक ले जाते हैं, और कई लक्ष्य होस्ट / डेटा केंद्र हो सकते हैं:

 #### start ipvs sync master role: ipvsadm --start-daemon master --syncid 10 --sync-maxlen 1460 --mcast-interface sync01 --mcast-group 224.0.0.81 --mcast-port 8848 --mcast-ttl 1 #### duplicate all sync packets to remote LVS servers using iptables TEE target: iptables -t mangle -A POSTROUTING -d 224.0.0.81/32 -o sync01 -j TEE --gateway 172.20.21.10 # ip-ip remote lvs server 1 iptables -t mangle -A POSTROUTING -d 224.0.0.81/32 -o sync01 -j TEE --gateway 172.20.21.14 # ip-ip remote lvs server 2 #### start ipvs sync backup role: ipvsadm --start-daemon backup --syncid 10 --sync-maxlen 1460 --mcast-interface sync01 --mcast-group 224.0.0.81 --mcast-port 8848 --mcast-ttl 1 #### be ready to receive sync sync packets from remote LVS servers: iptables -t mangle -A PREROUTING -d 224.0.0.81/32 -i loc02_srv01 -j TEE --gateway 127.0.0.1 iptables -t mangle -A PREROUTING -d 224.0.0.81/32 -i loc02_srv02 -j TEE --gateway 127.0.0.1

वास्तव में, हमारे प्रत्येक LVS सर्वर एक बार (मास्टर और बैकअप) दोनों भूमिकाएँ निभाते हैं, एक तरफ, यह बस सुविधाजनक है, क्योंकि यह ट्रैफ़िक को स्विच करते समय भूमिका परिवर्तन को समाप्त कर देता है, दूसरी तरफ यह आवश्यक है, क्योंकि प्रत्येक DC डिफ़ॉल्ट रूप से अपने समूह ट्रैफ़िक को संसाधित करता है। सार्वजनिक वीआईपी।

डेटा केंद्रों के बीच स्विचिंग लोड करें

सामान्य ऑपरेशन में, प्रत्येक सार्वजनिक आईपी पते की घोषणा इंटरनेट पर कहीं से (इस आरेख में, दो डेटा केंद्रों से) की जाती है। VIP के लिए आने वाले ट्रैफ़िक को DC में रूट किया जाता है, जिस समय हमें एक्टिव DC और बैकअप DC के लिए अलग-अलग मानों के साथ BGP विशेषता MED (मल्टी एक्ज़िट डिस्क्रिमिनेटर) का उपयोग करने की आवश्यकता होती है। उसी समय, बैकअप DC ट्रैफ़िक को स्वीकार करने के लिए हमेशा तैयार रहता है यदि कुछ सक्रिय होता है:

बीजीपी मेड के मूल्यों को बदलने और क्रॉस-लोकेशन आईपीवीएस-सिंक का उपयोग करके, हमें स्थापित टेलीफोन कॉल को प्रभावित किए बिना, एक डेटा सेंटर के बैकेंड से दूसरे स्थान पर यातायात को स्थानांतरित करने का अवसर मिलता है, जो कि जल्दी या बाद में स्वाभाविक रूप से समाप्त हो जाता है। प्रक्रिया पूरी तरह से स्वचालित है (प्रत्येक वीआईपी के लिए हमारे पास प्रबंधन कंसोल में एक बटन है), और इस तरह दिखता है:

एसआईपी-वीआईपी डीसी 1 (बाएं) में सक्रिय है, डीसी 2 (दाएं) में क्लस्टर निरर्थक है, आईपीवीएस-सिंक्रनाइज़ेशन के लिए धन्यवाद, इसकी स्मृति में स्थापित कनेक्शन के बारे में जानकारी है। बाईं ओर, सक्रिय VIPs की घोषणा मेड 100 के मान के साथ की जाती है, दाईं ओर - 500 के मान के साथ:
स्विच बटन तथाकथित में बदलाव का कारण बनता है "Target_state" (एक निश्चित समय में BGP MEDs के मूल्यों की घोषणा करने वाली एक आंतरिक अवधारणा)। यहाँ हम उम्मीद नहीं करते हैं कि DC1 क्रम में है और ट्रैफ़िक को संसाधित करने के लिए तैयार है, इसलिए DC2 में LVS "बल सक्रिय" स्थिति में आता है, जो कि MEDS मान को 50 तक कम करता है, और इस प्रकार ट्रैफ़िक को अपने आप खींच लेता है। यदि DC1 में बैकएंड लाइव और उपलब्ध हैं, तो कॉल नहीं टूटेंगे। सभी नए टीसीपी कनेक्शन (पंजीकरण) डीसी 2 में बैकएंड पर भेजे जाएंगे:
DC1 ने एक नया target_state प्रतिकृति प्राप्त किया और बैकअप मान (500) निर्धारित किया। जब DC2 को इस बारे में पता चलता है, तो यह उसके मूल्य (50 => 100) को सामान्य कर देता है। यह DC1 में सभी सक्रिय कॉल के पूरा होने का इंतजार करने और स्थापित tcp कनेक्शन को तोड़ने के लिए बनी हुई है। DC1 में SBC के उदाहरण आवश्यक सेवाओं को तथाकथित में पेश करते हैं "सुशोभित शटडाउन" राज्य: "503" अगले एसआईपी अनुरोधों का जवाब देते हैं और डिस्कनेक्ट करते हैं, लेकिन नए कनेक्शन स्वीकार नहीं करते हैं। इसके अलावा, ये उदाहरण LVS पर ब्लैकलिस्ट में आते हैं। तोड़ते समय, ग्राहक एक नया पंजीकरण / कनेक्शन स्थापित करता है, जो पहले से ही DC2 में आता है:
DC2 में सभी ट्रैफ़िक समाप्त होने पर प्रक्रिया समाप्त हो जाती है।
DC1 और DC2 ने भूमिकाओं को बदल दिया।

प्रवेश बिंदुओं पर लगातार उच्च भार की स्थितियों में, यह किसी भी समय ट्रैफ़िक को स्विच करने में सक्षम होने के लिए बहुत सुविधाजनक निकला। एक ही तंत्र स्वचालित रूप से शुरू होता है यदि बैकअप डीसी अचानक यातायात प्राप्त करना शुरू कर देता है। उसी समय, फड़फड़ाहट से बचाने के लिए, स्विचिंग को केवल एक बार एक दिशा में चालू किया जाता है और लॉक को स्वचालित स्विचिंग पर सेट किया जाता है, इसे हटाने के लिए, मानव हस्तक्षेप की आवश्यकता होती है।

अंदर क्या है

वीआरआरपी क्लस्टर और आईपीवीएस मैनेजर: कीपैलिव्ड। समूह के भीतर VIPs को स्विच करने के लिए और साथ ही स्वास्थ्य देखभाल / ब्लैकलिस्टिंग के लिए बैकएंड को रखने के लिए जिम्मेदार है।

बीजीपी स्टैक: एक्सएबीजीपी। वह वीआईपी पतों के लिए मार्गों की घोषणा के लिए जिम्मेदार है और संबंधित बीजीपी मेड्स को चिपकाता है। पूरी तरह से प्रबंधन सर्वर द्वारा नियंत्रित। पायथन में लिखित एक विश्वसनीय बीजीपी डेमन सक्रिय रूप से विकसित हो रहा है, यह 100% अपना कार्य करता है।

प्रबंधन सर्वर (एपीआई / निगरानी / उप-घटक प्रबंधन): Pyro4 + फ्लास्क। यह Keepalived और ExaBGP के लिए एक प्रावधान सर्वर है, अन्य सभी सिस्टम सेटिंग्स (sysctl / iptables / ipset / etc) का प्रबंधन करता है, निगरानी (gnlpy) प्रदान करता है, अनुरोध पर बैकएंड जोड़ता है और हटाता है (वे इसके एपीआई के साथ संवाद करते हैं)।

आंकड़े

चार कोर इंटेल Xeon Gold 6140 CPU @ 2.30GHz के साथ एक वर्चुअल मशीन 300Mbps / 210Kpps (मीडिया ट्रैफ़िक, पीक टाइम में लगभग 3 हज़ार एक साथ कॉल के माध्यम से संसाधित होती है) का ट्रैफ़िक प्रवाह प्रदान करती है। एक ही समय में CPU उपयोग - 60%।

अब यह 100 हजार टर्मिनल डिवाइस (डेस्कटॉप फोन) के ट्रैफिक की सेवा के लिए पर्याप्त है। सभी ट्रैफ़िक (1 मिलियन से अधिक टर्मिनल डिवाइस) की सेवा करने के लिए, हम कई डेटा केंद्रों में लगभग 10 जोड़े ऐसे समूहों का निर्माण कर रहे हैं।