डेटा केंद्रों को कैसे पैमाना बनाया जाए। यैंडेक्स रिपोर्ट

हमने डेटा केंद्रों के एक नेटवर्क का एक डिज़ाइन विकसित किया है, जो आपको प्रति सेकंड एक से अधिक पेटबिट के द्विध्रुवीय बैंडविड्थ के साथ 100 हजार सर्वर से बड़े कंप्यूटिंग क्लस्टर तैनात करने की अनुमति देता है।

दिमित्री अफ़ानासेव की रिपोर्ट से, आप नए डिजाइन के बुनियादी सिद्धांतों के बारे में जानेंगे, इन समस्याओं के साथ टोपोलॉजी के स्केलिंग, उन्हें हल करने के विकल्प, रद्दीकरण की सुविधाओं के बारे में और आधुनिक नेटवर्क उपकरणों के आधुनिक विमान उपकरणों के बड़े पैमाने पर ईसीएमपी मार्गों की एक बड़ी संख्या के साथ। । इसके अलावा, डिमा ने बाहरी कनेक्टिविटी के संगठन, भौतिक स्तर, केबल सिस्टम और क्षमता बढ़ाने के तरीकों के बारे में संक्षेप में बात की।



- शुभ दोपहर, हर कोई! मेरा नाम दिमित्री अफानसेयेव है, मैं यैंडेक्स का एक नेटवर्क वास्तुकार हूं और मैं मुख्य रूप से डेटा सेंटर नेटवर्क के डिजाइन से निपटता हूं।



मेरी कहानी अपडेटेड यैंडेक्स डेटा सेंटर नेटवर्क के बारे में होगी। यह काफी हद तक हमारे द्वारा डिजाइन किए गए डिजाइन का विकास है, लेकिन साथ ही साथ कुछ नए तत्व भी हैं। यह एक समीक्षा प्रस्तुति है, क्योंकि थोड़े समय में बहुत सारी जानकारी फिट करना आवश्यक था। हम एक तार्किक टोपोलॉजी चुनकर शुरू करते हैं। फिर नियंत्रण विमान और डेटा विमान की स्केलेबिलिटी के साथ समस्याओं का अवलोकन होगा, भौतिक स्तर पर क्या होगा की पसंद, आइए उपकरणों की कुछ विशेषताओं को देखें। हम MPLS के साथ डेटा सेंटर में जो हो रहा है, उस पर भी स्पर्श करेंगे, जिसके बारे में हमने कुछ समय पहले बात की थी।



तो, काम के बोझ और सेवाओं के मामले में यांडेक्स क्या है? यैंडेक्स एक विशिष्ट हाइपरस्केलर है। यदि आप उपयोगकर्ताओं की दिशा में देखते हैं, तो हम मुख्य रूप से उपयोगकर्ता के अनुरोध को संसाधित करते हैं। इसके अलावा, विभिन्न स्ट्रीमिंग सेवाओं और डेटा आउटपुट, क्योंकि हमारे पास भंडारण सेवाएं भी हैं। यदि यह बैकएंड के करीब है, तो बुनियादी ढांचा भार और सेवाएं वहां दिखाई देती हैं, जैसे वितरित वस्तु भंडार, डेटा प्रतिकृति, और निश्चित रूप से, लगातार कतारें। मुख्य प्रकार के भारों में से एक है MapReduce और लाइक, स्ट्रीमिंग प्रोसेसिंग, मशीन लर्निंग, आदि।



शीर्ष पर बुनियादी ढांचा कैसा है, यह सब होता है। फिर से, हम एक बहुत ही विशिष्ट हाइपरस्क्लेयर हैं, हालांकि शायद हम स्पेक्ट्रम के किनारे से थोड़ा करीब हैं जहां छोटे हाइपरस्क्लर स्थित हैं। लेकिन हमारे पास सभी गुण हैं। हम जहाँ भी संभव हो कमोडिटी हार्डवेयर और क्षैतिज स्केलिंग का उपयोग करते हैं। हमारे पास संसाधन पूलिंग का एक पूरा विकास है: हम अलग-अलग मशीनों, अलग-अलग रैक के साथ काम नहीं करते हैं, लेकिन उन्हें कुछ अतिरिक्त सेवाओं के साथ विनिमेय संसाधनों के बड़े पूल में जोड़ते हैं जो योजना और आवंटन में लगे हुए हैं, और हम इस पूल के सभी के साथ काम करते हैं।

तो हमारे पास अगला स्तर है - ऑपरेटिंग सिस्टम स्तर कंप्यूटिंग क्लस्टर। यह बहुत महत्वपूर्ण है कि हम उस प्रौद्योगिकी स्टैक को पूरी तरह से नियंत्रित करें जिसका हम उपयोग करते हैं। हम एंडपॉइंट (होस्ट), नेटवर्क और सॉफ्टवेयर स्टैक को नियंत्रित करते हैं।

हमारे पास रूस और विदेशों में कई बड़े डेटा सेंटर हैं। वे MPLS तकनीक का उपयोग करके रीढ़ की हड्डी से एकजुट होते हैं। हमारी आंतरिक अवसंरचना लगभग पूरी तरह से IPv6- आधारित है, लेकिन चूंकि हमें बाहरी ट्रैफ़िक को संभालने की आवश्यकता है, जो अभी भी मुख्य रूप से IPv4 के माध्यम से वितरित की जाती है, हमें किसी तरह IPv4 के माध्यम से सामने वाले सर्वरों तक पहुंचने वाले अनुरोधों को वितरित करने की आवश्यकता है, और फिर भी बाहरी Vv4- पर थोड़ा कम करें इंटरनेट - उदाहरण के लिए, अनुक्रमण के लिए।

डेटा सेंटर नेटवर्क डिज़ाइन के अंतिम कुछ पुनरावृत्तियों में बहु-स्तरीय क्लोस टोपोलॉजी का उपयोग होता है, और उनमें केवल L3 का उपयोग किया जाता है। हमने कुछ समय पहले एल 2 छोड़ दिया और राहत की सांस ली। अंत में, हमारे बुनियादी ढांचे में सैकड़ों हजारों कंप्यूटिंग (सर्वर) उदाहरण शामिल हैं। कुछ समय पहले अधिकतम क्लस्टर आकार लगभग 10 हजार सर्वर था। यह बड़े पैमाने पर एक ही क्लस्टर-स्तरीय ऑपरेटिंग सिस्टम - शेड्यूलर्स, संसाधन आवंटन, आदि के कारण काम कर सकता है। चूंकि बुनियादी ढांचा सॉफ़्टवेयर की तरफ प्रगति हुई है, अब लक्ष्य एक कंप्यूटिंग क्लस्टर में लगभग 100 हजार सर्वर है, और हमारे पास एक कार्य था - नेटवर्क कारखानों का निर्माण करने में सक्षम होना जो ऐसे क्लस्टर में संसाधनों की कुशल पूलिंग की अनुमति देता है।



हम डेटा सेंटर नेटवर्क से क्या चाहते हैं? सबसे पहले - सस्ते और काफी समान रूप से वितरित बैंडविड्थ। क्योंकि नेटवर्क वह सब्सट्रेट है जिसके माध्यम से हम संसाधनों की पूलिंग कर सकते हैं। नए लक्ष्य का आकार एक क्लस्टर में लगभग 100 हजार सर्वर है।

इसके अलावा, निश्चित रूप से, हम एक स्केलेबल और स्थिर नियंत्रण विमान चाहते हैं, क्योंकि इतने बड़े बुनियादी ढांचे पर सिर्फ यादृच्छिक घटनाओं से भी बहुत सारे सिरदर्द उत्पन्न होते हैं, और हम नहीं चाहते हैं कि नियंत्रण विमान हमें एक सिरदर्द लाए। साथ ही हम इसमें राज्य को कम से कम करना चाहते हैं। छोटी स्थिति, बेहतर और अधिक स्थिर सब कुछ काम करता है, निदान करना आसान है।

बेशक, हमें स्वचालन की आवश्यकता है, क्योंकि मैन्युअल रूप से इस तरह के बुनियादी ढांचे का प्रबंधन करना असंभव है, और कुछ समय पहले यह असंभव था। जब भी संभव हो, हमें परिचालन सहायता और सीमा तक सीडी / सीडी समर्थन की आवश्यकता है।

डेटा केंद्रों और समूहों के ऐसे आकारों के साथ, सेवा में रुकावट के बिना वृद्धिशील तैनाती और विस्तार का समर्थन करने का कार्य काफी तीव्र हो गया है। यदि क्लस्टर पर एक हजार कारों का आकार संभवतः दस हजार कारों के करीब है, तो उन्हें अभी भी एक ही ऑपरेशन के रूप में रोल आउट किया जा सकता है - अर्थात, हम बुनियादी ढांचे के विस्तार की योजना बना रहे हैं, और कई हजार मशीनों को एकल ऑपरेशन के रूप में जोड़ा जाता है, तो एक क्लस्टर में सौ हजार कारों का आकार उत्पन्न नहीं होता है बस कुछ समय के लिए इसे बनाया गया है। और यह वांछनीय है कि यह सब समय जो पहले से ही पंप हो चुका है, जो बुनियादी ढांचा तैनात है, वह उपलब्ध है।

और एक आवश्यकता जो हमारे पास थी और वह चली गई: यह मल्टीटैनेंसी, यानी वर्चुअलाइजेशन या नेटवर्क विभाजन के लिए समर्थन है। अब हमें नेटवर्क फैक्ट्री स्तर पर ऐसा करने की आवश्यकता नहीं है, क्योंकि विभाजन मेजबानों पर चले गए, और इसने हमारे लिए बहुत आसान स्केलिंग बना दी। IPv6 और एक बड़े पते वाले स्थान के लिए धन्यवाद, हमें आंतरिक बुनियादी ढांचे में डुप्लिकेट पते का उपयोग करने की आवश्यकता नहीं थी, सभी पते पहले से ही अद्वितीय थे। और इस तथ्य के कारण कि हमने होस्ट करने के लिए फ़िल्टरिंग और नेटवर्क विभाजन लिया, हमें डेटा-सेंटर नेटवर्क में किसी भी वर्चुअल नेटवर्क संस्थाओं को बनाने की आवश्यकता नहीं है।



एक बहुत महत्वपूर्ण बात यह है कि हमें इसकी आवश्यकता नहीं है। यदि नेटवर्क से कुछ कार्यों को हटाया जा सकता है, तो यह जीवन को सरल करता है, और, एक नियम के रूप में, उपलब्ध हार्डवेयर और सॉफ़्टवेयर की पसंद का विस्तार करता है, और निदान को बहुत सरल करता है।

तो, हमें क्या जरूरत नहीं है, हम क्या मना करने में सक्षम थे, हमेशा खुशी के साथ नहीं जब यह हुआ, लेकिन बड़ी राहत के साथ, जब प्रक्रिया पूरी हो गई थी?

सबसे पहले, L2 की अस्वीकृति। हमें वास्तविक या अनुकरणीय L2 की आवश्यकता नहीं है। इस तथ्य के कारण बहुत हद तक उपयोग नहीं किया जाता है कि हम एप्लिकेशन स्टैक को नियंत्रित करते हैं। हमारे अनुप्रयोगों को क्षैतिज रूप से बढ़ाया जाता है, वे L3 पते के साथ काम करते हैं, वे वास्तव में चिंता नहीं करते हैं कि कुछ विशेष उदाहरण बंद है, वे बस एक नया रोल करते हैं, इसे पुराने पते पर रोल आउट करने की आवश्यकता नहीं है, क्योंकि क्लस्टर में स्थित मशीनों की खोज और निगरानी का एक अलग स्तर है। । हम इस कार्य को नेटवर्क में स्थानांतरित नहीं करते हैं। नेटवर्क का कार्य बिंदु A से बिंदु B तक पैकेट पहुंचाना है।

इसके अलावा, हमारे पास ऐसी कोई स्थिति नहीं है जहां पते नेटवर्क के भीतर चलते हैं, और इस पर नजर रखने की जरूरत है। कई डिजाइनों में, आमतौर पर वीएम गतिशीलता का समर्थन करने की आवश्यकता होती है। हम वास्तव में बड़े यांडेक्स के आंतरिक बुनियादी ढांचे में आभासी मशीनों की गतिशीलता का उपयोग नहीं करते हैं, और, इसके अलावा, हम मानते हैं कि, भले ही ऐसा किया जाता है, नेटवर्क समर्थन के साथ ऐसा नहीं होना चाहिए। यदि आपको वास्तव में ऐसा करने की आवश्यकता है, तो आपको मेजबान स्तर पर यह करने की आवश्यकता है, और उन पतों को चलाएं जो ओवरले में माइग्रेट कर सकते हैं ताकि रूटिंग सिस्टम में अंडरले (ट्रांसपोर्ट नेटवर्क) को छूने या बहुत अधिक गतिशील परिवर्तन न करें।

एक और तकनीक जो हम उपयोग नहीं करते हैं वह मल्टीकास्ट है। मैं आपको विस्तार से बता सकता हूं कि क्यों। इससे जीवन बहुत आसान हो जाता है, क्योंकि यदि कोई उससे निपटता है और देखता है कि वास्तव में मल्टीकास्ट का नियंत्रण विमान कैसा दिखता है - सभी प्रतिष्ठानों में सरलतम को छोड़कर, यह एक बड़ा सिरदर्द है। और क्या अधिक है, उदाहरण के लिए, एक अच्छी तरह से काम करने वाले ओपन सोर्स कार्यान्वयन को खोजना मुश्किल है।

अंत में, हम अपने नेटवर्क को डिज़ाइन करते हैं ताकि उनमें बहुत अधिक परिवर्तन न हों। हम इस तथ्य पर भरोसा कर सकते हैं कि रूटिंग सिस्टम में बाहरी घटनाओं का प्रवाह छोटा है।



जब हम डेटा सेंटर नेटवर्क विकसित करते हैं तो क्या समस्याएं आती हैं और किन सीमाओं को ध्यान में रखा जाना चाहिए? बेशक लागत। स्केलेबिलिटी, हम किस स्तर तक बढ़ना चाहते हैं। सेवा को रोकने के बिना विस्तार की आवश्यकता। बैंडविड्थ की उपलब्धता। परिचालन टीमों के लिए, निगरानी प्रणाली के लिए, नेटवर्क पर क्या हो रहा है, इसकी दृश्यता। स्वचालन के लिए समर्थन, फिर से, जितना संभव हो, अलग-अलग कार्यों को विभिन्न स्तरों पर हल किया जा सकता है, जिसमें अतिरिक्त परतों की शुरूआत भी शामिल है। अच्छी तरह से और नहीं- [जब भी संभव हो] विक्रेताओं पर निर्भरता। हालांकि विभिन्न ऐतिहासिक अवधियों में, किस खंड को देखना है, इस आधार पर यह स्वतंत्रता आसान या कठिन थी। यदि हम नेटवर्क उपकरणों के चिप्स का एक टुकड़ा लेते हैं, तो हाल ही में, विक्रेताओं से स्वतंत्रता के बारे में बात करते हैं, अगर हम उच्च थ्रूपुट के साथ चिप्स भी चाहते हैं, तो यह बहुत ही मनमाना हो सकता है।



हम अपने नेटवर्क के निर्माण के लिए किस तार्किक टोपोलॉजी का उपयोग करेंगे? यह एक बहु-स्तरीय क्लोस होगा। वास्तव में, वर्तमान में कोई वास्तविक विकल्प नहीं हैं। और क्लोस टोपोलॉजी काफी अच्छी है, भले ही हम इसकी तुलना विभिन्न उन्नत टोपोलॉजी से करें जो अब अकादमिक हित के क्षेत्र में अधिक हैं, अगर हमारे पास एक बड़े मूलांक के साथ स्विच हैं।



लेयर्ड क्लोस नेटवर्क लगभग कैसे संरचित है और इसमें अलग-अलग तत्व क्या कहलाते हैं? सबसे पहले, हवा उठती है, यह पता लगाने के लिए कि उत्तर, जहां दक्षिण, जहां पूर्व, जहां पश्चिम। इस प्रकार के नेटवर्क आमतौर पर उन लोगों द्वारा बनाए जाते हैं जिनके पास पश्चिम में बहुत बड़ा ट्रैफिक है। बाकी तत्वों के लिए, छोटे स्विच से इकट्ठे एक आभासी स्विच को शीर्ष पर दिखाया गया है। यह पुन: Clos नेटवर्क के निर्माण का मूल विचार है। हम कुछ प्रकार के मूलांक वाले तत्वों को लेते हैं और उन्हें जोड़ते हैं ताकि जो हुआ वह एक बड़े मूलांक के साथ स्विच के रूप में माना जा सके। यदि आपको और भी अधिक की आवश्यकता है, तो प्रक्रिया को दोहराया जा सकता है।

उदाहरण के लिए, उदाहरण के लिए, दो-स्तरीय क्लोस के साथ, जब मेरे आरेख में लंबवत घटकों को स्पष्ट रूप से अलग करना संभव होता है, तो उन्हें आमतौर पर विमान कहा जाता है। यदि हमने क्लोस-के साथ तीन स्तर स्पाइन स्विच बनाए हैं (सभी जो कि बॉर्डरलाइन नहीं हैं और न ही टीओआर-स्विच हैं और जो केवल पारगमन के लिए उपयोग किए जाते हैं), तो विमान अधिक जटिल दिखेंगे, दो-स्तरीय बिल्कुल उसी तरह दिखेंगे। ToR या लीफ स्विच और संबंधित प्रथम स्तर रीढ़ स्विच को हम पॉड कहते हैं। फली के शीर्ष पर स्पाइन स्तर 1 स्विच पॉड के शीर्ष, पॉड के शीर्ष हैं। पूरे कारखाने के शीर्ष पर स्थित स्विच कारखाने के शीर्ष परत, कपड़े के शीर्ष हैं।



बेशक, सवाल उठता है: क्लोज-नेटवर्क कुछ समय के लिए बनाए गए हैं, यह विचार आमतौर पर शास्त्रीय टेलीफोनी, टीडीएम-नेटवर्क के दिनों से आता है। शायद कुछ बेहतर दिखाई दिया, शायद आप किसी तरह कुछ बेहतर कर सकते हैं? हाँ और नहीं। सैद्धांतिक रूप से, हाँ, व्यवहार में, निकट भविष्य में, निश्चित रूप से नहीं। क्योंकि कई दिलचस्प टोपोलॉजी हैं, उनमें से कुछ का उपयोग उत्पादन में भी किया जाता है, उदाहरण के लिए, एचपीसी अनुप्रयोगों में ड्रैगनफली का उपयोग किया जाता है; एक्सपेंडर, फैटक्लीक, जेलिफ़िश जैसे दिलचस्प टोपोलॉजी भी हैं। यदि आप हाल के दिनों में SIGCOMM या NSDI जैसे सम्मेलनों की रिपोर्टों को देखते हैं, तो आप वैकल्पिक टोपोलॉजी पर काफी बड़ी संख्या में पेपर पा सकते हैं, जिसमें क्लोस की तुलना में बेहतर गुण (एक या अन्य) हैं।

लेकिन इन सभी टोपोलॉजी में एक दिलचस्प संपत्ति है। यह डेटा केंद्रों के नेटवर्क में उनके कार्यान्वयन को रोकता है, जिसे हम कमोडिटी हार्डवेयर पर बनाने की कोशिश कर रहे हैं और जिसमें उचित रूप से उचित पैसा खर्च होता है। इन सभी वैकल्पिक टोपोलॉजी में, अधिकांश बैंड, दुर्भाग्य से, सबसे छोटे रास्तों के माध्यम से सुलभ नहीं हैं। इसलिए, हम तुरंत पारंपरिक नियंत्रण विमान का उपयोग करने की क्षमता खो देते हैं।

सैद्धांतिक रूप से, समस्या का समाधान ज्ञात है। उदाहरण के लिए, के-सबसे कम पथ का उपयोग करके लिंक राज्य के संशोधन, लेकिन, फिर से, कोई प्रोटोकॉल नहीं हैं जो उत्पादन में लागू किए जाएंगे और उपकरणों पर बड़े पैमाने पर उपलब्ध होंगे।

इसके अलावा, चूंकि अधिकांश क्षमता सबसे छोटे रास्तों के माध्यम से सुलभ नहीं है, हमें न केवल नियंत्रण विमान को संशोधित करने की आवश्यकता है ताकि यह इन सभी पथों का चयन करे (और, वैसे, यह नियंत्रण विमान में बहुत बड़ा राज्य है)। हमें अभी भी अग्रेषण विमान को संशोधित करने की आवश्यकता है, और एक नियम के रूप में, कम से कम दो अतिरिक्त सुविधाओं की आवश्यकता है। यह संकुल को एक बार अग्रेषित करने के बारे में सभी निर्णय लेने का एक अवसर है, उदाहरण के लिए, एक मेजबान पर। यह वास्तव में स्रोत रूटिंग है, कभी-कभी इंटरकनेक्शन नेटवर्क पर साहित्य में इसे ऑल-एट-वन फॉरवर्डिंग निर्णय कहा जाता है। और अनुकूली रूटिंग पहले से ही एक फ़ंक्शन है जिसे हमें नेटवर्क तत्वों की आवश्यकता है, जो उदाहरण के लिए, इस तथ्य को उबालता है कि हम कतार पर कम से कम लोड के बारे में जानकारी के आधार पर अगले हॉप का चयन करते हैं। एक उदाहरण के रूप में, अन्य विकल्प संभव हैं।

इस प्रकार, दिशा दिलचस्प है, लेकिन, अफसोस, हम इसे अभी लागू नहीं कर सकते।



ठीक है, क्लोस के तार्किक टोपोलॉजी पर बसे। हम इसे कैसे मापेंगे? आइए देखें कि यह कैसे काम करता है और क्या किया जा सकता है।



क्लोस नेटवर्क में दो मुख्य पैरामीटर हैं जो हम किसी भी तरह से भिन्न हो सकते हैं और कुछ निश्चित परिणाम प्राप्त कर सकते हैं: रेडिक्स तत्व और नेटवर्क में स्तरों की संख्या। मैं योजनाबद्ध तरीके से बताता हूं कि एक और दूसरे का आकार कैसे प्रभावित होता है। आदर्श रूप से, हम दोनों को मिलाते हैं।



यह देखा जा सकता है कि क्लॉस नेटवर्क की कुल चौड़ाई दक्षिणी मूलांक के सभी स्तरों की एक उत्पाद है, हमारे पास कितने लिंक हैं, यह कैसे शाखाएं हैं। यह है कि हम नेटवर्क के आकार को कैसे मापते हैं।



क्षमता के लिए, विशेष रूप से ToR स्विच पर, दो स्केलिंग विकल्प हैं। या तो हम सामान्य टोपोलॉजी को बनाए रखते हुए, तेज लिंक का उपयोग कर सकते हैं, या हम अधिक विमानों को जोड़ सकते हैं।

यदि आप क्लोस नेटवर्क के विस्तृत संस्करण (निचले दाएं कोने में) को देखते हैं और नीचे क्लोस नेटवर्क के साथ इस तस्वीर पर वापस आते हैं ...



... तो यह बिल्कुल वैसा ही टोपोलॉजी है, लेकिन इस स्लाइड पर यह अधिक कॉम्पैक्ट रूप से ढह जाता है और फैक्ट्री प्लेन एक-दूसरे से अलग हो जाते हैं। यह एक है और एक ही है।



एक क्लोस नेटवर्क को स्केलिंग में क्या संख्याओं की तरह दिखता है? यहां मेरे पास यह डेटा है कि किसी नेटवर्क की अधिकतम चौड़ाई, रैक की अधिकतम संख्या, TOR- स्विच या लीफ-स्विच, अगर वे रैक में नहीं हैं, तो हम स्पाइन के लिए हमारे द्वारा उपयोग किए जाने वाले स्विच के मूलांक के आधार पर प्राप्त कर सकते हैं। स्तर और हम कितने स्तरों का उपयोग करते हैं।

यह दिखाता है कि हमारे पास कितने रैक हो सकते हैं, कितने सर्वर और कितना यह सब 20 kW प्रति रैक की दर से उपभोग कर सकते हैं। थोड़ा पहले, मैंने उल्लेख किया था कि हम लगभग 100 हजार सर्वरों के क्लस्टर आकार का लक्ष्य रखते हैं।

यह देखा जा सकता है कि इस पूरे निर्माण में ढाई विकल्प रुचि के हैं। स्पाइन की दो परतों और 64-पोर्ट स्विच के साथ एक विकल्प है, जो थोड़ा छोटा है। फिर, 128-पोर्ट के लिए पूरी तरह से फिटिंग विकल्प (128 रेडिक्स के साथ) दो स्तरों के साथ रीढ़ स्विच करता है, या तीन स्तरों के साथ 32 मूलांक के साथ स्विच करता है। और सभी मामलों में जहां अधिक मूलांक और अधिक स्तर हैं, आप एक बहुत बड़ा नेटवर्क बना सकते हैं, लेकिन यदि आप एक नियम के रूप में, अपेक्षित खपत को देखते हैं, तो गीगावाट हैं। आप केबल बिछा सकते हैं, लेकिन हमें एक साइट पर इतनी बिजली मिलने की संभावना नहीं है। यदि आप आंकड़ों को देखें, तो डेटा केंद्रों पर सार्वजनिक डेटा - 150 मेगावाट से अधिक की अनुमानित क्षमता के लिए बहुत कम डेटा केंद्र पाए जा सकते हैं। क्या अधिक है - एक नियम के रूप में, डेटा केंद्र परिसरों, कई बड़े डेटा केंद्र एक दूसरे के काफी करीब स्थित हैं।

एक और महत्वपूर्ण पैरामीटर है। यदि आप बाएं कॉलम को देखते हैं, तो उपयोग करने योग्य बैंडविड्थ को वहां इंगित किया जाता है। यह नोटिस करना आसान है कि क्लोस नेटवर्क में, बंदरगाहों का एक महत्वपूर्ण हिस्सा स्विच को एक दूसरे से जोड़ने पर खर्च होता है। प्रयोग करने योग्य बैंडविड्थ वह है जो आप सर्वरों की ओर दे सकते हैं। स्वाभाविक रूप से, मैं सशर्त बंदरगाहों और पट्टी के बारे में बात कर रहा हूं। एक नियम के रूप में, नेटवर्क के भीतर लिंक सर्वर की ओर लिंक की तुलना में तेज़ हैं, लेकिन बैंड की प्रति यूनिट, जहाँ तक हम इसे अपने सर्वर उपकरण को दे सकते हैं, नेटवर्क के भीतर अभी भी कुछ और बैंड हैं। और जितना अधिक स्तर हम करते हैं, इस पट्टी को बाहर प्रदान करने के लिए इकाई की लागत उतनी ही अधिक होती है।

इसके अलावा, यहां तक ​​कि यह अतिरिक्त बैंड बिल्कुल समान नहीं है। जबकि स्पैन कम हैं, हम DAC (डायरेक्ट अटैच्ड कॉपर, ट्विनएक्स केबल्स) या मल्टीमोड ऑप्टिक्स जैसी किसी चीज़ का उपयोग कर सकते हैं, जिसकी कीमत भी कम या ज्यादा वाजिब होती है। जैसे ही हम अधिक प्रामाणिक रूप से स्पैन पर स्विच करते हैं - एक नियम के रूप में, यह एकल मोड ऑप्टिक्स है, और इस अतिरिक्त बैंड की लागत भी चिह्नित है।

और फिर, पिछली स्लाइड पर लौटते हुए, यदि हम फिर से सदस्यता के बिना क्लॉस नेटवर्क बनाते हैं, तो आरेख को देखना आसान है, देखें कि नेटवर्क कैसे बनाया गया है - स्पाइन स्विच के प्रत्येक स्तर को जोड़ते हुए, हम नीचे की पूरी पट्टी दोहराते हैं। प्लस स्तर - प्लस पूरे एक ही बैंड, पिछले स्तर पर जितने थे, स्विच पर पोर्ट, उतने ही ट्रांससीवर्स। इसलिए, कम से कम करने के लिए स्पाइन स्विच के स्तरों की संख्या बहुत वांछनीय है।

इस तस्वीर के आधार पर, यह स्पष्ट है कि हम वास्तव में 128 रेडिक्स के साथ स्विच जैसी किसी चीज पर निर्माण करना चाहते हैं।



यहां, सिद्धांत रूप में, सब कुछ वैसा ही है जैसा मैंने अभी कहा, इस स्लाइड पर बाद में विचार किए जाने की अधिक संभावना है।



, ? , - . , . , . , . , , , , . ( ), control plane , , , , . , , .

, , , SerDes- — - . forwarding . , , , , , Clos-, . .

, , . , , , , , , , , , .



— , . , , . , , , - , . , , , , .

, , , . -, , . , , 128 , .

, , , data plane. . , , . , , , . , , , , 128 , . . . .

, - , . ( ), , — ToR- leaf-, . - , , , , - . , , , - .



, , .



? . , , , : leaf-, 1, 2. , — twinax, multimode, single mode. , , , , , .

. , , multimode , , , 100- . , , , single mode , , single mode, - CWDM, single mode (PSM) , , , .

: , 100 425 . SFP28 , QSFP28 100 . multimode .

- , - , - - . , . , - Pods twinax- ( ).

, , , CWDM. .



, , . , , 50- SerDes . , , 400G, 50G SerDes- , 100 Gbps per lane. , 50 100- SerDes 100 Gbps per lane, . , 50G SerDes , , , 100G SerDes . - , , .



. , 400- 200- 50G SerDes. , , , , , , . 128. , , , , .

, , . , , , , , 100- , .



— , . , . leaf- — , . , , — .

, , , -. , , - -, . . , , , . - -, -, , , , . : . - , « », Clos-, . , , .



. - , , , , -2-.

. , - 512 512 , , , -2. Pods -1, -, -2.



यहाँ है कि यह कैसा दिखता है। -2 () -. , . -, . , , .



: , . control plane-? , - , link state , , , , . , — , link state . , , , , fanout, control plane . link state .

— BGP. , RFC 7938 BGP -. : , , , path hunting. , , , valley free. , , , . , , . . .

, , BGP. eBGP, link local, : ToR, -1- Pod, Top of Fabric. , BGP , .



, , , , control plane. L3 , , . — , , , multi-path, multi-path , , , . , , , , , . , multi-path, ToR-.



, , — . , , , , BGP, . , corner cases , BGP .

RIFT, .



— , data plane , . : ECMP , Next Hop.

, , Clos- , , , , , . , ECMP, single path-. . , Clos- , Top of fabric, , . , , . , ECMP state.

data plane ? LPM (longest prefix match), , 100 . Next Hop , , 2-4 . , Next Hops ( adjacencies), - 16 64. . : MPLS -? , .



. , . white boxes MPLS. MPLS, , , , ECMP. और यहाँ क्यों है।



ECMP- IP. Next Hops ( adjacencies, -). , -, Next Hop. IP , , Next Hops.



MPLS , . Next Hops . , , .

, 4000 ToR-, — 64 ECMP, -1 -2. , , ECMP-, ToR , Next Hops.



, Segment Routing . Next Hops. wild card: . , .

, - . ? Clos- . , Top of fabric. . , , Top of fabric, , , . , , , , .

— . , Clos- , , , ToR, Top of fabric , . Pod, Edge Pod, .

. , , Facebook. Fabric Aggregator HGRID. -, -. , . , touch points, . , , -. , - , , . , , . overlays, .



? — CI/CD-. , , , . , , . , , .

, . . — .

. , RIFT. congestion control , , , , RDMA .

, , , , overhead. — HPC Cray Slingshot, commodity Ethernet, . overhead .



, , . — . — . - scale out — . , . . आपका धन्यवाद