हमने S3 DataLine स्टोरेज कैसे बनाया। प्रयोग, परीक्षण और हिप्पो के बारे में थोड़ा

हैलो फिर से, एलेक्सी प्रिस्टावको संपर्क में है, और यह मेरी कहानी का दूसरा हिस्सा है जो क्लाउडियन हाइपरस्टोर पर आधारित एस 3 ऑब्जेक्ट स्टोरेज डाटालाइन के बारे में है।

आज मैं इस बारे में विस्तार से बात करूंगा कि हमारे एस 3 भंडारण की व्यवस्था कैसे की जाती है और इसे बनाने की प्रक्रिया में हमें किन कठिनाइयों का सामना करना पड़ा। "लोहा" विषय पर स्पर्श करना और उन उपकरणों का विश्लेषण करना सुनिश्चित करें जिन पर हमने रहना समाप्त किया।

चलो चलते हैं!

यदि पढ़ने के दौरान आपको क्लाउडियन समाधान के एप्लिकेशन आर्किटेक्चर से परिचित होने की इच्छा है, तो आपको पिछले लेख में इसका विस्तृत विश्लेषण मिलेगा। वहां हमने क्लाउडियन आंतरिक उपकरण, दोष सहिष्णुता और अंतर्निहित एसडीएस के तर्क पर विस्तार से चर्चा की।

भौतिक उपकरणों की अंतिम योजना

चूंकि बाद में हम अपनी "पसंद की पीड़ा" के बारे में बात करेंगे, मैं तुरंत लोहे की अंतिम सूची दूंगा, जो हम आए हैं। छोटा अस्वीकरण: नेटवर्क उपकरणों की पसंद मोटे तौर पर हमारे (वैसे, बहुत ठोस) गोदाम में इसकी उपस्थिति के कारण थी।

तो, भंडारण के भौतिक स्तर पर, हमारे पास निम्नलिखित उपकरण हैं:

नाम	समारोह	विन्यास	गिनती
लेनोवो सिस्टम x3650 M5 सर्वर	कार्य नोड	1x Xeon E5-2630v4 2.2GHz, 4x 16GB DDR4, 14x 10TB 7.2K 6Gbps SATA 3.5 ", 2x 480GB SSD, इंटेल x520 ड्यूल पोर्ट 10GbE SFP +, 2x750W एचएस पीएसयू	4
HP ProLiant DL360 G9 सर्वर	लोड बैलेंसर नोड	2 E5-2620 v3, 128G RAM, 2 600GB SSD, 4 SAS HDD, Intel x520 ड्यूल पोर्ट 10GbE SFP +	2
सिस्को C4500 स्विच	सीमा प्रवेश द्वार	उत्प्रेरक WS-C4500X-16SFP +	2
सिस्को C3750 स्विच	पोर्ट एक्सटेंडर	C3KX-NM-10G के साथ उत्प्रेरक WS-C3750X-24T	2
सिस्को C2960 स्विच	नियंत्रण विमान	उत्प्रेरक WS-C2960 + 48PST- एल	1

वास्तुकला की बेहतर समझ के लिए, हम बदले में सभी तत्वों पर एक नज़र डालेंगे और उनकी विशेषताओं और कार्यों के बारे में बात करेंगे।

चलो सर्वरों के साथ शुरू करते हैं। लेनोवो सर्वर का एक विशेष कॉन्फ़िगरेशन है जिसे संयुक्त रूप से और क्लाउडियन सिफारिशों और विनिर्देशों के साथ पूर्ण अनुपालन में लागू किया गया है। उदाहरण के लिए, वे डायरेक्ट डिस्क एक्सेस के साथ एक नियंत्रक का उपयोग करते हैं। चूंकि हमारे मामले में RAID को एप्लिकेशन सॉफ़्टवेयर स्तर पर व्यवस्थित किया जाता है, इसलिए यह मोड विश्वसनीयता बढ़ाता है और डिस्क सबसिस्टम को गति देता है। बिल्कुल उसी सर्वर को सभी लाइसेंस के साथ क्लाउडियन उपकरण के रूप में खरीदा जा सकता है।

CentOS गारंटी के लिए Nginx के साथ लोड संतुलन सर्वर काम नोड्स पर भी लोड वितरण और आंतरिक यातायात संगठन से उपयोगकर्ता को सार। और एक सुखद बोनस के रूप में - यदि आवश्यक हो, तो आप उन पर कैश व्यवस्थित कर सकते हैं।

सिस्को 4500X सोलह 10GB SFP + जोड़ी हमारे छोटे लेकिन गर्वित भंडारण नेटवर्क के मूल और सीमा के रूप में कार्य करती है। बेशक, लोहा थोड़ा पुराना है, लेकिन यह विश्वसनीयता में "नए" से नीच नहीं है, इसमें आंतरिक अतिरेक है, और इसकी कार्यक्षमता हमारी सभी आवश्यकताओं को पूरा करती है। C3750 फैक्ट्री-एक्सटेंडर की भूमिका निभाते हैं, 10G स्लॉट्स में 1G ट्रांसीवर्स को शट करने की कोई आवश्यकता नहीं है। और पूरी तरह से 10GB लिंक पर स्विच करने के लिए भी अभी तक कोई मतलब नहीं है। जैसा कि परीक्षण से पता चला है, हम प्रोसेसर और डिस्क में पहले से चलते हैं।

नीचे दिया गया चित्र मेरे द्वारा वर्णित भौतिक संगठन को पर्याप्त रूप से दिखाता है:

1. भौतिक भंडारण संगठन की योजना

चलो योजना के माध्यम से चलते हैं। जैसा कि आप देख सकते हैं, भौतिक स्तर पर दोष सहिष्णुता का एहसास प्रत्येक डिवाइस को कम से कम दो ऑप्टिकल लिंक, एक जोड़ी में प्रत्येक डिवाइस के लिए एक साथ डुप्लिकेट और कनेक्ट करके किया जाता है। यह हमें किसी भी नेटवर्क डिवाइस या एक ही समय में अलग-अलग जोड़े से दो उपकरणों की दुर्घटना के दौरान सर्किट में भौतिक कनेक्टिविटी बनाए रखने की गारंटी देता है।

हम स्कीम से नीचे जाते हैं। दोनों सिस्को जोड़े (4500/4500, 3750/3750) को स्टैक और वीएसएस का उपयोग करके एक एकल तार्किक उपकरण में जोड़ा जाता है। स्टैक को दो स्टैक केबल्स, वीएसएस के साथ तीन 10 जी ऑप्टिकल लिंक के माध्यम से इकट्ठा किया जाता है। यह आपको यह सुनिश्चित करने की अनुमति देता है कि प्रत्येक जोड़ी में दोनों डिवाइस एक पूरे के रूप में बातचीत करते हैं। इस तरह की क्लस्टरिंग हमें एक जोड़े के दोनों उपकरणों के माध्यम से एक पारदर्शी L2 खंड के ढांचे के भीतर काम करने और LACP का उपयोग करके सामान्य लिंक एकत्रीकरण करने की अनुमति देती है, क्योंकि यह तकनीक मूल रूप से सर्वर ओएस और सिस्को IOS दोनों द्वारा समर्थित है। सर्वर की ओर से, ऐसा लगता है कि यह दो के बजाय एक स्विच के साथ काम कर रहा है, और एप्लिकेशन के ऊपर दोहरी क्षमता का एक एकत्रित चैनल है।

स्वयं और आने वाले चैनलों के बीच स्विच करने वाले सभी नेटवर्क उपकरण ऑप्टिकल 10 जी लिंक का उपयोग करके किया जाता है, सर्वर उपकरण 10 जी ट्विनएक्स सिस्को केबल और 1 जी तांबे का उपयोग करके जुड़ा हुआ है।

बीजीपी का उपयोग आने वाले चैनल पर दोष सहिष्णुता के लिए किया जाता है, और बाहरी आईपी पते के बीच संतुलन के लिए राउंड रॉबिन डीएनएस का उपयोग किया जाता है। बाहरी पते खुद लोड बैलेंसिंग सर्वर पर पार्क किए जाते हैं और यदि आवश्यक हो, तो पेसमेकर / कोरोसिन बंडल का उपयोग करके नोड्स के बीच माइग्रेट करें।

IPMI के माध्यम से निगरानी और नियंत्रण एक प्रत्यक्ष आंतरिक लिंक के माध्यम से किया जाता है। सभी प्रबंधन इंटरफेस (सर्वर और सिस्को दोनों) अलग-अलग नियंत्रण विमान स्विच के माध्यम से जुड़े हुए हैं। वे, बदले में, डेटा सेंटर नियंत्रण नेटवर्क में शामिल हैं। यह हमें काम के दौरान उपकरणों के साथ संचार खोने या बाहरी नेटवर्क पर एक दुर्घटना के परिणामस्वरूप की असंभवता की गारंटी देता है। सबसे चरम मामले के लिए, केवीएम के साथ परिचर हैं।

तार्किक नेटवर्क

यह समझने के लिए कि डेटालाइन संग्रहण का S3 तार्किक नेटवर्क कैसे काम करता है, आइए हम दूसरी योजना की ओर मुड़ें:


2. भंडारण तार्किक नेटवर्क आरेख

जैसा कि आप देख सकते हैं, नेटवर्क लॉजिक में कई सेगमेंट होते हैं।

20G की कुल क्षमता वाला एक बाहरी नेटवर्क (Q) सीधे प्रदाता एज से जुड़ा है। इसके बाद सिस्को 4500 और बैलेंसर्स हैं।

अगला लॉजिकल ब्लॉक (X) बैलेंसर्स और वर्किंग नोड्स के बीच VLAN है। आने वाले ट्रैफ़िक के लिए बैलेंसर उसी कनेक्शन का उपयोग करते हैं। वर्किंग नोड्स 4 1 जी लिंक (प्रत्येक 3750 के लिए दो) के साथ 3750 स्टैक के माध्यम से जुड़े हुए हैं। सभी भौतिक लिंक LACP के साथ-साथ एक एकल तार्किक में इकट्ठे होते हैं। इस नेटवर्क का उपयोग केवल क्लाइंट ट्रैफ़िक को संसाधित करने के लिए किया जाता है।

क्लाउडियन (वाई) क्लस्टर के भीतर सभी कनेक्शन 10 जी के शीर्ष पर बने तीसरे तार्किक खंड से गुजरते हैं। ऐसा संगठन आंतरिक यातायात और इसके विपरीत बाहरी चैनल पर समस्याओं से बचने में मदद करता है। यह क्लस्टर के संचालन के लिए एक अत्यंत भरा हुआ और महत्वपूर्ण खंड है। यह इसके माध्यम से है कि डेटा और मेटाडेटा को दोहराया जाता है, इसका उपयोग किसी भी रीबैलेंसिंग प्रक्रियाओं, आदि द्वारा किया जाता है, इसलिए, हमने इसके "अस्थिरता" को एक अलग कार्य के रूप में प्रतिष्ठित किया।

थोड़ा सा सौंदर्य

यह सब कुछ इस तरह दिखता है:


3. नेटवर्क उपकरण और balancers पूर्ण चेहरा


4. वही, पीछे का दृश्य

स्विचिंग पर ध्यान दें। पिछले लेखों में, मेरे सहयोगियों ने रंग अंकन केबलों के महत्व के बारे में लिखा था, लेकिन यह इस विषय पर छूने के लिए जगह से बाहर नहीं होगा।

हम न केवल नेटवर्क के लिए, बल्कि पावर के लिए भी रंग स्विचिंग का उपयोग करते हैं। यह हमारे इंजीनियरों को रैक में जल्दी से नेविगेट करने की अनुमति देता है और स्विचिंग के दौरान मानव कारक के प्रभाव को कम करता है।


5. काम करने वाले नोड्स


6. रियर दृश्य

इस तस्वीर में आप स्पष्ट रूप से देख सकते हैं कि वर्किंग सर्वर कसकर डिस्क से भरे हुए हैं - व्यावहारिक रूप से पीठ पर भी कोई खाली स्लॉट नहीं हैं। वैसे, कॉम्पैक्ट बंडलों में केबलों का ऐसा संगठन न केवल एक सौंदर्य समारोह करता है, बल्कि बिजली की आपूर्ति के अतिव्यापी प्रशंसकों से भी बचाता है, लोहे को गर्म होने से बचाता है।

श्वेत सूची

पिछले लेख पर टिप्पणियों में, मैंने व्हाइटलाइटिंग डिवाइस के बारे में अधिक बात करने का वादा किया था।

यदि किसी कारण से हम ग्राहक के साथ सहमत हो गए तो खातों से बाहर रखने के लिए डेटा सेंटर के अंदर या उसके माध्यम से सीधे चैनलों के माध्यम से भंडारण के साथ काम करते हैं, तो हमें भंडारण के लिए एक निजी कनेक्शन को व्यवस्थित करने की आवश्यकता है।

याद रखें, पहले आरेख में DIST के क्लाउड और क्लाउड पर एक शाखा थी? मुख्य 20Gb इंटरनेट चैनल के अलावा, हम स्विच करने के लिए एक एकत्रित चैनल का उपयोग करते हैं, जिससे हम सभी ग्राहकों को डेटा सेंटर स्तर पर कनेक्ट करते हैं। यदि क्लाइंट स्टोरेज का सीधा लिंक चाहता है, तो हम क्लाइंट से VLAN को एक अलग रूट (या इसके बिना) के निर्माण के साथ कॉन्फ़िगर कर सकते हैं और L3 शुरू कर सकते हैं। उसके बाद, टैरिफ प्लान में बाध्यकारी ग्राहक के पते पर पहले से ही क्लाउडियन में कॉन्फ़िगर किया गया है। फिर, जो सभी इस टैरिफ योजना से जुड़े हैं, उनके लिए श्वेतसूची वाले पते से S3 के उपयोग पर विचार नहीं किया जाएगा।


7. और यहां क्लाउडियन में एक विशेष इंटरफ़ेस है।

अब हमारे पास ग्रिड में ऐसा कोई टैरिफ नहीं है, लेकिन यदि आप वास्तव में चाहते हैं, तो हम इसे प्रदान कर सकते हैं।

निर्माण का इतिहास

हम धीरे-धीरे इतिहास के सबसे दिलचस्प हिस्से से संपर्क कर रहे हैं - एक भंडारण सुविधा का निर्माण। ट्रैफ़िक संतुलन और कुछ बुरी युक्तियों को व्यवस्थित करने के लिए तीन प्रयासों के रूप में कई तस्वीरें होंगी। मुझे उम्मीद है कि रास्ते में हमें आने वाली परेशानियों का विश्लेषण उन लोगों के लिए उपयोगी होगा जो वेब पर 10 जीबी + स्पीड के साथ काम करने की तैयारी कर रहे हैं।

10 जी के साथ प्रयोग

इससे पहले कि मैं सीधे इस खंड के सार पर जाऊं, मैं खुद को एक और छोटा अस्वीकरण करने की अनुमति देता हूं।

एक स्थापित परंपरा के अनुसार, नए सहायक उपकरण खरीदने से पहले, हम गोदाम में जाते हैं और अधिक या कम उपयुक्त घटकों का चयन करते हैं। यह आपको जल्दी से परीक्षण करने और भविष्य की खरीदारी सूची पर निर्णय लेने की अनुमति देता है। बेशक, जब हम 100% विश्वसनीय परिणाम प्राप्त नहीं कर रहे हैं, तो उत्पादक पर कुछ भी खर्च नहीं किया जाता है।

तो यह समय था। और अगर सिस्को ने कोई आश्चर्य नहीं फेंका, तो लोड बैलेंसर्स के साथ "लालच" ने हमें लगभग बर्बाद कर दिया।

पहला अनुभव। सुपरमाइक्रो सर्वर

यहां हमें न्यूनतम लागत के साथ एक त्वरित परीक्षण करने की इच्छा से छोड़ दिया गया था। गोदाम में, हमने सुपरमाइक्रो सर्वर पाए जो एसएफपी इंटरफेस की कमी को छोड़कर सब कुछ ठीक था। हमने अपने प्रिय इंटेल 520DA2 को उन पर स्थापित करने का फैसला किया और तुरंत पहली समस्या का सामना किया: मशीनें एकल-इकाई हैं, लेकिन कोई राइजर नहीं हैं। उसी समय, किसी कारण से, हमारी वाहिनी संगतता सूचियों में नहीं थी, लेकिन बहुत सारे देशी राइजर थे।

अभिनव विकास के निदेशक, मिशा सोलोवोव की सलाह पर, हमने खनन खेतों के लिए लचीले रिसर्स के साथ सब कुछ जोड़ा। परिणाम इस तरह के "cadaver" था:


8. प्रोटोटाइप नंबर 1

मुझे कुछ स्थानों पर प्रसिद्ध नीले बिजली के टेप का उपयोग करना था, ताकि भगवान न करे, कुछ भी कम कर सकें। हाँ, सामूहिक खेत। हाँ, शर्म आती है। लेकिन इस तरह के "कॉन्फ़िगरेशन" प्रयोग की अवधि के लिए काफी स्वीकार्य है।


9. पीछे का दृश्य

क्या हुआ यह स्पष्ट रूप से iperf के स्क्रीनशॉट में दिखाई दे रहा है:


10. वास्तव में यह स्क्रीनशॉट नहीं है :)

मेट्रिक्स बहुत दिलचस्प हैं, है ना? इसलिए हम दुखी थे। पहले तो हमने जासूसी चिप्स के बारे में सोचा, हम अलग हो गए और सब कुछ सीधा कर दिया।


11. पहली नज़र में, यहाँ कोई स्पाई चिप्स नहीं हैं

उन्होंने भौतिकी के पाठ्यक्रम को याद किया: विद्युत चुम्बकीय हस्तक्षेप, उच्च-आवृत्ति संकेत, आदि ... निश्चित रूप से, "सामूहिक खेत" की इतनी मात्रा और गुणवत्ता के साथ प्रयोग जारी रखने के लिए कोई मतलब नहीं था। इसलिए हमने आखिरकार सिस्टम को अलग कर लिया और सर्वर को वापस रख दिया।

दूसरा अनुभव। Citrix Netscaler MPX8005

सर्वर को वापस करने की प्रक्रिया में, हमें नए नायक मिले: Citrix Netscaler MPX8005। यह एक अद्भुत ब्रांडेड लोहा है, इसके अलावा, लगभग कभी भी उपयोग नहीं किया जाता है। वे इस तरह दिखते हैं:


12. रैक में स्लाइड लंबाई में फिट नहीं थी, लेकिन हम दूरदर्शी ने इसे बाद में स्थगित करने का फैसला किया

एक रैक में उपकरण रखा, स्विच और कॉन्फ़िगर किया गया। ये वास्तव में उत्कृष्ट "वयस्क" लोहे के टुकड़े हैं, 10 SF के लिए 2 SFP- स्लॉट, HA, उन्नत एल्गोरिदम, यहां तक ​​कि L7 भी है। सच है, लाइसेंस के तहत 5 गीगाबिट तक, लेकिन हमने अभी भी एल 3 का उपयोग किया था, लेकिन ऐसी कोई सीमा नहीं है।

पार उँगलियाँ, परीक्षण। कोई गति नहीं है। इंटरफेस पर - अनुपयुक्त ट्रांससेवर्स के बारे में ठोस त्रुटियां, लगभग 5 गीगाबिट्स की गति, निरंतर बूँदें। उन्होंने लचीले रिसर्स को याद किया, फिर से दुखी हुए। वहां भी, गति अधिक थी, और कम त्रुटियां। हम समझने लगते हैं:

show channel LA/1 1)  Interface LA/1 (802.3ad Link Aggregate) #10  flags=0x4100c020 <ENABLED, UP, AGGREGATE, UP, HAMON, HEARTBEAT, 802.1q>  MTU=9000, native vlan=1, MAC=XXX, uptime 0h03m23s  Requested: media NONE, speed AUTO, duplex NONE, fctl NONE,        throughput 160000  Link Redundancy Throughput 80000  Actual: throughput 20000  LLDP Mode: NONE  RX: Pkts(9388) Bytes(557582) Errs(0) Drops(1225) Stalls(0)  TX: Pkts(10514) Bytes(574232) Errs(0) Drops(0) Stalls(0)  NIC: InDisc(0) OutDisc(0) Fctls(0) Stalls(0) Hangs(0) Muted(0)  bandwidthHigh: 160000 Mbits/sec, bandwidthNormal: 160000 Mbits/sec.  LA mode: AUTO > show interface 10/1 1)  Interface 10/1 (10G Ethernet, unsupported fiber SFP+, 10 Gbit) #1  flags=0x400c020 <ENABLED, UP, BOUND to LA/1, UP, autoneg, 802.1q>  LACP <Active, Long timeout, key 1, priority 32768>  MTU=9000, MAC=XXX, uptime 0h05m44s  Requested: media AUTO, speed AUTO, duplex AUTO, fctl OFF,        throughput 0  Actual: media FIBER, speed 10000, duplex FULL, fctl OFF, throughput 10000  LLDP Mode: TRANSCEIVER,    LR Priority: 1024  RX: Pkts(8921) Bytes(517626) Errs(0) Drops(585) Stalls(0)  TX: Pkts(9884) Bytes(545408) Errs(0) Drops(3) Stalls(0)  NIC: InDisc(0) OutDisc(0) Fctls(0) Stalls(0) Hangs(0) Muted(0)  Bandwidth thresholds are not set. > show interface 10/2 1)  Interface 10/2 (10G Ethernet, unsupported fiber SFP+, 10 Gbit) #0  flags=0x400c020 <ENABLED, UP, BOUND to LA/1, UP, autoneg, 802.1q>  LACP <Active, Long timeout, key 1, priority 32768>  MTU=9000, MAC=XXX, uptime 0h05m58s  Requested: media AUTO, speed AUTO, duplex AUTO, fctl OFF,        throughput 0  Actual: media FIBER, speed 10000, duplex FULL, fctl OFF, throughput 10000  LLDP Mode: TRANSCEIVER,    LR Priority: 1024  RX: Pkts(8944) Bytes(530975) Errs(0) Drops(911) Stalls(0)  TX: Pkts(10819) Bytes(785347) Errs(0) Drops(3) Stalls(0)  NIC: InDisc(0) OutDisc(0) Fctls(0) Stalls(0) Hangs(0) Muted(0)  Bandwidth thresholds are not set. 

हमने देशी सिस्को ट्रांसीवर का उपयोग किया, जिसके साथ, सिद्धांत रूप में, कोई समस्या नहीं पैदा होनी चाहिए। उन्होंने प्रकाशिकी की भी जाँच की और, केवल मामले में, ट्रांससीवर्स को बदल दिया - एक ही तस्वीर। हमारी कार नहीं जाती है, और यह बात है! हम और करीब से देखते हैं।

"सुंदर" सिस्को ट्रांसीवर:

 ix1: <Intel(R) PRO/10GbE PCI-Express Network Driver, Version - 2.7.4> port 0xe000-0xe01f mem 0xf7800000-0xf781ffff,0xf7840000-0xf7843fff irq 17 at device 0.1 on pci1 ix1: ixgbe bus speed = 5.0Gbps and PCIe lane width = 8 SFP+/SFP, vendor CISCO-AVAGO , part number XXX , 10G 0x10 1G 0x00 CT 0x00 *** Unsupported SFP+/SFP type! 

सामान्य रूप से ट्रांसेवर्स का पता नहीं लगाया गया है, असमर्थित!

मुझे सबसे अधिक "रिश्तेदारों" को ढूंढना था:


13. जंगली पश्चिम में सबसे अधिक देशी ट्रांसीवर हैं

 ix0: <Intel(R) PRO/10GbE PCI-Express Network Driver, Version - 2.7.4> port 0xe020-0xe03f mem 0xf7820000-0xf783ffff,0xf7844000-0xf7847fff irq 16 at device 0.0 on pci1 platform: Manufacturer Citrix Inc. platform: NSMPX-8000-10G 4*CPU+6*E1K+2*IX+1*E1K+4*CVM 1620 675320 (28), manufactured at 8/10/2015 platform: serial 4NP602H7H0 platform: sysid 675320 - NSMPX-8000-10G 4*CPU+6*E1K+2*IX+1*E1K+4*CVM 1620 ix0: ixgbe bus speed = 5.0Gbps and PCIe lane width = 8 SFP+/SFP, vendor CITRIX           , part number XXX   , 10G 0x10 1G 0x01 CT 0x00 ix0: [ITHREAD] 10/2: Ethernet address: 00:e0:ed:45:39:f8 ix1: <Intel(R) PRO/10GbE PCI-Express Network Driver, Version - 2.7.4> port 0xe000-0xe01f mem 0xf7800000-0xf781ffff,0xf7840000-0xf7843fff irq 17 at device 0.1 on pci1 ix1: ixgbe bus speed = 5.0Gbps and PCIe lane width = 8 SFP+/SFP, vendor CITRIX           , part number XXX  , 10G 0x10 1G 0x01 CT 0x00 

ये ट्रांस्वर्स बिना किसी समस्या के निर्धारित किए गए थे, लेकिन इससे स्थिति नहीं बची। अपडेटेड फर्मवेयर - एक ही बात। Citrix समर्थन ने चुपचाप रखने का फैसला किया (नहीं, ट्रान्सीवर की वंशावली के कारण नहीं)।

हमने गहरी सांस ली और हार्डवेयर स्पेसिफिकेशन में दफन हो गए। यह पता चला कि यह सब समय हमारी आंखों के सामने था: ixgbe बस की गति = 5.0Gbps और PCIe लेन की चौड़ाई = 8. यह कार्ड के साथ एक समस्या है। उसे खुद पीसीआई की कमी है। हमारे Citrix में 5.0Gbps के ट्रांसीवर के साथ एक कार्ड के लिए PCI-e स्लॉट का अधिकतम प्रदर्शन है , जो उसने इस समय हमारे लिए चिल्लाया। MPX8015 पर Citrix की तरह (यह हार्डवेयर में बिल्कुल ऐसा ही है!) वे 15 गीगाबिट देना चाहते थे, यह स्पष्ट नहीं है। लेकिन हम समझ गए कि इस तरह के "शांत" बैलेंसर इस समय एक गोदाम में क्यों पड़े हैं। वे सिद्धांत रूप में 10G लिंक के साथ सही ढंग से काम नहीं कर सकते हैं।

आखिरी अनुभव। हम सही लोहे का उपयोग करते हैं और इसे सुंदर बनाते हैं

यहां, हमारा धैर्य मानवता में हमारे विश्वास के साथ समाप्त हो गया, और हमें उपरोक्त तस्वीरों से एचपी प्रोलिएंट डीएल 360 जी 9 के रूप में सामान्य हार्डवेयर प्राप्त करने के लिए "स्पेयर" तकनीक का उपयोग करना पड़ा। उन्होंने हमारे लिए आश्चर्य की व्यवस्था करना शुरू नहीं किया, वे 10 जी डाउनलोड करते हैं और शिकायत नहीं करते हैं। :)

लोड परीक्षण

चूंकि हम हुजैक-हुजैक-एंड-प्रोडक्शन दृष्टिकोण को स्वीकार नहीं करते हैं, और हम अनुभव से जानते हैं कि लगभग 100% गारंटी के साथ असेंबली के बाद एक अन-टेस्टेड सिस्टम अप्रभावी होगा, हमने लोड परीक्षण करने का फैसला किया। इसके अलावा, इसकी मदद से आप भविष्य के लिए कुछ ट्यूनिंग कर सकते हैं।

लोड उत्पन्न करने के लिए, सामान्य उपकरण चुना गया था - अपाचे जेमीटर। यह अकेले बहुत अच्छा है, जैसा कि मैंने कुछ लेख वापस लिखे हैं, और यह बाजार पर सबसे लचीले समाधानों में से एक है, भले ही जावा खाने के लिए प्यार करता हो। S3 के साथ काम करने के लिए, हमने AWS SDK का उपयोग करते हुए एक स्व-लिखित मॉड्यूल का उपयोग किया, वह भी जावा में। परीक्षणों में, हम 5 मेगाबाइट के विखंडू द्वारा समानांतर लोडिंग के साथ 250 मेगाबाइट से अधिक फ़ाइलों के लिए लिखने के लिए 12.5 Gbps की गति प्राप्त करने में सक्षम थे, और 5 मेगाबाइट से कम फ़ाइलों के लिए - प्रति सेकंड लगभग 3000 HTTP अनुरोध संसाधित करना। जब दोनों परीक्षण समानांतर में चल रहे थे, तो यह 11 गिगाबिट्स और 2200 अनुरोध प्रति सेकंड निकला। इसी समय, मिश्रित भार के तहत और छोटी वस्तुओं के साथ काम में सुधार करना संभव है। हम सीपीयू में "दफन" हैं, और दूसरा सॉकेट मुफ्त है। जनरेटर के डिस्क सबसिस्टम के परिणामों पर प्रभाव को बाहर करने के लिए लोड जनरेटर पर, रैम से परीक्षण फाइलें ली गईं। परीक्षणों के लिए, रैम के लिए जावा के प्यार और समानांतर लोडिंग के दौरान बड़ी संख्या में थ्रेड्स के साथ काम करने की आवश्यकता को याद करते हुए, हमने जनरेटर के रूप में HP DL980 g7 सर्वर का उपयोग किया। यह एक आठ-इकाई सर्वर है जिसमें 8 इंटेल E7-4870 प्रोसेसर और 512Gb बोर्ड पर रैम है।

टीम के अंदर, स्नेही उपनाम बेहेमोथ उससे चिपक गया।


14. हमारे हिप्पो। सच है, कुछ इसी तरह?


15. पीछे का दृश्य। निचले केंद्र में डरावनी केबल आंतरिक पुल बस का क्रॉस-कनेक्ट है


16. यह दो सर्वर लक्ष्यों में से एक है। प्रत्येक में 4 प्रोसेसर और 16 गीगाबाइट रैम के 16 स्लॉट हैं


17. ऐसे सर्वर के कंसोल में आराम से Htop का उपयोग करने के लिए, आपको एक बड़े मॉनिटर की आवश्यकता है :)

व्यवहार में, मिश्रित परीक्षण ने इस तरह के शक्तिशाली सर्वर को भी समान रूप से लोड किया है।
प्राप्त प्रदर्शन परिणामों पर पहुंचने के लिए, हमें क्लस्टर के आंतरिक नेटवर्क को 9k जंबो फ्रेम में स्थानांतरित करना होगा और बैलेंसरों और काम नोड्स के नेटवर्क स्टैक को थोड़ा ट्यून करना होगा (हम CentOS Linux का उपयोग करते हैं), साथ ही साथ काम नोड्स पर कई अन्य कर्नेल मापदंडों को अनुकूलित करते हैं:

 cat /etc/sysctl.conf … kernel.printk = 3 4 1 7 read_ahead_kb = 1024 write_expire = 250 read_expire = 250 fifo_batch = 128 front_merges = 0 net.core.wmem_default = 16777216 net.core.wmem_max = 16777216 net.core.rmem_default = 16777216 net.core.rmem_max = 16777216 net.core.somaxconn = 5120 net.core.netdev_max_backlog = 50000 net.ipv4.tcp_tw_reuse = 1 net.ipv4.tcp_rmem = 4096 87380 16777216 net.ipv4.tcp_wmem = 4096 65536 16777216 net.ipv4.tcp_slow_start_after_idle = 0 net.ipv4.tcp_max_syn_backlog = 30000 net.ipv4.tcp_max_tw_buckets = 2000000 fs.file-max = 196608 vm.overcommit_memory = 1 vm.overcommit_ratio = 100 vm.max_map_count = 65536 vm.dirty_ratio = 40 vm.dirty_background_ratio = 5 vm.dirty_expire_centisecs = 100 vm.dirty_writeback_centisecs = 100 net.ipv4.tcp_fin_timeout=10 net.ipv4.tcp_congestion_control=htcp net.ipv4.netfilter.ip_conntrack_max=1048576 net.core.rmem_default=65536 net.core.wmem_default=65536 net.core.rmem_max=16777216 net.core.wmem_max=16777216 net.ipv4.ip_local_port_range=1024 65535 

ट्यूनिंग से गुजरने वाली मुख्य सेटिंग्स बफ़र्स के आकार, नेटवर्क कनेक्शन की संख्या, पोर्ट से कनेक्शन की संख्या और फायरवॉल द्वारा मॉनिटर किए गए कनेक्शन, साथ ही टाइमआउट हैं।

सिस्को C3750 + LACP = दर्द
नेटवर्क प्रदर्शन में एक और नुकसान LACP / LAGp का उपयोग करते समय लोड संतुलन है। दुर्भाग्य से, सिस्को 3750s केवल स्रोत और गंतव्य पते पर बंदरगाहों पर लोड को संतुलित नहीं कर सकते हैं। सही ट्रैफ़िक संतुलन हासिल करने के लिए, मुझे काम करने वाले नोड्स के बॉन्ड-इंटरफेस पर 12 आईपी पते लटकाए जाने थे, जो ग्राहकों के प्रति "देख रहे थे"। सशर्त रूप से, प्रत्येक भौतिक लिंक के लिए 3। इस कॉन्फ़िगरेशन के साथ, कार्य नोड्स के "बाहरी" इंटरफेस पर LACP के बिना करना संभव था, क्योंकि सभी पते Nginx कॉन्फ़िगरेशन में निर्दिष्ट हैं, लेकिन तब यदि लिंक खो गया था तो हम संतुलन में नोड के वजन को स्वचालित रूप से कम कर देंगे। "डंप" के साथ, LACP लिंक आपको सभी पते तक पूर्ण पहुंच बनाए रखने की अनुमति देता है।

 bond0.10  Link encap:Ethernet  HWaddr XXX       inet addr:192.168.XX Bcast:192.168.XX  Mask:255.255.255.0       UP BROADCAST RUNNING MULTICAST  MTU:9000 Metric:1       RX packets:2390824140 errors:0 dropped:0 overruns:0 frame:0       TX packets:947068357 errors:0 dropped:0 overruns:0 carrier:0       collisions:0 txqueuelen:0       RX bytes:18794424755066 (17.0 TiB)  TX bytes:246433289523 (229.5 GiB) bond0.10:0 Link encap:Ethernet  HWaddr XXX       inet addr:192.168.XX  Bcast:192.168.XX Mask:255.255.255.0       UP BROADCAST RUNNING MULTICAST  MTU:9000 Metric:1 bond0.10:1 Link encap:Ethernet  HWaddr XXX       inet addr:192.168.XX Bcast:192.168.XX  Mask:255.255.255.0       UP BROADCAST RUNNING MULTICAST  MTU:9000 Metric:1 bond0.10:2 Link encap:Ethernet  HWaddr XXX       inet addr:192.168.XX Bcast:192.168.XX  Mask:255.255.255.0       UP BROADCAST RUNNING MULTICAST  MTU:9000 Metric:1 bond0.10:3 Link encap:Ethernet  HWaddr XXX       inet addr:192.168.XX  Bcast:192.168.XX Mask:255.255.255.0       UP BROADCAST RUNNING MULTICAST  MTU:9000 Metric:1 bond0.10:4 Link encap:Ethernet  HWaddr XXX       inet addr:192.168.XX Bcast:192.168.XX  Mask:255.255.255.0       UP BROADCAST RUNNING MULTICAST  MTU:9000 Metric:1 bond0.10:5 Link encap:Ethernet  HWaddr XXX       inet addr:192.168.XX  Bcast:192.168.XX Mask:255.255.255.0       UP BROADCAST RUNNING MULTICAST  MTU:9000 Metric:1 bond0.10:6 Link encap:Ethernet  HWaddr XXX       inet addr:192.168.XX  Bcast:192.168.XX Mask:255.255.255.0       UP BROADCAST RUNNING MULTICAST  MTU:9000 Metric:1 bond0.10:7 Link encap:Ethernet  HWaddr XXX       inet addr:192.168.XX  Bcast:192.168.XX Mask:255.255.255.0       UP BROADCAST RUNNING MULTICAST  MTU:9000 Metric:1 bond0.10:8 Link encap:Ethernet  HWaddr XXX       inet addr:192.168.XX  Bcast:192.168.XX Mask:255.255.255.0       UP BROADCAST RUNNING MULTICAST  MTU:9000 Metric:1 bond0.10:9 Link encap:Ethernet  HWaddr XXX       inet addr:192.168.XX Bcast:192.168.XXMask:255.255.255.0       UP BROADCAST RUNNING MULTICAST  MTU:9000 Metric:1 bond0.10:10 Link encap:Ethernet  HWaddr XXX       inet addr:192.168.XX  Bcast:192.168.XX Mask:255.255.255.0       UP BROADCAST RUNNING MULTICAST  MTU:9000 Metric:1 

कार्यात्मक परीक्षण

रिपॉजिटरी पर काम खत्म करने के बाद, हमने सर्विस फ्लेक्सिफाई.आईओ के साथ मुलाकात की। वे विभिन्न वस्तु भंडार के बीच प्रवास को सुविधाजनक बनाने में मदद करते हैं। लेकिन एक फ्लेक्सिफाई पार्टनर बनने के लिए, आपको गंभीर परीक्षण पास करने होंगे। "क्यों नहीं?" - हमने सोचा। तृतीय-पक्ष परीक्षण हमेशा एक पुरस्कृत अनुभव है।

परीक्षणों का मुख्य कार्य विभिन्न विन्यासों के संबंध में उनकी प्रॉक्सी के माध्यम से S3 प्रोटोकॉल विधियों के संचालन को सत्यापित करना है, जिसके बीच सेवा प्रदाता द्वारा समर्थित S3- संगत बाल्टियों का कोई भी सेट हो सकता है।

सबसे पहले, बाल्टी में वस्तुओं के साथ काम करने वाले तरीकों की जांच की जाती है। परीक्षण डेटा की एक विस्तृत श्रृंखला का उपयोग करके हमारे भंडारण का परीक्षण किया गया था, यूनिकोड वर्णों के सभी प्रकार के संयोजन वाले कुंजियों के लिए विभिन्न आकारों और सामग्रियों की वस्तुओं के लिए तरीकों के व्यवहार का परीक्षण किया गया था।

नकारात्मक परीक्षणों में, उन्होंने जहां भी संभव हो, अमान्य डेटा को स्थानांतरित करने का प्रयास किया। प्रक्रिया में डेटा की सुरक्षा पर विशेष ध्यान दिया गया था।

बाल्टी के साथ काम करने के तरीकों का भी परीक्षण किया गया है, लेकिन मुख्य रूप से सकारात्मक परिदृश्यों में। इन परीक्षणों का उद्देश्य यह सत्यापित करना था कि प्रॉक्सी के माध्यम से तरीकों का उपयोग करने से कोई गंभीर समस्या नहीं होती है, उदाहरण के लिए, डेटा भ्रष्टाचार या क्रैश।

कवरेज की चौड़ाई का अंदाजा उन परीक्षणों से लगाया जा सकता है, जिनका इस्तेमाल प्रॉक्सिस और सीधे दोनों के जरिए किया गया था। अधिकांश परीक्षण, विशेष रूप से जो वस्तुओं के साथ काम करते हैं, उन्हें बड़ी संख्या में अलग-अलग वस्तुओं, श्रेणियों आदि के लिए मानकीकृत और परीक्षण किया जाता है।





जैसा कि आप अनुमान लगा सकते हैं, यह काफी कठिन परीक्षा है, लेकिन हमने इसे आम तौर पर सकारात्मक रूप से पारित किया है। उस समय यूनिकोड समर्थन वाले एसएसई और छोटे स्कूलों के लिए समर्थन की कमी के कारण कुछ समस्याएं उत्पन्न हुईं:

युक्त कुंजियों के साथ अपलोड किया गया:

• U + 0000-U + 001F - पहले 32 अपठनीय नियंत्रण वर्ण। अमेज़ॅन पर, उदाहरण के लिए, केवल पहला यू + 0000 सीधे डाला नहीं जाता है।
  

• और U + 18D7C, U + 18DA8, U + 18DB4, U + 18DBA, U + 18DC4, U + 18DCE भी। ये भी अपठनीय वर्ण हैं, लेकिन अमेज़न उन्हें कुंजी के रूप में स्वीकार करता है। अन्य सभी पात्रों के साथ कोई समस्या नहीं थी।
  

बाल्टी की सामग्री को पढ़ते समय, 66,675 कुंजी पर एक समस्या होती है, जिसमें प्रतीक U + FFFE होता है। इस तरह की कुंजी के साथ एक वस्तु युक्त बाल्टी में चाबियों की पूरी सूची प्राप्त करना असंभव है।

अन्यथा, परीक्षण सफल रहे, और सितंबर के अंत में हम उपलब्ध आपूर्तिकर्ताओं की सूची में दिखाई दिए!

पाठकों के लिए एक छोटा आंगन और बोनस

इससे पहले, मैंने लिखा था कि क्लाउडियन हाइपरस्टोर अपने कई फायदे के बावजूद, इंटरनेट के रूसी भाषी क्षेत्र में व्यावहारिक रूप से शामिल नहीं है।

पहला लेख क्लाउडियन के साथ काम करने की मूल बातें के बारे में था। हमने इसकी आंतरिक संरचना, स्थापत्य की बारीकियों को बताया और आधिकारिक प्रलेखन का अनुवाद पढ़ा।

आज मैंने बताया कि हमने कैसे अपने भंडारण का निर्माण किया और हमें किन बारीकियों और नुकसानों का सामना करना पड़ा।

आप में से जो लोग पेन के साथ संपर्क करना चाहते हैं, जो हम लगातार 2 लेखों के बारे में बात कर रहे हैं, इस पेज पर फीडबैक फॉर्म का उपयोग कर सकते हैं और व्यक्तिगत रूप से पता लगा सकते हैं कि नमक क्या है। एक मानक के रूप में, हम उपयोगकर्ता की पहुंच के साथ, मुफ्त में 2 सप्ताह के लिए 15 जीबी देते हैं। यदि आपको भंडार के साथ काम करने के अपने छापों को साझा करने की इच्छा है, तो मुझे पीएम में लिखें। :)

और उन लोगों के लिए जो 2 सप्ताह के लिए पर्याप्त 15 जीबी नहीं हैं, हमारे पास एक छोटी सी खोज है! लेख में तस्वीरों में, हमने तीन हिप्पो रखे। उन्हें खोजने वाले पहले 50 लोग 4 सप्ताह के लिए 30 जीबी प्राप्त करेंगे। एक बढ़े हुए परीक्षण प्राप्त करने के लिए, टिप्पणियों में उन चित्रों की संख्या लिखें जहां हिप्पोस छिपी थी, और ऊपर दिए गए लिंक के लिए आवेदन करें। आवेदन में अपनी टिप्पणी का लिंक शामिल करना न भूलें।

परंपरा से, यदि आपके कोई प्रश्न हैं, तो उन्हें टिप्पणियों में पूछें।
मुझे उनका जवाब देने में खुशी होगी।