7 दिन, 15 इंजीनियर और 600 सर्वर: Yandex.Money एक नए डेटा सेंटर में चला गया

हाल ही में, Yandex.Money संचालन विभाग में एक महत्वपूर्ण घटना हुई। हमारी कंपनी तेजी से बढ़ रही है, और यह पता चला है कि न केवल हमारे दिल, बल्कि डेटा सेंटर की मांग भी बदलती है। अधिक सटीक रूप से, स्थान परिवर्तन की आवश्यकता है। और अब तीन महीने के लिए, क्योंकि एक डेटा सेंटर एक नई जगह पर रहता है।

Yandex.Money एक नए डेटा सेंटर में कैसे चला गया, इसके बारे में, मैं आपको बताऊंगा, ऑपरेशन विभाग के प्रमुख, और इवान, आईटी इन्फ्रास्ट्रक्चर और आंतरिक सिस्टम विभाग के प्रमुख।

कटौती के तहत - घटनाओं का एक कालक्रम, चाल के महत्वपूर्ण मील के पत्थर, अप्रत्याशित मोड़ और डीब्रीफिंग। हम साझा करते हैं कि हम इससे कैसे बचे।

पुनर्वास के लिए आवश्यक शर्तें

इससे पहले, Yandex.Money डेटा केंद्रों में से एक मास्को के एक उपनगर में स्थित था। वास्तविकता यह है कि शहर के बाहर, ऑप्टिकल संचार चैनलों के सभी प्रदाताओं में केबल मार्गों को स्वतंत्र रूप से बिछाने की क्षमता नहीं है - यह महंगा है। और हमारे स्थानांतरित करने के निर्णय का पहला कारण इस तथ्य के कारण था कि पुराने डेटा सेंटर में संचार चैनल एक ही मार्गों से गुजरते थे, और इससे अतिरिक्त जोखिम होते थे।

मॉस्को रिंग रोड के अंदर कई प्रदाता हैं, और केबल सिस्टम अच्छी तरह से विकसित है। आप विभिन्न प्रदाताओं से चैनल खरीद सकते हैं जो अलग-अलग तरीकों से जाते हैं और ओवरलैप नहीं करते हैं। इस क्षेत्र में जोखिम बढ़े हुए हैं - उदाहरण के लिए, एक उत्खनन आएगा और एक ही बार में सभी पटरियों को खोद देगा।

दूसरे, पिछले डेटा सेंटर में तकनीकी सीमाएँ थीं, जिनमें समय-समय पर हमें बिजली आपूर्ति की समस्याओं का सामना करना पड़ता था।

लेकिन मुख्य कारण (= दर्द) विस्तार करने में असमर्थता है। इसका मतलब यह था कि इमारत अतिरिक्त रैक के लिए अंतरिक्ष से बाहर भाग गई, जहां नए उपकरण डालना संभव था। यह सीधे हमारे उत्पादक पर्यावरण से संबंधित है, क्योंकि Yandex.Money के दो डेटा केंद्र हैं और उन्हें क्षमता के संदर्भ में सममित होना चाहिए।

आयोजन

इस कदम के लिए तैयारी चरणों में विभाजित थी:

• प्रतियोगिताएं: डीसी, चैनल, नेटवर्क, रैक, पीडीयू, केबल;
• 2 डीसी के लिए आवेदन और डेटाबेस को स्थानांतरित करें;
• शिक्षण - डीसी को अक्षम करना;
• कोर नेटवर्क की नई वास्तुकला, IX;
• डीसी में एक नया नेटवर्क कोर स्थापित करना।

आपूर्तिकर्ता चयन

पहला Yandex.Money डेटा सेंटर मास्को में स्थित है। और बड़े नेटवर्क की देरी से बचने के लिए, हमने पहले के पास दूसरा डेटा सेंटर रखने का फैसला किया।

नेटवर्क की देरी को कम करने के लिए MKAD के भीतर और एक ही शहरी बुनियादी ढांचे और संभव तकनीकी या प्राकृतिक आपदाओं से दोनों डेटा केंद्रों की स्वतंत्रता सुनिश्चित करने के लिए पहली सुविधा के करीब 20 किमी से अधिक नहीं।

बाजार का विश्लेषण करते समय, हमें उपलब्धता और विश्वसनीयता के संदर्भ में डेटा केंद्रों के प्रमाणीकरण के रूप में इस तरह के एक महत्वपूर्ण मानदंड द्वारा निर्देशित किया गया था। रूस और दुनिया में सबसे आम मानक Uptime Institute द्वारा विकसित मानक है, जो दुनिया भर के डेटा केंद्रों का ऑडिट करता है। यह ध्यान देने योग्य है कि ऐसे कई डेटा सेंटर हैं जिन्होंने केवल प्रोजेक्ट डॉक्यूमेंटेशन को प्रमाणित किया है, लेकिन इसका मतलब यह नहीं है कि डेटा सेंटर स्वयं मानकों के अनुसार निर्मित, परीक्षण और संचालित है।

हमारे अभ्यास से एक मामला: मॉस्को में डेटा सेंटर सेवाओं के एक प्रदाता ने हमें घोषणा की कि डेटा सेंटर प्रोजेक्ट टीयर III मानक को पूरा करता है और प्रति वर्ष 0% डाउनटाइम के 100% उपलब्धता के वादे के साथ एक अनुबंध समाप्त करने की पेशकश करता है! व्यक्तिगत रूप से साइट का दौरा करने के बाद, हमने महसूस किया कि गुणवत्ता के स्तर की गारंटी देने वाले कोई आधिकारिक प्रमाणपत्र नहीं हैं, और बुनियादी ढांचा स्पष्ट रूप से टायर III पर आकर्षित नहीं होता है। डेटा सेंटर एक आवासीय भवन के भूतल पर स्थित था, और एकमात्र जनरेटर-ट्रेलर सड़क पर बिना किसी भौतिक सुरक्षा के खड़ा था।

इसलिए, प्रतियोगिता के लिए आवश्यकताओं में, हमने न केवल परियोजना का प्रमाणन, बल्कि कार्यान्वयन और प्रबंधन प्रक्रियाओं का प्रमाणीकरण भी शामिल किया।

इसके अलावा, हमने अपने डीसी और चैनलों के बीच ऑप्टिकल संचार चैनलों के आपूर्तिकर्ताओं के साथ यातायात विनिमय बिंदुओं (IX) के लिए निर्धारित किया है जहां हम प्रदाताओं या हमारे भागीदारों के साथ इंटरफेस की व्यवस्था करते हैं। मुख्य मानदंड यह था कि ऑप्टिकल संचार चैनल स्वतंत्र होना चाहिए, विभिन्न मार्गों के साथ जाना चाहिए।

और, ज़ाहिर है, अन्य खरीद भी थीं - मुख्य रूप से नेटवर्क उपकरण, रैक (सर्वर स्थापित करने के लिए विशेष अलमारियाँ), बिजली वितरण इकाई (बुद्धिमान बिजली वितरण इकाइयां), साथ ही साथ केबल और पैच डोरियां।

यह ध्यान देने योग्य है कि हम विशेष रूप से ध्यान से आपूर्तिकर्ता का चयन करते हैं जो उपकरण परिवहन करेगा। यह महत्वपूर्ण है कि कंपनी के पास सर्वरों के परिवहन का अनुभव है, और मूवर्स समझते हैं कि यह फर्नीचर और लोड नहीं है, और आपको ड्राइविंग करते समय भी विशेष रूप से सावधान रहना चाहिए। इसके अलावा, हमने परिवहन के दौरान क्षति के मामले में परिवहन किए गए उपकरणों का बीमा किया।

नेटवर्क इन्फ्रास्ट्रक्चर अपग्रेड

नेटवर्क के बुनियादी ढांचे के बारे में, हमारे पास दो विकल्प थे। पहला पुराने नेटवर्क उपकरण "जैसा है" को परिवहन करना है। दूसरा है पहले एक नए डेटा सेंटर में एक नया नेटवर्क इन्फ्रास्ट्रक्चर तैयार करना और उसके बाद ही सर्वर उपकरण ट्रांसपोर्ट करना।

चूँकि हम समझते थे कि हम पुराने डेटा सेंटर में नेटवर्क बैंडविड्थ को पहले ही '' रन '' कर चुके हैं और हमें कम से कम अगले 3-5 वर्षों के लिए रिज़र्व और स्केल करने की क्षमता की आवश्यकता है, इसलिए नए डेटा सेंटर में नेटवर्क इन्फ्रास्ट्रक्चर को स्क्रैच से अपग्रेड करने और नई पीढ़ी के उपकरणों के निर्माण का निर्णय लिया गया। ।

एक नए डेटा सेंटर में नेटवर्क का निर्माण करते समय हमने शास्त्रीय मॉडल का पालन किया। प्रत्येक रैक में, सर्वर दो एक्सेस स्विच से जुड़े होते हैं, जो बदले में, केंद्रीय एकत्रीकरण स्विच से जुड़े होते हैं (वे भी नेटवर्क के मूल हैं)।

शिक्षाओं

चलते समय, हमने एक बार में सब कुछ परिवहन करने और एक नई जगह पर चालू करने के लिए, डेटा सेंटर को पूरी तरह से बंद करने का फैसला किया। इसके लिए, कंपनी को सीखना था कि दो डेटा केंद्रों में से एक के बिना कैसे करें। इसने विभिन्न प्लेटफार्मों पर सूचना प्रणालियों के लिए, विभिन्न ऑपरेटिंग सिस्टमों पर, शेष डेटाबेस पर निर्बाध रूप से कार्य करने के लिए विभिन्न डेटाबेसों के साथ हमारे लगभग सभी व्यवस्थापकों की भागीदारी की आवश्यकता की।

सबसे महत्वपूर्ण सेवाओं के लिए, एक रिजर्व प्रदान किया गया था जो एक डेटा सेंटर के बंद होने के बावजूद भी उपलब्ध था।

आरक्षण कार्य पूरा करने के बाद, अभ्यास शुरू हुआ। सबसे पहले, हमने अलग-अलग नेटवर्क, सेगमेंट को डिस्कनेक्ट कर दिया और उसके बाद ही पूरी तरह से डेटा सेंटर। 2019 में, हमने 10 बार डेटा सेंटर का परीक्षण बंद किया - हमने देखा कि हमारी 300 सूचना प्रणाली कैसे व्यवहार करती हैं। बार-बार स्वायत्तता की जाँच करते हुए, हम आश्वस्त थे कि हम आसानी से डिस्कनेक्ट कर सकते हैं।

और फिर ...

सप्ताह एक्स

शुक्रवार को डेटा सेंटर में सभी उपकरणों को बंद करने के लिए निर्धारित किया गया था - नवीनतम रिलीज को सुबह में रोल आउट किया गया था, और फिर उन पर एक स्थगन की घोषणा की गई थी।

Yandex.Money में प्रति दिन 60 या उससे अधिक रिलीज़ हो सकते हैं, और ये सभी डेटा सेंटरों में आयोजित किए जाते हैं।

हमने रिलीज़ को रोक दिया, यह सुनिश्चित किया कि सिस्टम सख्ती से काम कर रहा है और हमारे घटकों में कोई फिक्स की आवश्यकता नहीं है। 15:00 से शुरू होकर, वे धीरे-धीरे सभी एप्लिकेशन, डेटाबेस और सर्वर को बुझाने लगे। शुक्रवार से शनिवार की रात के दौरान, हमने समय का इंतजार किया, हम आश्वस्त थे कि कुछ भी बुरा नहीं हो रहा था, जिसका अर्थ है कि हम जा सकते हैं। शनिवार की सुबह, 15 लोगों की एक टीम ने उपकरणों को विघटित करना शुरू किया और इसे नए डेटा सेंटर तक पहुँचाया।



उपकरणों को विघटित करने और परिवहन करने के लिए हमें शनिवार को पूरा दिन लगा। अगला, उपकरण स्थापित करने, स्विच करने, इसे बिजली की आपूर्ति से जोड़ने की प्रक्रिया शुरू हुई।



शनिवार की रात, हमने सर्वर के पहले बैच को माउंट और कनेक्ट किया। मुख्य कार्य रविवार से शुरू हुआ - सप्ताहांत की शाम तक लगभग सभी उपकरण स्थापित किए गए थे। और हमने सोमवार शाम को ही हंगामा खत्म कर दिया।



मंगलवार सुबह, हमने नेटवर्क, संचार चैनलों का अंतिम परीक्षण किया और हमारे सिस्टम को बढ़ाने के लिए तैयार थे। उन्होंने सर्वर के पहले बैच को उठाना शुरू किया, लेकिन कुछ गलत हो गया ...

हम प्रशासकों से बड़े पैमाने पर शिकायतें प्राप्त करने लगे कि नेटवर्क सर्वर में काम नहीं करता था: या तो पूरी तरह से, या दो इंटरफेस में से एक। उन्होंने ऑपरेटिंग सिस्टम की सेटिंग में, ऑपरेटिंग सिस्टम में, नेटवर्क उपकरण की तरफ समस्याओं की तलाश शुरू की।

लक्षण समान थे - वे इस बात पर गौर करने लगे कि इसका क्या कारण हो सकता है। हमने देखा कि यह स्विच पोर्ट के बगल में पैच डोरियों को आगे बढ़ने के लायक है और कुछ काम के लिंक बाहर निकल जाते हैं।



इसकी खोज के बाद, हमने महसूस किया कि इन पैच डोरियों (2000 के लगभग 40%) का एक महत्वपूर्ण हिस्सा दोषपूर्ण था। हमने एक और विश्वसनीय निर्माता के सभी उपलब्ध पैच डोरियों को एक नए डेटा सेंटर में स्थानांतरित कर दिया और तत्काल सबसे महत्वपूर्ण सर्वरों को फिर से जोड़ना शुरू कर दिया। एक और दिन लग गया।

बुधवार की शाम से गुरुवार सुबह तक, टीम ने सूचना प्रणाली के मुख्य ब्लॉक को उठाना शुरू कर दिया।

जब हमने महत्वपूर्ण सेवाओं को उठाया और भुगतान प्रणाली के रिजर्व को लॉन्च किया, तो हमने नए डेटा सेंटर के परीक्षण स्टैंड और बैकऑफ़िस सिस्टम के रिजर्व को शामिल किया ताकि हमारे सभी आंतरिक सिस्टम दो डेटा केंद्रों के साथ काम करें। सप्ताह के अंत तक, परिवहन डेटा केंद्र के लगभग पूरे आईटी बुनियादी ढांचे को लॉन्च किया गया था।

शुरुआत में, 5 दिनों के लिए एक योजना थी, लेकिन दोषपूर्ण पैच डोरियों से संबंधित आकस्मिक स्थिति के साथ, यह एक सप्ताह हो गया। नीचे हमने अपने कार्यों की समयरेखा को स्पष्ट रूप से चित्रित किया है।

स्थानांतरण योजना - लंबित:

• शुक्रवार - हम नेटवर्क और अनुप्रयोगों को बुझाते हैं;
• शनिवार - हम विधानसभा को ले जाते हैं और शुरू करते हैं;
• रविवार - सर्वर की स्थापना, नेटवर्क का शुभारंभ;
• सोमवार - हम नेटवर्क खत्म करते हैं, एप्लिकेशन लॉन्च करते हैं;
• मंगलवार - सब कुछ चालू करें।

वास्तविकता:

• शुक्रवार - हम नेटवर्क और अनुप्रयोगों को बुझाते हैं;
• शनिवार - हम विधानसभा को ले जाते हैं और शुरू करते हैं;
• रविवार - सर्वर की स्थापना, नेटवर्क का शुभारंभ;
• सोमवार - केबल बिछाने, नेटवर्क लॉन्च;
• मंगलवार - सर्वर चालू करें, 100+ काम नहीं करता है;
• बुधवार - तारों में शादी, प्रतिस्थापन , ऐप और डीबी का प्रक्षेपण;
• गुरुवार - पीएस के लिए प्रतिस्थापन समाप्त कर दिया, ऐप लॉन्च किया।

आगे बढ़ने के बाद का जीवन

हमें आगे बढ़ने से क्या मिला?
सबसे पहले, हमारे दोनों डेटा केंद्र अब टीयर III अपटाइम इंस्टीट्यूट स्तर हैं। डेटा केंद्रों के आपूर्तिकर्ता हमें 99.982% तक की उपलब्धता की एक स्तर की गारंटी देते हैं, जो प्रति वर्ष डाउनटाइम के 1.6 घंटे की राशि है। हम अपनी साइटों के बीच संचार चैनलों की विश्वसनीयता में विश्वास करते हैं। इसके अलावा अब हमारे आईटी बुनियादी ढांचे के विस्तार पर कोई प्रतिबंध नहीं हैं।

मूविंग के विचार ने हमें बैंडविड्थ के संदर्भ में नेटवर्क उपकरणों को अपग्रेड करने का एक शानदार अवसर दिया। हमने रैक में बिजली की आपूर्ति को भी बंद कर दिया - स्थापित "स्मार्ट पीडीयू", आरक्षित बिजली सर्वर।

और जब हम चले गए, तो हम स्विचिंग को "कंघी" करने में सक्षम थे, और अब यह neater दिखता है।



इसलिए, सामान्य तौर पर, सिस्टम अधिक स्थिर काम करना शुरू कर दिया, और हमारे ग्राहकों को बेहतर सेवा प्राप्त हुई।

आपने अपने लिए क्या निष्कर्ष निकाले हैं?
बड़ी परियोजनाओं का प्रदर्शन करते समय, आपको जोखिमों के बारे में सोचने की जरूरत है, कल्पना करें कि क्या नुकसान हो सकते हैं। ईथरनेट केबल्स के साथ हमारे उदाहरण से पता चला कि यह एक परीक्षण खरीद करने और चयनित निर्माता के केबल उत्पादों का परीक्षण करने के लिए पर्याप्त नहीं है। जोखिमों को कम करने के लिए, 2000 केबलों के बैच का यादृच्छिक परीक्षण करना आवश्यक था।

यह भी विचार करने योग्य है कि कुछ सर्वर इस कदम से बच नहीं सकते हैं और बस विभिन्न कारणों से चालू नहीं होते हैं। एक रास्ता या दूसरा, सड़क हिल रही है और यांत्रिक तनाव है। परिवहन किए गए उपकरणों की 600 इकाइयों में से 6 ब्लॉक टूट गए। पर्याप्त रूप से बड़ी संख्या में सर्वरों में से केवल 1% का ही नुकसान हुआ, एक भी डिस्क दुर्घटनाग्रस्त नहीं हुई - हमारा मानना ​​है कि यह एक उत्कृष्ट परिणाम है।

---

इस तरह Yandex.Money डेटा सेंटर एक नए स्थान पर चला गया। हमें उम्मीद है कि हमारा अनुभव आपको संभावित गलतियों से बचने में मदद करेगा और, शायद, आपको अन्य दिलचस्प समाधानों तक ले जाएगा।