अगर सर्वर "आग बुझाने" का धुआँ परीक्षण "आग बुझाने" पर करता है?

आप क्या महसूस करेंगे, अगर एक ठीक गर्मी के दिन, आपके उपकरण के साथ एक डेटा सेंटर इस तरह दिखाई देगा?



सभी को नमस्कार! मेरा नाम दिमित्री सैमसोनोव है, मैं ओडनोकलास्निक में एक प्रमुख प्रणाली प्रशासक के रूप में काम करता हूं। फोटो चार डेटा केंद्रों में से एक को दिखाता है जहां उपकरण जो हमारी परियोजना को कार्य करता है स्थापित किया गया है। इन दीवारों के पीछे लगभग 4 हजार यूनिट उपकरण हैं: सर्वर, डेटा स्टोरेज सिस्टम, नेटवर्क उपकरण, आदि। - हमारे सभी उपकरणों के लगभग all।
ज्यादातर सर्वर लिनक्स हैं। कई दर्जनों विंडोज सर्वर (एमएस SQL) हैं - हमारी विरासत, जिसे हम कई सालों से व्यवस्थित रूप से मना कर रहे हैं।
इसलिए, 5 जून 2019 को 14:35 पर हमारे एक डेटा सेंटर के इंजीनियरों ने आग लगने की सूचना दी।

इनकार

14:45। डेटा केंद्रों में मामूली धुँआदार घटनाओं की तुलना में वे आम हैं। हॉल के अंदर संकेतक सामान्य थे, इसलिए हमारी पहली प्रतिक्रिया अपेक्षाकृत शांत थी: हमने उत्पादन के साथ काम करने पर प्रतिबंध लगा दिया, अर्थात, किसी भी कॉन्फ़िगरेशन परिवर्तन पर, नए संस्करणों को बाहर करना, आदि, कुछ को ठीक करने से संबंधित कार्य को छोड़कर।

कोप

क्या आपने कभी अग्निशामकों से यह पता लगाने की कोशिश की है कि जहां छत पर आग लगी थी, या स्थिति का आकलन करने के लिए खुद को एक जलती हुई छत पर लाने के लिए? पांच लोगों के माध्यम से प्राप्त जानकारी में विश्वास की डिग्री क्या होगी?

14:50। जानकारी मिली है कि आग कूलिंग सिस्टम के पास पहुंच रही है । लेकिन क्या यह आएगा? ड्यूटी पर सिस्टम प्रशासक इस डेटा सेंटर के मोर्चों से बाहरी ट्रैफ़िक प्रदर्शित करता है।

फिलहाल, हमारी सभी सेवाओं के मोर्चों को तीन डेटा केंद्रों में डुप्लिकेट किया जाता है, DNS स्तर पर संतुलन का उपयोग किया जाता है, जो आपको DNS से ​​एक डेटा केंद्र के पते को हटाने की अनुमति देता है, जिससे उपयोगकर्ताओं को सेवाओं तक पहुंच के साथ संभावित समस्याओं से सुरक्षा मिलती है। इस घटना में कि डेटा सेंटर में समस्याएं पहले से ही हैं, यह स्वचालित रूप से रोटेशन को छोड़ देता है। अधिक विवरण यहां पाया जा सकता है: ओडनोक्लासनिक में लोड संतुलन और दोष सहिष्णुता।

आग ने अभी तक हमें किसी भी तरह से प्रभावित नहीं किया है - न तो उपयोगकर्ता और न ही उपकरण प्रभावित हुए हैं। क्या यह एक दुर्घटना है? दस्तावेज़ का पहला खंड "एक्सीडेंट एक्शन प्लान" "दुर्घटना" की अवधारणा को परिभाषित करता है, और यह खंड निम्नानुसार है:
“ अगर संदेह में, एक दुर्घटना या नहीं, तो यह एक दुर्घटना है! "

14:53। एक दुर्घटना समन्वयक नियुक्त किया जाता है।

एक समन्वयक एक ऐसा व्यक्ति है जो सभी प्रतिभागियों के बीच संचार को नियंत्रित करता है, दुर्घटना के पैमाने का अनुमान लगाता है, "दुर्घटना कार्य योजना" का उपयोग करता है, आवश्यक कर्मचारियों को आकर्षित करता है, मरम्मत के पूरा होने पर नज़र रखता है, और सबसे महत्वपूर्ण बात, किसी भी कार्य को दर्शाता है। दूसरे शब्दों में, यह वह व्यक्ति है जो दुर्घटना को समाप्त करने की पूरी प्रक्रिया का प्रबंधन करता है।

नीलाम

15:01। हम उन सर्वरों को डिस्कनेक्ट करना शुरू करते हैं जो उत्पादन से बंधे नहीं हैं।
15:03। सभी आरक्षित सेवाओं को सही ढंग से बंद करें।
इसमें न केवल मोर्चें शामिल हैं (जो इस बिंदु पर उपयोगकर्ता अब लॉग इन नहीं कर रहे हैं) और उनकी सहायक सेवाएं (व्यावसायिक तर्क, कैश आदि), लेकिन प्रतिकृति कारक 2 या अधिक के साथ विभिन्न डेटाबेस ( कैसेंड्रा , बाइनरी डेटा स्टोरेज) , कोल्ड स्टोरेज , NewSQL , आदि)।
15:06। जानकारी मिली है कि आग से डाटा सेंटर के एक हॉल को खतरा है। हमारे पास इस हॉल में उपकरण नहीं हैं, लेकिन यह तथ्य कि छत से हॉल तक आग फैल सकती है, जो भी हो रहा है उसकी तस्वीर को बहुत बदल देती है।
(बाद में यह पता चला कि हॉल से कोई शारीरिक खतरा नहीं था, क्योंकि यह छत से अलग-थलग था। यह खतरा केवल इस हॉल की शीतलन प्रणाली के लिए था।)
15:07। हम अतिरिक्त जांच के बिना ( हमारे पसंदीदा कैलकुलेटर के बिना ) त्वरित मोड में सर्वर पर कमांड के निष्पादन की अनुमति देते हैं।
15:08। कमरों में तापमान सामान्य सीमा के भीतर है।
15:12। हॉल में तापमान में वृद्धि दर्ज की गई।
15:13। डेटा सेंटर में आधे से अधिक सर्वर बंद हैं। हम जारी रखते हैं।
15:16। सभी उपकरणों को बंद करने का निर्णय लिया गया।
3:21 बजे। हम एप्लिकेशन और OS को ठीक से बंद किए बिना स्टेटलेस-सर्वर पर पावर को बंद करना शुरू करते हैं।
15:23। एमएस SQL ​​के लिए जिम्मेदार लोगों के एक समूह को बाहर कर दिया गया है (उनमें से कुछ हैं, उन पर सेवाओं की निर्भरता महान नहीं है, लेकिन पुनर्प्राप्ति प्रक्रिया में अधिक समय लगता है और उदाहरण के लिए, कैसंड्रा की तुलना में अधिक जटिल है)।

मंदी

15:25। 16 में से चार कमरे (नंबर 6, 7, 8, 9) में बिजली बंद करने के बारे में जानकारी प्राप्त की गई थी। 7 वें और 8 वें हॉल में हमारे उपकरण हैं। हमारे दो कमरों (नंबर 1 और 3) के बारे में अधिक जानकारी नहीं है।
आमतौर पर, आग के दौरान, बिजली तुरंत बंद हो जाती है, लेकिन इस मामले में, अग्निशामकों के समन्वित कार्य और डेटा सेंटर के तकनीकी कर्मियों के लिए धन्यवाद, इसे हर जगह बंद कर दिया गया और तुरंत नहीं, बल्कि आवश्यकतानुसार।
(बाद में यह पता चला कि हॉल 8 और 9 में बिजली बंद नहीं हुई थी।)
15:28। हम अन्य डेटा केंद्रों में बैकअप से MS SQL डेटाबेस को तैनात करना शुरू करते हैं।
इसमें कितना समय लगेगा? क्या पूरे मार्ग के लिए पर्याप्त नेटवर्क बैंडविड्थ है?
15:37। नेटवर्क के कुछ हिस्सों को बंद कर दिया।
प्रबंधन और उत्पादन नेटवर्क एक दूसरे से शारीरिक रूप से अलग-थलग हैं। यदि उत्पादन नेटवर्क उपलब्ध है, तो आप सर्वर पर जा सकते हैं, एप्लिकेशन को रोक सकते हैं और ओएस बंद कर सकते हैं। यदि यह उपलब्ध नहीं है, तो आप आईपीएमआई के माध्यम से जा सकते हैं, एप्लिकेशन को रोक सकते हैं और ओएस बंद कर सकते हैं। यदि कोई नेटवर्क नहीं है, तो आप कुछ भी नहीं कर सकते। "धन्यवाद टोपी!" आप सोचेंगे।
"वैसे भी, बहुत भ्रम है," आप भी सोच सकते हैं।
बात यह है कि आग के बिना भी सर्वर गर्मी की एक बड़ी मात्रा उत्पन्न करते हैं। अधिक सटीक रूप से, जब शीतलन होता है, तो वे गर्मी उत्पन्न करते हैं, और जब कोई नहीं होता है, तो वे नारकीय नरक बनाते हैं, जो सबसे अच्छे रूप में कुछ उपकरणों को पिघला देगा और दूसरे को बंद कर देगा, और सबसे खराब ... यह हॉल के अंदर आग का कारण होगा, जो लगभग सब कुछ नष्ट कर देगा।



15:39। हम विश्वास डेटाबेस के साथ समस्याओं को ठीक करते हैं।

Conf डेटाबेस उसी नाम की सेवा के लिए बैकएंड है, जिसका उपयोग सभी उत्पादन अनुप्रयोगों द्वारा सेटिंग्स को जल्दी से बदलने के लिए किया जाता है। इस आधार के बिना, हम पोर्टल को नियंत्रित नहीं कर सकते, लेकिन पोर्टल ही काम कर सकता है।

15:41। कोर नेटवर्क उपकरण रिकॉर्ड रीडिंग पर तापमान सेंसर अधिकतम अनुमेय के करीब। यह एक बॉक्स है जो एक पूरे रैक पर कब्जा कर लेता है और डेटा सेंटर के अंदर सभी नेटवर्क के संचालन को सुनिश्चित करता है।



15:42। इश्यू ट्रैकर और विकी उपलब्ध नहीं हैं, स्टैंडबाय पर स्विच करें।
यह उत्पादन नहीं है, लेकिन एक दुर्घटना में, किसी भी ज्ञान के आधार की उपलब्धता महत्वपूर्ण हो सकती है।
15:50। निगरानी प्रणालियों में से एक को काट दिया गया है।
उनमें से कई हैं, और वे सेवाओं के काम के विभिन्न पहलुओं के लिए जिम्मेदार हैं। उनमें से कुछ को प्रत्येक डेटा सेंटर के अंदर स्वायत्त रूप से काम करने के लिए कॉन्फ़िगर किया गया है (अर्थात, वे केवल अपने डेटा सेंटर की निगरानी करते हैं), जबकि अन्य में वितरित घटक शामिल होते हैं जो पारदर्शी रूप से किसी भी डेटा सेंटर के नुकसान से बचे रहते हैं।
इस मामले में, मास्टर-स्टैंडबाय मोड में काम करने वाले व्यावसायिक तर्क संकेतकों में विसंगतियों का पता लगाने की प्रणाली ने काम करना बंद कर दिया है। स्टैंडबाय पर स्विच करें।

स्वीकार

15:51। IPMI के माध्यम से, MS SQL को छोड़कर सभी सर्वर एक सही शटडाउन के बिना बंद कर दिए गए थे।
यदि आवश्यक हो तो क्या आप IPMI के माध्यम से बड़े पैमाने पर सर्वर प्रबंधन के लिए तैयार हैं?

---

उसी क्षण जब इस स्तर पर डेटा सेंटर में उपकरणों का बचाव पूरा हो जाता है। जो किया जा सकता था वह सब किया जा चुका है। कुछ सहकर्मी आराम कर सकते हैं।

---

16:13। ऐसी जानकारी थी कि एयर कंडीशनर से फ्रीऑन ट्यूब छत पर फट जाती हैं - इससे आग को खत्म करने के बाद डेटा सेंटर के लॉन्च में देरी होगी।
16:19। डेटा सेंटर के तकनीकी कर्मचारियों से प्राप्त आंकड़ों के अनुसार, हॉल में तापमान में वृद्धि बंद हो गई।
17:10। गोपनीय डेटाबेस के काम को बहाल किया। अब हम एप्लिकेशन सेटिंग बदल सकते हैं।
अगर सबकुछ दोषपूर्ण है और बिना किसी डेटा सेंटर के भी काम करता है तो यह इतना महत्वपूर्ण क्यों है?
सबसे पहले, सभी दोष सहिष्णु नहीं है। विभिन्न माध्यमिक सेवाएं हैं जो डेटा सेंटर की विफलता को अच्छी तरह से जीवित नहीं करती हैं, और मास्टर-स्टैंडबाय मोड में आधार हैं। सेटिंग्स को प्रबंधित करने की क्षमता आपको मुश्किल परिस्थितियों में भी उपयोगकर्ताओं पर दुर्घटना के परिणामों के प्रभाव को कम करने के लिए आवश्यक सब कुछ करने की अनुमति देती है।
दूसरे, यह स्पष्ट हो गया कि अगले कुछ घंटों में डेटा सेंटर पूरी तरह से ठीक नहीं होगा, इसलिए यह उपाय करना आवश्यक था ताकि प्रतिकृतियों की दीर्घकालिक अनुपलब्धता से अतिरिक्त डेटा केंद्रों में डिस्क ओवरफ्लो जैसी अतिरिक्त परेशानी न हो।
17:29। पिज्जा समय! हमारे पास काम करने वाले लोग हैं, न कि रोबोट।

पुनर्वास

18:02। कमरा नंबर 8 (हमारा), 9, 10 और 11 में, तापमान स्थिर हो गया। उनमें से एक जो डिस्कनेक्ट हो गया है (नंबर 7), हमारे उपकरण स्थित हैं, और वहां तापमान में वृद्धि जारी है।
18:31। उन्होंने हॉल में उपकरणों को लॉन्च करने के लिए हरी बत्ती दी। नं। 1 और 3 - आग ने इन हॉलों को प्रभावित नहीं किया।

---

वर्तमान में, हॉल नंबर 1, 3, 8 में सर्वर लॉन्च किए जा रहे हैं, जो सबसे महत्वपूर्ण है। सभी चल रही सेवाओं के सही संचालन की जाँच करता है। कमरा 7 के साथ अभी भी समस्याएं हैं।

---

18:44। डेटा सेंटर के तकनीकी कर्मचारियों ने पाया कि हॉल नंबर 7 (जहां केवल हमारे उपकरण स्थित हैं) में, कई सर्वर बंद नहीं हैं। हमारे डेटा के अनुसार, 26 सर्वर वहां रहते हैं। पुनः जाँच के बाद, हमें 58 सर्वर मिलते हैं।
20:18। डेटा सेंटर के तकनीकी कर्मचारी गलियारों के माध्यम से रखे गए मोबाइल नलिकाओं के माध्यम से बिना एयर कंडीशनिंग के कमरे में हवा उड़ाते हैं।
23:08। उन्होंने पहले एडमिन को घर जाने दिया। कल काम जारी रखने के लिए किसी को रात में सोने की जरूरत है। इसके बाद, हम प्रवेशकों और डेवलपर्स का एक और हिस्सा जारी करते हैं।
02:56। हमने वह सब कुछ लॉन्च किया जो लॉन्च किया जा सकता था। हम ऑटोटेस्ट के साथ सभी सेवाओं की एक बड़ी जांच करते हैं।



03:02 a.m. आखिरी में एयर कंडीशनिंग, 7 वीं हॉल बहाल।
03:36। वे DNS में रोटेशन में डेटा सेंटर में मोर्चों को लाए। इस क्षण से, उपयोगकर्ता ट्रैफ़िक आने लगता है।
हम अधिकांश गृह व्यवस्थापकों की टीम को भंग कर देते हैं। लेकिन हम कुछ लोगों को छोड़ देते हैं।

छोटे सामान्य प्रश्न:
प्रश्न: 18:31 से 02:56 तक क्या हुआ?
A: "एक्सीडेंट एक्शन प्लान" के बाद, हम सभी सेवाओं को लॉन्च करते हैं, जो सबसे महत्वपूर्ण हैं। उसी समय, चैट में समन्वयक एक निशुल्क प्रशासक को एक सेवा देता है, जो यह जांचता है कि क्या ओएस और आवेदन शुरू हो गए हैं, अगर कोई त्रुटियां हैं, या संकेतक सामान्य हैं। लॉन्च पूरा होने के बाद, वह चैट को सूचित करता है कि वह स्वतंत्र है और समन्वयक से एक नई सेवा प्राप्त करता है।
प्रक्रिया इसके अतिरिक्त विफल लोहे द्वारा बाधित है। भले ही सर्वर का OS शटडाउन और शटडाउन सही था, लेकिन कुछ सर्वर अचानक विफल ड्राइव, मेमोरी या चेसिस के कारण वापस नहीं आते हैं। बिजली की हानि के साथ, विफलता दर बढ़ जाती है।
प्रश्न: आप केवल एक बार में सब कुछ शुरू क्यों नहीं कर सकते हैं, और फिर निगरानी से क्या निकलता है?
एक: सब कुछ धीरे-धीरे किया जाना चाहिए, क्योंकि सेवाओं के बीच निर्भरताएं हैं। और निगरानी के लिए इंतजार किए बिना, सब कुछ तुरंत जांचा जाना चाहिए - क्योंकि समस्याओं से तुरंत निपटना बेहतर है, उनके उत्थान की प्रतीक्षा न करें।

सुबह 7:40 बजे। अंतिम व्यवस्थापक (समन्वयक) बिस्तर पर चले गए। पहले दिन का काम पूरा हो गया है।
सुबह 8:09 बजे। पहले डेवलपर्स, डेटा सेंटरों में प्रशासक और प्रशासक (नए समन्वयक सहित) ने बहाली का काम शुरू किया।
09:37। हमने हॉल नंबर 7 (अंतिम) को उठाना शुरू कर दिया।
उसी समय, हम दूसरे कमरों में जो कुछ भी खत्म नहीं कर रहे हैं, उसे बहाल करना जारी रखते हैं: डिस्क / मेमोरी / सर्वर को बदलना, निगरानी में आग लगने वाली हर चीज को ठीक करना, मास्टर-स्टैंडबाय सर्किट में रिवर्स स्विचिंग स्विच, और अन्य छोटी चीजें, जो काफी हद तक ठीक हैं।
17:08। उत्पादन के साथ सभी नियमित काम की अनुमति दें।
21:45। दूसरे दिन का काम पूरा हुआ।
09:45। आज शुक्रवार है। निगरानी में अभी भी कुछ मामूली मुद्दे हैं। सप्ताहांत से पहले, हर कोई आराम करना चाहता है। हम हर उस चीज़ की बड़े पैमाने पर मरम्मत करना जारी रखते हैं जो संभव है। नियमित व्यवस्थापन कार्य जिन्हें स्थगित किया जा सकता है स्थगित कर दिया गया है। समन्वयक नया है।
15:40। अचानक, अन्य डेटा केंद्र में नेटवर्क उपकरण के कोर स्टैक का आधा फिर से शुरू हो गया। जोखिम को कम करने के लिए रोटेशन से मोर्चों को हटा दिया गया। उपयोगकर्ताओं के लिए कोई प्रभाव नहीं है। बाद में यह पता चला कि यह एक खराब चेसिस था। समन्वयक एक साथ दो दुर्घटनाओं को ठीक करने के साथ काम करता है।
17:17। एक अन्य डेटा सेंटर में नेटवर्क को पुनर्स्थापित किया जाता है, सब कुछ जांचा जाता है। डाटा सेंटर रोटेशन में है।
18:29। तीसरे दिन का काम और, सामान्य रूप से, दुर्घटना से वसूली पूरी हो जाती है।

अंतभाषण

04/04/2013, 404 वीं त्रुटि के दिन , Odnoklassniki सबसे बड़ी दुर्घटना से बच गया - तीन दिनों के लिए पोर्टल पूरी तरह से या आंशिक रूप से अनुपलब्ध था। इस पूरे समय में, अलग-अलग कंपनियों के 100 से अधिक लोग, विभिन्न कंपनियों (धन्यवाद फिर से!) से, हजारों सर्वरों को दूरस्थ रूप से और सीधे डेटा केंद्रों में, मैन्युअल रूप से और स्वचालित रूप से मरम्मत की गई थी।
हमने निष्कर्ष निकाले हैं। इसे फिर से होने से रोकने के लिए, हमने आज तक व्यापक कार्य किए हैं।

वर्तमान दुर्घटना और 404 के बीच मुख्य अंतर क्या हैं?

• हमें एक "आपातकालीन कार्य योजना" मिली है। एक बार एक चौथाई के बाद, हम अभ्यास करते हैं - हम एक आपातकाल खेलते हैं, जिसे प्रशासकों के एक समूह (सभी को बदले में) को "आपातकालीन कार्य योजना" का उपयोग करना चाहिए। अग्रणी प्रणाली प्रशासक समन्वयक की भूमिका के लिए काम करते हैं।
• परीक्षण मोड में त्रैमासिक, LAN और WAN पर डेटा केंद्रों (बदले में) को अलग करें, जो आपको समय पर बाधाओं की पहचान करने की अनुमति देता है।
• कम खराब ड्राइव, क्योंकि हमारे पास मानक कड़े हैं: कम चलने वाले घंटे, स्मार्ट थ्रेशोल्ड के लिए SMART,
• पूरी तरह से छोड़ दिया गया बर्कलेबीडी - एक पुराना और अस्थिर डेटाबेस जिसे सर्वर पुनरारंभ से पुनर्प्राप्त करने के लिए बहुत समय की आवश्यकता थी।
• MS SQL के साथ सर्वर की संख्या कम करें और शेष पर निर्भरता कम करें।
• हमें अपने स्वयं के क्लाउड - वन-क्लाउड मिल गए हैं , जहां हम पिछले दो वर्षों से सभी सेवाओं को सक्रिय रूप से स्थानांतरित कर रहे हैं। क्लाउड एप्लिकेशन के साथ काम के पूरे चक्र को बहुत सरल करता है, और दुर्घटना की स्थिति में इस तरह के अनोखे उपकरण दिए जाते हैं:
  
  • सही एक क्लिक में सभी अनुप्रयोगों को रोकने;
  • विफल सर्वर से सरल अनुप्रयोग माइग्रेशन;
  • स्वचालित रैंकिंग (सेवाओं की प्राथमिकता के क्रम में) एक संपूर्ण डेटा केंद्र शुरू करना।

इस लेख में वर्णित दुर्घटना 404 दिन के बाद सबसे बड़ी बन गई। बेशक, सब कुछ आसानी से नहीं हुआ। उदाहरण के लिए, किसी अन्य डेटा केंद्र में डेटा सेंटर-बर्नर की अनुपलब्धता के दौरान, सर्वर में से एक पर एक डिस्क क्रैश हो गई, अर्थात, कैसंड्रा क्लस्टर में तीन प्रतिकृतियों में से केवल एक ही उपलब्ध थी, जिसके कारण 4.2% मोबाइल एप्लिकेशन उपयोगकर्ता लॉग इन नहीं कर सकते। । इसी समय, पहले से ही जुड़े उपयोगकर्ताओं ने काम करना जारी रखा। कुल में, दुर्घटना के परिणामों के अनुसार 30 से अधिक समस्याओं की पहचान की गई - केले के कीड़े से लेकर सेवा वास्तुकला दोषों तक।

लेकिन वर्तमान दुर्घटना और 404 वें के बीच मुख्य अंतर यह है कि जब हमने आग के परिणामों को समाप्त कर दिया, तब भी उपयोगकर्ताओं ने टैमटम में पत्राचार किया और वीडियो कॉल किए, गेम खेले, संगीत सुने, एक-दूसरे को उपहार दिए, वीडियो, टीवी शो और टीवी चैनल देखे। ओके , और ओके लाइव पर भी स्ट्रीम किया गया।

आपकी दुर्घटनाएँ कैसे हो रही हैं?