असफल सॉफ्टवेयर परिनियोजन क्रैश क्लाउडफ़ेयर सेवा

यह एक छोटा सा अस्थायी लेख है, जिसे बाद में आज जो हुआ उसके बारे में पूर्ण विश्लेषण और संपूर्ण जानकारी दी जाएगी।

आज, लगभग 30 मिनट के लिए, Cloudflare साइटों के विज़िटर हमारे नेटवर्क के CPU लोड में तेज उछाल के कारण त्रुटि 502 देख सकते हैं। यह एक विफल सॉफ़्टवेयर परिनियोजन के कारण था। हमने परिवर्तनों को वापस ले लिया, और अब सेवा पहले की तरह कार्य कर रही है, और क्लाउडफ़ेयर का उपयोग करने वाले सभी डोमेन सामान्य ट्रैफ़िक स्तरों पर लौट आए हैं।

हम आपको विश्वास दिलाते हैं कि कोई हमला नहीं हुआ था, और जो कुछ हुआ उसके लिए हम अपनी गहरी क्षमायाचना करते हैं। हमारे डेवलपर्स पहले से ही त्रुटियों का एक विस्तृत विश्लेषण कर रहे हैं और यह पता लगाने की कोशिश कर रहे हैं कि भविष्य में ऐसी घटनाओं से बचने के लिए क्या किया जाना चाहिए।

20:09 UTC पर पोस्ट किया गया:

आज 13:42 पर UTC को हमारे नेटवर्क में विफलता का पता चला, जिसके परिणामस्वरूप Cloudflare डोमेन के विज़िटर ने त्रुटि 502 ("बैड गेटवे") देखी। इस विफलता का कारण Cloudflare Web Application Firewall (WAF) में एक गलत नियम के लागू होने के बाद नए Cloudflare WAF प्रबंधित नियमों को लागू करने की मानक प्रक्रिया के दौरान किया गया था।

नए नियमों को हैकर हमलों में प्रयुक्त एम्बेडेड जावास्क्रिप्ट के अवरुद्ध तंत्र में सुधार करने के लिए डिज़ाइन किया गया था। इन नियमों को सिमुलेशन मोड में तैनात किया गया था, जिसमें त्रुटियों को आमतौर पर पता लगाया जाता है और उपयोगकर्ता यातायात को अवरुद्ध किए बिना लॉग इन किया जाता है, जो हमें झूठी सकारात्मक की संख्या को मापने और यह सुनिश्चित करने की अनुमति देता है कि इस परियोजना के ढांचे के भीतर तैनात होने पर नए नियम ठीक से काम करेंगे।

दुर्भाग्य से, इन नियमों में से एक में एक नियमित अभिव्यक्ति थी, जिसके कारण हमारे कंप्यूटर पर हर जगह 100% तक सीपीयू लोड होता था। यह इस छलांग के कारण है कि हमारी सेवा के उपयोगकर्ताओं ने 502 त्रुटि देखी, और यातायात 82% तक गिर गया।

नीचे दिया गया ग्राफ़ हमारे PoPs में से एक पर CPU लोड जम्प दिखाता है:

पहली बार हमें सीपीयू संसाधनों की पूर्ण थकावट की समस्या का सामना करना पड़ा, जो हमारे लिए बेहद अप्रत्याशित था।

हम अपने नेटवर्क में लगातार सॉफ्टवेयर की तैनाती कर रहे हैं और अप्रिय परिस्थितियों को रोकने के लिए पहले से ही परीक्षण और चरणबद्ध तैनाती प्रक्रिया के लिए स्वचालित सिस्टम विकसित कर चुके हैं। दुर्भाग्य से, डब्ल्यूएएफ नियमों की वैश्विक तैनाती एक बंद प्रक्रिया थी, जो आज की विफलता का कारण बनी।

14:02 UTC में, हमने महसूस किया कि क्या हुआ था और WAF नियम सेट को पूरी तरह से अक्षम करने का निर्णय लिया, जिसने तुरंत सीपीयू लोड को सामान्य कर दिया और यातायात को बहाल किया। हमने इसे 14:09 UTC पर किया था।

उसके बाद, हमने समस्याग्रस्त पुल अनुरोध का विश्लेषण किया, प्रासंगिक नियमों में परिवर्तन वापस किए, हमारे कार्यों का परीक्षण किया 100% सुनिश्चित करें कि त्रुटि सही पाई गई थी, और फिर 14:52 पर WAF नियम सेट को बहाल किया।

हम जानते हैं कि इन घटनाओं से हमारे उपयोगकर्ताओं को कितना नुकसान होता है। इस मामले में, हमारे परीक्षण तंत्र ने कार्य के साथ सामना नहीं किया, और हम पहले से ही इसे सुधारने और तैनाती प्रक्रिया का अनुकूलन करने के लिए काम कर रहे हैं ताकि भविष्य में इसी तरह की त्रुटियों से बचा जा सके।