इंग्लैंड के वाइकिंग आक्रमण की शुरुआत के बाद से 1066, 200 से अधिक वर्ष बीत चुके हैं। राजा हेरोल्ड, शूरवीरों की एक टुकड़ी का संग्रह करते हुए, अपने नाम के सैनिकों के साथ निर्णायक लड़ाई के लिए डार्वेंट नदी तक पहुंचे - नार्वे के राजा हैराल्ड। बंदूकधारियों ने पर्याप्त नई पीढ़ी के कवच को बनाने के लिए एक महीने तक काम किया, जो नाइट को स्कैंडिनेवियाई कुल्हाड़ी की चपेट में आने से बचा सकता था। और टूर्नामेंटों में कितने प्रयोग और परीक्षण पहले हुए थे! लेकिन उम्मीद को अपने आप को उचित ठहराया जाना चाहिए - वाइकिंग हर्ड को तितर-बितर करने के लिए बड़े नुकसान के बिना हल्के, लेकिन विश्वसनीय उपकरण पैर पर भी अनुमति दी गई। और अंत में, वे स्टैमफोर्ड ब्रिज में मिले। चमकदार कवच में एक कमांडर के नेतृत्व में शूरवीरों की मुख्य टुकड़ी, दुश्मनों के साथ एक पुल के बीच में भिड़ गई। हाँ, पॉडगॉर्न मास्टर्स का स्टील झटका देता है!

धीरे-धीरे लेकिन निश्चित रूप से, वाइकिंग्स एक गोल-रॉबिन रक्षा के लिए आगे बढ़ रहे हैं। विजय निकट लगती है। और अंत में, युद्ध के मैदान पर, नाइट कमांडर और नॉर्वेजियन जार एक दूसरे को ढूंढते हैं।

दो-हाथ वाले जारल की कुल्हाड़ी पहले से ही टूटी हुई है और वह एक साधारण सैक्सन के साथ खुद का बचाव करने के लिए मजबूर है, जिसकी तुलना एक नाइट और आधा तलवार से नहीं की जा सकती। एक खंजर के साथ एक लहर - कमांडर के कवच के लिए यह एक पेनकेन की तरह है, लेकिन यह कवच से गुजरता है और ... ऐसा लगता है कि जादू खेल में आ गया है - पड़ोसी शूरवीरों का कवच बिखरा हुआ है! एक और लहर, फिर से निशाने पर, और अब बाईं ओर के शूरवीरों पर कवच अचानक लाल-गर्म चमकता है। तीसरा झटका - शूरवीर अपनी आंखों के सामने तैरते हैं, वे ठोकर खाते हैं, गिरते हैं, फिर कभी नहीं उठते।

"*** ** **** ****!" पेट्रोविच रोया, सोमवार को सुबह 5 बजे ठंडे पसीने में। सब कुछ पूरी तरह से गलत हो गया: शाम को 11 बजे वह टुंड्रा की प्रकृति पर बच्चे की रिपोर्ट के लिए सामग्री की तलाश में विकिपीडिया पर चढ़ गया, लेकिन रात के समय तक उसने किसी तरह से इंग्लैंड के वाइकिंग आक्रमण के विवरण पर खुद को पाया। और यह भी, सप्ताहांत पर वे अगली रिलीज की लड़ाई में थे, जो आज शुरू होनी चाहिए। हमेशा की तरह, हमने इसे लंबे समय तक और पूरी तरह से परीक्षण किया, इसे निरंतर एकीकरण प्रणालियों के माध्यम से एक लाख बार बढ़ाया, चाहे सब कुछ सुचारू रूप से हो ...

सौभाग्य से कुछ के लिए, लेकिन दुर्भाग्य से पीड़ितों के लिए, दूसरों की गलतियों से सीखने का अवसर है, घर पर कुछ सुधारने और आत्मविश्वास का एक अतिरिक्त हिस्सा पाने का। इस अनुवादित लेख के साथ हम एक बार फिर, अधिक विस्तार से, "हमारे" उद्योग में से एक मामले को याद करते हैं।

---

पिछले साल सम्मेलन में मैंने DevOps, कोड के रूप में कॉन्फ़िगरेशन और निरंतर वितरण के बारे में बात की थी। नीचे की कहानी का उपयोग करते हुए, मैंने DevOps / सतत वितरण पहल के हिस्से के रूप में पूरी तरह से स्वचालित और प्रतिलिपि प्रस्तुत करने योग्य तैनाती बनाने के महत्व को समझाया। सम्मेलन के बाद, कई लोगों ने मुझे एक ब्लॉग पर एक कहानी साझा करने के लिए कहा। यह बिलकुल सच्ची कहानी है। यह मेरे द्वारा पढ़ी गई बातों का प्रतिफलन है, मैंने स्वयं इसमें भाग नहीं लिया था।

इसलिए, लगभग 400 मिलियन डॉलर की संपत्ति के साथ एक कंपनी कैसे असफल तैनाती के कारण 45 मिनट में दिवालिया हो गई।

थोड़ी पृष्ठभूमि

नाइट कैपिटल ग्रुप (अंग्रेजी में "नाइट" का अर्थ है "नाइट") एक अमेरिकी वैश्विक वित्तीय कंपनी है जो बाजार बनाने, इलेक्ट्रॉनिक निष्पादन, संस्थागत बिक्री और व्यापार में लगी हुई है। 2012 में, नाइट NYSE और NASDAQ पर लगभग 17% की बाजार हिस्सेदारी के साथ नाइट सबसे बड़ा अमेरिकी स्टॉक व्यापारी था। नाइट के इलेक्ट्रॉनिक ट्रेडिंग ग्रुप (ईटीजी) ने प्रतिदिन 3.3 बिलियन से अधिक लेनदेन की औसत दैनिक ट्रेडिंग मात्रा का प्रबंधन किया, 21 बिलियन डॉलर से अधिक का व्यापार ... प्रति दिन। यह कोई मजाक नहीं है!

31 जुलाई, 2012 तक, नाइट के पास नकद और नकद समकक्ष में लगभग $ 365 मिलियन थे।

1 अगस्त 2012 को, NYSE ने एक नया रिटेल लिक्विडिटी प्रोग्राम, रिटेल लिक्विडिटी प्रोग्राम (रिटेल ब्रोकरों जैसे नाइट के माध्यम से खुदरा निवेशकों के लिए मूल्य निर्धारण में सुधार करने के लिए डिज़ाइन किया गया कार्यक्रम) लॉन्च करने की योजना बनाई। इस आयोजन की तैयारी में, नाइट ने अपने स्वचालित, उच्च गति, एल्गोरिथम राउटर एसएमएआरएस को अपडेट किया, जो निष्पादन के लिए बाजार में आवेदन भेजता है। एसएमएआरएस के मुख्य कार्यों में से एक नाइट्स ट्रेडिंग प्लेटफॉर्म ("पैरेंट" एप्लिकेशन) के अन्य घटकों से आवेदन प्राप्त करना है, इसके बाद निष्पादन के लिए एक या एक से अधिक "बच्चे" आवेदन भेजना है। दूसरे शब्दों में, एसएमएआरएस ट्रेडिंग प्लेटफॉर्म से बड़े ऑर्डर प्राप्त करेंगे और स्टॉक के लिए खरीदार / विक्रेता खोजने के लिए उन्हें कई छोटे लोगों में तोड़ देंगे। माता-पिता का आवेदन जितना बड़ा होगा, उतने ही अधिक बाल एप्लिकेशन बनाए जाएंगे।

SMARS अपडेट को "पॉवर पेग" नामक पुराने, अप्रयुक्त कोड को बदलना चाहिए था - इस कार्यक्षमता नाइट का उपयोग 8 वर्षों तक नहीं किया गया था (इतने लंबे समय तक कोड मृत क्यों था, कोड बेस में अभी भी एक रहस्य है, लेकिन यह मुख्य बात नहीं है)। अपडेट किए गए कोड ने पुराने ध्वज को पुन: असाइन किया जिसका उपयोग पावर खूंटी की कार्यक्षमता को सक्रिय करने के लिए किया गया था। कोड को अच्छी तरह से जांचा गया, सही तरीके से काम किया गया, और विश्वसनीय था। क्या गलत हो सकता है?

क्या गलत हो सकता है? और सच में!

27 जुलाई, 2012 और 31 जुलाई, 2012 के बीच, नाइट ने मैन्युअल रूप से प्रति दिन सीमित सर्वर पर नए सॉफ्टवेयर को तैनात किया - कुल आठ (8) सर्वर। यहाँ एसईसी दस्तावेज़ मैनुअल तैनाती के बारे में क्या कहता है (एसईसी सिक्योरिटीज एंड एक्सचेंज कॉमिशन, अमेरिकी शेयर बाजार नियामक है)।

“नए कोड की तैनाती के दौरान, नाइट कर्मचारियों में से एक ने आठ एसएमएआरएस सर्वरों में से एक में नए कोड की नकल नहीं की। नाइट ने इस तैनाती की दूसरी तकनीकी समीक्षा नहीं की, इसलिए आठवें सर्वर से पावर खूंटी कोड को हटाया नहीं गया, और नया आरएलपी कोड नहीं जोड़ा गया। कंपनी के पास पुन: परीक्षा की आवश्यकता नहीं है। ” रिलीज़ नंबर 70694, 16 अक्टूबर, 2013

1 अगस्त, 2012 को सुबह 9:30 बजे ईएसटी, बाजार खुले, और नाइट ने नए खुदरा तरलता कार्यक्रम में अपने ग्राहकों की ओर से दलाल-डीलरों से अनुरोध करना शुरू कर दिया। सात (7) सर्वर जो सही ढंग से तैनात किए गए थे, उन्होंने अनुप्रयोगों को सही ढंग से संसाधित करना शुरू कर दिया। और वे अनुप्रयोग जो आठवें सर्वर पर गए, संभवतः परिवर्तित ध्वज को सक्रिय कर दिया और पावर पेग को फिर से जीवित किया।

ज़ोंबी हमला: खूनी कोड

यहां आपको यह समझाने की आवश्यकता है कि "मृत" पावर खूंटी कोड की आवश्यकता क्यों थी। यह कार्यक्षमता माता-पिता के अनुरोध पर खरीदे / बेचे जाने वाले शेयरों की गिनती के लिए थी, क्योंकि बच्चे के आदेश पूरे हो गए हैं। पैरेंट एप्लिकेशन के निष्पादित होने के बाद, पावर पेग बच्चे के आवेदन जमा करने पर रोक लगाता है। सिद्धांत रूप में, Power Peg चाइल्ड ऑर्डर को ट्रैक करेगा और पेरेंट एप्लिकेशन के प्रोसेसिंग के बाद उनके निष्पादन को रोक देगा। 2005 में, नाइट ने कोड संचयन के पहले चरण में इस संचयी ट्रैकिंग कार्यक्षमता को वापस ले लिया (इस प्रकार पावर Peg से मात्रा ट्रैकिंग को हटा दिया गया)।

जब आठवें सर्वर पर पॉवर पेग ध्वज सक्रिय हो गया, तो पॉवर पेग ने निष्पादन के लिए बाल आदेशों को रूट करना शुरू कर दिया, लेकिन उन्हें मूल आदेश में शेयरों की संख्या के साथ सहसंबंधित नहीं किया - एक प्रकार का बंद लूप उत्पन्न हुआ

राक्षसी 45 मिनट

कल्पना करें: आपके पास एक ऐसी प्रणाली है जो बिना किसी ट्रैकिंग के स्वचालित उच्च गति वाले अनुप्रयोगों को बाजार में भेज सकती है और यह देखने की क्षमता है कि क्या पर्याप्त अनुप्रयोग पूर्ण हो चुके हैं। हां, सब कुछ इतना बुरा निकला।

जब सुबह 9:30 बजे बाजार खुला, तो लोगों को जल्दी से एहसास हुआ कि कुछ गलत था। सुबह 9:31 बजे तक, वॉल स्ट्रीट के कई लोगों ने महसूस किया कि कुछ गंभीर हो रहा था। सामान्य स्थिति, कुछ शेयरों के लिए ट्रेडिंग वॉल्यूम की तुलना में बाजार एक असामान्य के साथ बोलियों से भरा हुआ था। वॉल स्ट्रीट पर 9:32 तक, उन्होंने सोचा कि यह अपमान क्यों नहीं रुकता है। हाई-स्पीड ट्रेडिंग में लगभग हमेशा के लिए। किसी ने सिस्टम को मारने वाले बटन पर क्लिक क्यों नहीं किया? जैसा कि यह निकला, कोई स्विच नहीं था। ट्रेडिंग के पहले 45 मिनट के दौरान, नाइट से लेनदेन का निष्पादन ट्रेडिंग वॉल्यूम के 50% से अधिक हो गया, कुछ शेयरों को उनके मूल्य के 10% से अधिक बढ़ा दिया। नतीजतन, गलत लेनदेन के कारण अन्य स्टॉक मूल्य में गिर गए।

और मामले को बदतर बनाने के लिए, नाइट सिस्टम ने इन घटनाओं से पहले ही स्वचालित ई-मेल भेजना शुरू कर दिया - जैसे कि सुबह 8:01 बजे (जब एसएमएआरएस ने प्री-मार्केट ट्रेडिंग के लिए उपयुक्त ऑर्डर संसाधित किए)। संदेशों में, सिस्टम ने एसएमएआरएस को संदर्भित किया और त्रुटि दिखाई "पावर पैग अनुपलब्ध है।" सुबह 8:01 बजे से 9:30 बजे के बीच नाइट कर्मचारियों को 97 पत्र भेजे गए। बेशक, ये पत्र सिस्टम चेतावनियों की तरह नहीं दिखते थे, इसलिए कोई भी उन्हें तुरंत नहीं देखता था। ओह।

नारकीय 45 मिनट के लिए, नाइट ने गलत लेनदेन को रोकने की कोशिश की। सिस्टम को बंद करना संभव नहीं था (क्योंकि ऐसी स्थिति का जवाब देने के लिए कोई प्रलेखित प्रक्रियाएं नहीं थीं), इसलिए लाइव ट्रेडिंग स्थितियों में समस्या से निपटने की कोशिश करते हुए, वे बाजार में बने रहे, जहां हर मिनट 8 मिलियन शेयर बेचे गए। चूंकि कंपनी के कर्मचारी यह निर्धारित नहीं कर सकते थे कि गलत एप्लिकेशन कहां से आए, इसलिए उन्होंने सर्वर से नए कोड को हटा दिया जहां इसे सही तरीके से तैनात किया गया था। दूसरे शब्दों में, उन्होंने काम करने वाले कोड को हटा दिया और टूटे हुए को छोड़ दिया। इससे केवल सभी सर्वरों पर Power Peg कोड को सक्रिय करने के लिए अतिरिक्त पैतृक अनुरोधों के कारण होने वाली समस्याएं समाप्त हो गईं, और न केवल जहां कोड मूल रूप से गलत तरीके से तैनात किया गया था। अंत में, मैंने 45 मिनट के व्यापार के बाद सिस्टम को बंद करने में कामयाबी हासिल की।

जब व्यापार चल रहा था, पावर पैग कोड प्राप्त हुआ और 212 अभिभावकों के अनुरोध को संसाधित किया गया। नतीजतन, एसएमएआरएस ने लाखों सहायक कंपनियों को बाजार में भेजा, 397 मिलियन से अधिक शेयरों के साथ 154 लेनदेन में 4 मिलियन लेनदेन पूरा किया। शेयर बाजार के पारखी लोगों के लिए, इसका मतलब यह था कि नाइट ने $ 3.5 बिलियन के लिए 80 अलग-अलग कंपनियों के शेयर खरीदे और 74 कंपनियों के शेयरों को 3.15 बिलियन डॉलर में बेच दिया। गैर-पेशेवरों के दृष्टिकोण से, नाइट कैपिटल ग्रुप ने 45 मिनट में 460 मिलियन डॉलर खो दिए। लेकिन नाइट में केवल $ 365 मिलियन नकद और नकद समकक्ष हैं। 45 मिनट में, नाइट अमेरिकी शेयरों के सबसे बड़े व्यापारी और NYSE और NASDAQ पर एक प्रमुख बाजार निर्माता से दिवालिया हो गया। नुकसान को कवर करने के लिए आवश्यक राशि एकत्र करने के लिए उनके पास 48 घंटे थे (जो वे लगभग आधा दर्जन निवेशकों से $ 400 मिलियन के निवेश के लिए धन्यवाद करने में सक्षम थे)। अंततः, नाइट कैपिटल ग्रुप को गेटको एलएलसी (दिसंबर 2012 में) द्वारा अधिग्रहित किया गया था, और अब संयुक्त कंपनी को केसीजी होल्डिंग्स कहा जाता है।

आपको क्या निष्कर्ष निकालना है

1 अगस्त 2012 की घटनाओं को सभी विकास टीमों और परियोजना टीमों के लिए एक सबक होना चाहिए। यह महान सॉफ्टवेयर बनाने और इसे परखने के लिए पर्याप्त नहीं है; आपको यह भी सुनिश्चित करने की आवश्यकता है कि इसे सही तरीके से बाजार में पहुंचाया जाए ताकि आपके ग्राहकों को आपके द्वारा प्रदान किए जाने वाले मूल्य (और यह कि आप अपनी कंपनी को दिवालिया न करें) प्राप्त करें। इंजीनियर (एस) जिन्होंने एसएमएआरएस की तैनाती की है, वे न केवल इस तथ्य के लिए जिम्मेदार हैं कि नाइट में प्रक्रिया का पालन किया गया था, बल्कि जोखिमों को भी ध्यान में नहीं रखा गया था। प्रक्रिया (या इसकी अनुपस्थिति) स्पष्ट रूप से गलत थी। हर बार तैनाती प्रक्रिया इस बात पर निर्भर करती है कि लोग कैसे पढ़ते हैं और निर्देशों का पालन करते हैं, तो आप खुद को जोखिम में डालते हैं। लोग गलती करते हैं। निर्देश निर्देशों की व्याख्या में या उनके कार्यान्वयन में त्रुटियां हो सकती हैं।

लेआउट स्वचालित, प्रतिलिपि प्रस्तुत करने योग्य और यथासंभव मानवीय त्रुटियों से मुक्त होना चाहिए। यदि नाइट ने एक स्वचालित परिनियोजन प्रणाली - कॉन्फ़िगरेशन, स्वचालित परिनियोजन और परीक्षण का एक सेट लागू किया था - तो नाइट की दुःस्वप्न में बदल गई गलतियों से बचा जा सकता था।

यहां निरंतर वितरण के सिद्धांतों के एक जोड़े हैं (भले ही आप निरंतर वितरण की पूरी प्रक्रिया को लागू नहीं करते हैं):

• सॉफ्टवेयर रिलीज एक दोहराने योग्य और विश्वसनीय प्रक्रिया होनी चाहिए।
  
• सब कुछ आप कर सकते हैं स्वचालित।