कैसे AWS अपनी लचीली सेवाओं काढ़ा करता है। सर्वर और डेटाबेस स्केलिंग

बादल एक जादू के बक्से की तरह होते हैं - आप पूछते हैं कि आपको क्या चाहिए, और संसाधन अभी कहीं नहीं दिखाई देते हैं। वर्चुअल मशीन, डेटाबेस, एक नेटवर्क - यह सब केवल आपके लिए है। बादल के अन्य किरायेदार हैं, लेकिन आपके ब्रह्मांड में आप एकमात्र शासक हैं। आपको यकीन है कि आपको हमेशा आवश्यक संसाधन प्राप्त होंगे, आप किसी के साथ भी नहीं सोचते हैं और स्वतंत्र रूप से निर्धारित करते हैं कि नेटवर्क क्या होगा। यह कैसा जादू है जो बादल को संसाधनों को आवंटित करता है और किरायेदारों को एक दूसरे से पूरी तरह से अलग करता है।



AWS क्लाउड एक मेगा-परिष्कृत प्रणाली है जो 2006 से विकसित हो रही है। इस विकास का एक हिस्सा अमेज़ॅन वेब सर्विसेज के वास्तुकार वासिली पेंट्युकिन द्वारा पाया गया था। एक वास्तुकार के रूप में, वह न केवल अंतिम परिणाम के भीतर से देखता है, बल्कि यह भी चुनौती देता है कि AWS खत्म हो गई है। प्रणाली की जितनी अधिक समझ होगी, उतना ही आत्मविश्वास होगा। इसलिए, वासिली AWS क्लाउड सेवाओं के रहस्यों को साझा करेंगे। कटौती के तहत AWS भौतिक सर्वर, लचीला डेटाबेस स्केलेबिलिटी, अमेज़ॅन कस्टम डेटाबेस और वर्चुअल मशीन के प्रदर्शन को बढ़ाने के तरीकों के लिए उपकरण है, जबकि इसकी कीमत को कम करता है। अमेज़ॅन के वास्तुशिल्प दृष्टिकोण का ज्ञान आपको एडब्ल्यूएस सेवाओं का बेहतर उपयोग करने में मदद करेगा और अपने स्वयं के समाधान के निर्माण के लिए नए विचार प्रदान कर सकता है।

अध्यक्ष के बारे में: वासिली पेंट्युकिन ( हेन ) ने यूनिक्स व्यवस्थापक इनोव कंपनियों के रूप में शुरुआत की, 6 साल बड़े सन माइक्रोसिस्टम्स ग्रंथियों में काम करने में बिताए, और 11 वर्षों तक उन्होंने ईएमसी में दुनिया के डेटा-केंद्रितता का प्रचार किया। स्वाभाविक रूप से निजी बादलों में विकसित हुआ, और 2017 में सार्वजनिक बादलों में बदल गया। अब तकनीकी युक्तियों के साथ, वह AWS क्लाउड में रहने और विकसित होने में मदद करता है।

अस्वीकरण: नीचे दी गई सब कुछ वसीली की निजी राय है, और यह अमेज़न वेब सेवाओं की स्थिति से मेल नहीं खा सकता है। रिपोर्ट का एक वीडियो जिसके आधार पर लेख बनाया गया था, वह हमारे YouTube चैनल पर उपलब्ध है।

मैं अमेज़न डिवाइस की बात क्यों कर रहा हूँ

मेरी पहली कार एक मैनुअल गियरबॉक्स पर "हैंडल" के साथ थी। यह महसूस करने के कारण महान था कि मैं मशीन को नियंत्रित कर सकता था और इसे पूरी तरह से नियंत्रित कर सकता था। मुझे यह भी पसंद है कि मैं कम से कम उसके काम के सिद्धांत को समझता हूं। स्वाभाविक रूप से, मैंने बॉक्स डिवाइस की काफी आदिम कल्पना की - लगभग एक साइकिल पर गियरबॉक्स की तरह।



सब कुछ अद्भुत था, सिवाय एक चीज के - ट्रैफिक जाम में खड़े होकर। ऐसा लगता है कि आप बैठे हैं और कुछ भी नहीं कर रहे हैं, लेकिन आप लगातार गियर शिफ्ट करते हैं, क्लच, गैस, ब्रेक दबाते हैं - आप वास्तव में इससे थक गए हैं। ट्रैफिक जाम की समस्या आंशिक रूप से हल हो गई जब परिवार में मशीन पर एक मशीन दिखाई दी। पहिये में कुछ सोचने, एक ऑडियोबुक सुनने के लिए समय था।

मेरे जीवन में एक रहस्य सामने आया, क्योंकि मैं आमतौर पर यह समझना बंद कर देता था कि मेरी कार कैसे काम करती है। एक आधुनिक कार एक जटिल उपकरण है। कार विभिन्न मापदंडों के साथ एक साथ दर्जनों को गोद लेती है: गैस, ब्रेक, ड्राइविंग शैली, सड़क की गुणवत्ता को दबाती है। मुझे अब समझ नहीं आया कि यह कैसे काम करता है।

जब मैंने अमेज़ॅन क्लाउड करना शुरू किया, तो वह भी मेरे लिए एक रहस्य था। केवल यह रहस्य अधिक परिमाण का एक आदेश है, क्योंकि कार में एक चालक है, और AWS में लाखों हैं। सभी उपयोगकर्ता एक साथ स्टीयर करते हैं, गैस पर प्रेस करते हैं और ब्रेक लगाते हैं। यह आश्चर्यजनक है कि वे जाते हैं जहां वे चाहते हैं - मेरे लिए यह एक चमत्कार है! सिस्टम स्वचालित रूप से adapts, तराजू, और लचीले ढंग से प्रत्येक उपयोगकर्ता को समायोजित करता है, ताकि यह उसे लगता है कि वह इस ब्रह्मांड में अकेला है।

जब मैं बाद में अमेज़ॅन में एक वास्तुकार के रूप में काम करने के लिए आया तो जादू थोड़ा फैल गया। मैंने देखा कि हम किन समस्याओं का सामना कर रहे हैं, हम उन्हें कैसे हल करते हैं, हम सेवाओं का विकास कैसे करते हैं। सिस्टम की समझ में वृद्धि के साथ, सेवा में अधिक विश्वास है। इसलिए मैं AWS क्लाउड के हुड के नीचे की एक तस्वीर साझा करना चाहता हूं।

हम किस बारे में बात करेंगे

मैंने एक विविध दृष्टिकोण चुना - मैंने 4 दिलचस्प सेवाओं का चयन किया, जिनके बारे में बात करने लायक है।

सर्वर अनुकूलन । एक भौतिक अवतार के साथ पंचांग बादलों: भौतिक डेटा केंद्र, जहां भौतिक सर्वर होते हैं जो गुलजार होते हैं, गर्म होते हैं और प्रकाश बल्ब झपकाते हैं।

सर्वरलेस फ़ंक्शंस (लैम्ब्डा) संभवतः क्लाउड में सबसे स्केलेबल सेवा है।

डेटाबेस स्केलिंग । हम इस बारे में बात करेंगे कि हम कैसे अपने स्वयं के स्केलेबल डेटाबेस का निर्माण करते हैं।

नेटवर्क स्केलिंग । अंतिम भाग जिसमें मैं हमारे नेटवर्क का उपकरण खोलूंगा। यह एक अद्भुत बात है - बादल के प्रत्येक उपयोगकर्ता का मानना ​​है कि वह बादल में अकेला है और अन्य किरायेदारों को बिल्कुल नहीं देखता है।

नोट। यह लेख सर्वर अनुकूलन और डेटाबेस स्केलिंग पर केंद्रित होगा। अगले लेख में नेटवर्क स्केलिंग पर चर्चा की जाएगी। सर्वर रहित कार्य कहां हैं? उनके बारे में एक अलग प्रतिलेख सामने आया: “ माल, हाँ साहसी। फायरक्रैकर माइक्रोवर्टल्स का एनबॉक्सिंग । " यह स्केलिंग के कई अलग-अलग तरीकों के बारे में बात करता है, और पटाखा समाधान का विस्तार से विश्लेषण किया जाता है - एक आभासी मशीन और कंटेनरों के सर्वोत्तम गुणों का सहजीवन।

सर्वर

मेघ पंचांग है। लेकिन इस पंचाट में अभी भी एक भौतिक अवतार है - सर्वर। प्रारंभ में, उनकी वास्तुकला क्लासिक थी। मानक x86 चिपसेट, नेटवर्क कार्ड, लिनक्स, एक्सपी हाइपरवाइजर, जो वर्चुअल मशीन चलाता है।



2012 में, इस तरह की वास्तुकला ने अपना काम अच्छी तरह से किया। ज़ेन एक महान हाइपरवाइज़र है, लेकिन एक प्रमुख दोष के साथ। उपकरणों का अनुकरण करने के लिए उनके पास काफी अधिक ओवरहेड है । नए तेज नेटवर्क कार्ड या एसएसडी के आगमन के साथ, ये ओवरहेड बहुत अधिक हो जाते हैं। इस समस्या से कैसे निपटें? हमने एक साथ दो मोर्चों पर काम करने का फैसला किया - हार्डवेयर और हाइपरविजर दोनों का अनुकूलन करने के लिए । कार्य बहुत गंभीर है।

लोहे और हाइपरविजर का अनुकूलन

एक बार और अच्छी तरह से काम करने के लिए सब कुछ नहीं होगा। "अच्छा" क्या है शुरू में समझ से बाहर था।

हमने एक विकासवादी दृष्टिकोण लागू करने का फैसला किया - हम वास्तुकला के एक महत्वपूर्ण तत्व को बदलते हैं और इसे उत्पादन में फेंक देते हैं।

हम सभी रेक पर कदम रखते हैं, शिकायतों और सुझावों को सुनते हैं। फिर हम एक और घटक बदलते हैं। इसलिए, छोटे वेतन वृद्धि में, हम मौलिक रूप से उपयोगकर्ता की प्रतिक्रिया और समर्थन के आधार पर पूरी वास्तुकला को बदलते हैं।

2013 में परिवर्तन सबसे कठिन चीज के साथ शुरू हुआ - नेटवर्क। C3 उदाहरणों में, एक विशेष नेटवर्क त्वरक कार्ड को मानक नेटवर्क कार्ड में जोड़ा गया था। यह फ्रंट पैनल पर सचमुच शॉर्ट लूपबैक केबल से जुड़ा था। बदसूरत, लेकिन बादल में दिखाई नहीं दे रहा है। लेकिन हार्डवेयर मौलिक रूप से बेहतर घबराना और नेटवर्क बैंडविड्थ के साथ प्रत्यक्ष बातचीत।

तब हमने ईबीएस ब्लॉक स्टोरेज - इलास्टिक ब्लॉक स्टोरेज तक पहुंच में सुधार पर ध्यान केंद्रित करने का फैसला किया। यह नेटवर्क और स्टोरेज का संयोजन है। मुश्किल यह है कि अगर नेटवर्क एक्सेलेरेटर कार्ड बाजार में मौजूद हैं, तो स्टोरेज एक्सेलेरेटर हार्डवेयर खरीदने का कोई तरीका नहीं था। इसलिए, हमने स्टार्टअप अन्नपूर्णा लैब्स की ओर रुख किया, जिन्होंने हमारे लिए विशेष ASIC चिप्स विकसित किए। उन्होंने आपको दूरस्थ ईबीएस वॉल्यूम को NVMe उपकरणों के रूप में कनेक्ट करने की अनुमति दी।

C4 उदाहरणों में, हमने दो समस्याओं को हल किया। पहले, हमने होनहार के साथ भविष्य के लिए ग्राउंडवर्क लागू किया, लेकिन उस समय नई, NVMe तकनीक। दूसरा - ईबीएस के अनुरोधों के प्रसंस्करण को एक नए कार्ड में स्थानांतरित करके केंद्रीय प्रोसेसर को काफी उतार दिया। यह अच्छी तरह से निकला, इसलिए अब अन्नपूर्णा लैब्स अमेज़ॅन का हिस्सा है।

नवंबर 2017 तक, हमने महसूस किया कि यह हाइपरविजर को बदलने का समय था।

नया हाइपरविजर संशोधित KVM कर्नेल मॉड्यूल के आधार पर विकसित किया गया था।

यह उपकरणों के अनुकरण की ओवरहेड लागत को कम करने और नए ASIC के साथ सीधे काम करने की अनुमति देता है। C5 उदाहरण पहली आभासी मशीनें थीं जिनके हुड के तहत एक नया हाइपरवाइजर चल रहा है। हमने इसे नाइट्रो कहा।

समय पर उदाहरणों का विकास।

सभी नए प्रकार की आभासी मशीनें जो नवंबर 2017 के बाद से दिखाई दीं, इस हाइपरविजर पर काम करती हैं। लोहे के नंगे धातु के उदाहरणों में एक हाइपरवाइज़र नहीं होता है , लेकिन उन्हें नाइट्रो भी कहा जाता है, क्योंकि वे विशेष नाइट्रो कार्ड का उपयोग करते हैं।

अगले दो वर्षों में, नाइट्रो उदाहरणों की संख्या दर्जनों से अधिक हो गई: A1, C5, M5, T3, और अन्य।


उदाहरणों के प्रकार।

आधुनिक नाइट्रो कार कैसे काम करती हैं

उनके तीन मुख्य घटक हैं: एक नाइट्रो हाइपरवाइजर (ऊपर चर्चा की गई), एक सुरक्षा चिप, और नाइट्रो कार्ड।

सुरक्षा चिप को सीधे मदरबोर्ड में एकीकृत किया जाता है। यह कई महत्वपूर्ण कार्यों को नियंत्रित करता है, उदाहरण के लिए, होस्ट ओएस के लोडिंग को नियंत्रित करना।

नाइट्रो कार्ड - उनमें से चार प्रकार हैं। सभी अन्नपूर्णा लैब्स द्वारा विकसित किए गए हैं और आम एएसआईसी पर आधारित हैं। उनके फर्मवेयर का हिस्सा भी आम है।


चार प्रकार के नाइट्रो कार्ड।

कार्ड में से एक VPC नेटवर्क के साथ काम करने के लिए डिज़ाइन किया गया है। यह वह है जो ईएनए नेटवर्क कार्ड - इलास्टिक नेटवर्क एडाप्टर के रूप में आभासी मशीनों में दिखाई देता है। यह भौतिक नेटवर्क के माध्यम से प्रसारित होने पर ट्रैफ़िक को भी एन्क्रिप्ट कर देता है (हम इस बारे में लेख के दूसरे भाग में बात करेंगे), सुरक्षा समूह फ़ायरवॉल को नियंत्रित करता है, रूटिंग और अन्य नेटवर्क चीजों के लिए जिम्मेदार है।

अलग-अलग कार्ड ईबीएस ब्लॉक भंडारण और डिस्क के साथ काम करते हैं जो सर्वर में निर्मित होते हैं। उन्हें वर्चुअल मशीन को NVMe एडेप्टर के रूप में पेश करने के लिए प्रस्तुत किया गया है। वे डेटा एन्क्रिप्शन और डिस्क मॉनिटरिंग के लिए भी जिम्मेदार हैं।

नाइट्रो-कार्ड, एक हाइपरवाइजर और एक सुरक्षा चिप की प्रणाली को एक एसडीएन या सॉफ्टवेयर डिफाइंड नेटवर्क में एकीकृत किया गया है। नियंत्रण कार्ड इस नेटवर्क (कंट्रोल प्लेन) के प्रबंधन के लिए जिम्मेदार है।

बेशक, हम नए ASICs विकसित करना जारी रखते हैं। उदाहरण के लिए, 2018 के अंत में, उन्होंने इनफेरेंटिया चिप जारी किया, जो मशीन सीखने के कार्यों के साथ अधिक कुशल काम करने की अनुमति देता है।


इंफ्रेंटिया मशीन लर्निंग प्रोसेसर चिप।

स्केलेबल डेटाबेस

पारंपरिक डेटाबेस में एक स्तरित संरचना होती है। यदि बहुत सरल किया जाता है, तो निम्न स्तर प्रतिष्ठित होते हैं।

• SQL - क्लाइंट और क्वेरी डिस्पैचर इस पर काम करते हैं।
• सुरक्षित लेनदेन - यहाँ सब कुछ स्पष्ट है, एसीआईडी ​​और वह सब।
• बफर पूल द्वारा प्रदान की गई कैशिंग ।
• लॉगिंग - रीडो-लॉग के साथ काम प्रदान करता है। MySQL में उन्हें बिन लॉग्स कहा जाता है, PosgreSQL में उन्हें राइट अहेड लॉग्स (वाल) कहा जाता है।
• स्टोरेज - सीधे डिस्क पर लिखें।

स्तरित डेटाबेस संरचना।

डेटाबेस को स्केल करने के अलग-अलग तरीके हैं: शार्किंग, शेयर्ड नथिंग आर्किटेक्चर, साझा ड्राइव।



हालाँकि, ये सभी विधियाँ एक ही अखंड डेटाबेस संरचना को बनाए रखती हैं। यह काफी स्केलिंग को सीमित करता है। इस समस्या को हल करने के लिए, हमने अपना स्वयं का डेटाबेस विकसित किया - अमेज़ॅन अरोरा । यह MySQL और PostgreSQL के साथ संगत है।

अमेज़न औरोरा

मुख्य वास्तुशिल्प विचार मुख्य डेटाबेस से भंडारण और लॉगिंग स्तरों को विभाजित करना है।

आगे देखते हुए, मैं कहता हूँ कि हमने कैश स्तर को भी स्वतंत्र कर दिया है। वास्तुकला एक अखंड होना बंद कर देता है, और हमें अलग-अलग ब्लॉकों को स्केल करने में स्वतंत्रता की अतिरिक्त डिग्री मिलती है।


लॉगिंग और स्टोरेज स्तर डेटाबेस से अलग होते हैं।

एक पारंपरिक DBMS ब्लॉक के रूप में भंडारण प्रणाली के लिए डेटा लिखता है। अमेज़ॅन अरोरा में, हमने एक "स्मार्ट" रिपॉजिटरी बनाई जो रेडो-लॉग की भाषा बोल सकती है। अंदर, रिपॉजिटरी डेटा ब्लॉक में लॉग को बदल देता है, उनकी अखंडता और स्वचालित रूप से बैकअप की निगरानी करता है।

यह दृष्टिकोण आपको क्लोनिंग जैसी दिलचस्प चीजों को लागू करने की अनुमति देता है । यह इस तथ्य के कारण मौलिक रूप से तेजी से और अधिक आर्थिक रूप से काम करता है कि इसे सभी डेटा की पूर्ण प्रतिलिपि बनाने की आवश्यकता नहीं है।

भंडारण स्तर एक वितरित प्रणाली के रूप में कार्यान्वित किया जाता है। इसमें बहुत बड़ी संख्या में भौतिक सर्वर होते हैं। प्रत्येक रीडो-लॉग को छह नोड्स द्वारा एक साथ संसाधित और संग्रहीत किया जाता है। यह डेटा सुरक्षा और लोड संतुलन प्रदान करता है।



उचित प्रतिकृतियों का उपयोग करके स्केलिंग को प्राप्त किया जा सकता है। वितरित भंडारण मुख्य DB उदाहरण के बीच सिंक्रनाइज़ेशन की आवश्यकता को समाप्त करता है जिसके माध्यम से हम डेटा और अन्य प्रतिकृतियां लिखते हैं। वर्तमान डेटा को सभी प्रतिकृतियों के लिए उपलब्ध होने की गारंटी है।

एकमात्र समस्या रीड प्रतिकृति पर पुराने डेटा को कैशिंग करना है। लेकिन आंतरिक नेटवर्क पर प्रतिकृतियों के सभी रेड-लॉग को स्थानांतरित करके इस समस्या को हल किया जाता है। यदि लॉग कैश में है, तो इसे अमान्य के रूप में चिह्नित किया गया है और ओवरराइट किया गया है। यदि यह कैश में नहीं है, तो इसे छोड़ दिया जाता है।



हमने भंडारण का पता लगाया।

कैसे DBMS स्तर पैमाने पर करने के लिए

यहाँ क्षैतिज स्केलिंग करना अधिक कठिन है। इसलिए, चलो क्लासिक ऊर्ध्वाधर स्केलिंग के पीटा ट्रैक पर जाएं।

मान लीजिए कि हमारे पास एक एप्लिकेशन है जो एक मास्टर नोड के माध्यम से DBMS के साथ संचार करता है।

ऊर्ध्वाधर स्केलिंग के साथ, हम एक नया नोड चुनते हैं जिसमें अधिक प्रोसेसर और मेमोरी होगी।



अगला, पुराने मास्टर नोड से नए एक पर एप्लिकेशन को स्विच करें। समस्याएं हैं।

• इसके लिए एप्लिकेशन के ध्यान देने योग्य डाउनटाइम की आवश्यकता होगी।
• नए मास्टर नोड में एक ठंडा कैश होगा। डेटाबेस का प्रदर्शन कैश के गर्म होने के बाद ही अधिकतम होगा।

कैसे सुधरे हालात? एप्लिकेशन और मास्टर नोड के बीच एक प्रॉक्सी डालें।



यह हमें क्या देगा? अब सभी अनुप्रयोगों को मैन्युअल रूप से एक नए नोड पर पुनर्निर्देशित करने की आवश्यकता नहीं है। स्विचिंग एक प्रॉक्सी के तहत और एक ही समय में मौलिक रूप से तेज किया जा सकता है।

समस्या का समाधान होता दिख रहा है। लेकिन नहीं, हम अभी भी कैश को गर्म करने की आवश्यकता से पीड़ित हैं। इसके अलावा, एक नई समस्या सामने आई है - अब प्रॉक्सी विफलता का एक संभावित बिंदु है।

अमेज़ॅन अरोरा सर्वर रहित के साथ अंतिम समाधान

हमने इन समस्याओं को कैसे हल किया?

छद्म छोड़ दिया । यह एक अलग उदाहरण नहीं है, लेकिन प्रॉक्सी के एक पूरे वितरित बेड़े जिसके माध्यम से एप्लिकेशन डेटाबेस से जुड़ते हैं। विफलता की स्थिति में, किसी भी नोड को लगभग तुरंत बदला जा सकता है।

हमने विभिन्न आकारों के गर्म नोड्स का एक पूल जोड़ा । इसलिए, यदि किसी बड़े या छोटे आकार के नए नोड को आवंटित करना आवश्यक है, तो यह तुरंत उपलब्ध है। इसे लोड करने के लिए प्रतीक्षा करने की आवश्यकता नहीं है।

संपूर्ण स्केलिंग प्रक्रिया एक विशेष निगरानी प्रणाली द्वारा नियंत्रित की जाती है। वर्तमान मास्टर नोड की स्थिति की लगातार निगरानी करना। यदि यह पता लगाता है, उदाहरण के लिए, कि प्रोसेसर लोड एक महत्वपूर्ण मूल्य पर पहुंच गया है, तो यह एक नया नोड आवंटित करने की आवश्यकता के गर्म उदाहरणों के पूल को सूचित करता है।


वितरित परदे के पीछे, गर्म उदाहरण और निगरानी।

आवश्यक शक्ति का एक नोड उपलब्ध है। बफर पूल इसकी नकल कर रहे हैं, और सिस्टम एक सुरक्षित पल के लिए स्विच करने के लिए इंतजार करना शुरू कर देता है।



आमतौर पर स्विच करने का क्षण बहुत जल्दी आता है। फिर प्रॉक्सी और पुराने मास्टर नोड के बीच संचार निलंबित है, सभी सत्र नए नोड पर स्विच होते हैं।



डेटाबेस रिज्यूमे के साथ काम करें।



ग्राफ दिखाता है कि निलंबन वास्तव में बहुत कम है। नीले ग्राफ पर, भार और लाल चरणों पर - स्केलिंग के क्षण। ब्लू चार्ट में शॉर्ट-टर्म डिप्स ठीक यही हैं कि शॉर्ट डिले।



वैसे, अमेज़न ऑरोरा आपको डेटाबेस को पूरी तरह से सहेजने और बंद करने की अनुमति देता है जब उपयोग में नहीं होता है, उदाहरण के लिए, सप्ताहांत पर। लोड को रोकने के बाद, डेटाबेस धीरे-धीरे अपनी शक्ति कम कर देता है और थोड़ी देर के लिए बंद हो जाता है। जब लोड वापस आएगा, तो यह फिर से सुचारू रूप से बढ़ेगा।

अमेज़न डिवाइस टॉक के अगले भाग में, हम नेटवर्क स्केलिंग के बारे में बात करेंगे। समाचार पत्र की सदस्यता लें और लेख को याद न करने के लिए बने रहें।

हाईलाड ++ में, वसीली पेंटीयुखिन एक प्रस्तुति देंगे " ह्यूस्टन, हमें एक समस्या है। विफलता प्रणाली डिजाइन, अमेज़न बादल आंतरिक सेवा विकास पैटर्न । ” अमेज़ॅन डिज़ाइन डेवलपर्स वितरित सिस्टम डिज़ाइन पैटर्न का उपयोग करते हैं, सेवा विफलताओं के कारण क्या हैं, सेल-आधारित आर्किटेक्चर, कॉन्स्टेंट वर्क, शफल शेयरिंग क्या है - यह दिलचस्प होगा। सम्मेलन से एक महीने पहले से कम - अपने टिकट बुक करें । 24 अक्टूबर, अंतिम मूल्य वृद्धि।