सी। हाईलाड ++ 2019 पर

Highload ++ बहुत करीब है! 7-8 नवंबर को, तेरहवीं बार स्कोलोवो में अत्यधिक लोड सिस्टम के 3,000 से अधिक डेवलपर्स इकट्ठा होंगे। इस कार्यक्रम का उद्देश्य ऐसी तकनीकों के बारे में ज्ञान का आदान-प्रदान करना है जो एक साथ कई हजारों और लाखों उपयोगकर्ताओं की सेवा करती हैं।
कार्यक्रम में बड़ी परियोजनाओं, डेटाबेस और भंडारण प्रणालियों, सिस्टम प्रशासन, लोड परीक्षण, बड़ी परियोजनाओं के संचालन और अत्यधिक भरी हुई प्रणालियों से जुड़े अन्य क्षेत्रों के रूप में वेब विकास के ऐसे पहलुओं को शामिल किया गया है।
हम Highload ++ 2019 में सक्रिय रूप से शामिल हैं और आज हम आपको बताएंगे कि सम्मेलन के प्रतिभागियों के लिए हमारे कर्मचारियों ने क्या रिपोर्ट तैयार की है।

7 नवंबर

सहपाठियों की नई गणना । एंटोन इवानोव, लीड प्लेटफॉर्म डेवलपर

समय: 12:00 बजे
जगह: मास्को हॉल

दोस्तों की गिनती Odnoklassniki में सबसे महत्वपूर्ण और भरी हुई सेवाओं में से एक है। साइट के लगभग किसी भी फ़ंक्शन के लिए यह आवश्यक है: एक फ़ीड बनाएं, नए दोस्त ढूंढें, फ़ोटो देखते समय अनुमतियों की जांच करें, और बहुत कुछ। यह सब उपयोगकर्ताओं के बीच 700,000 अनुरोध प्रति सेकंड से 300,000,000,000 कनेक्शन तक बनाता है।

इस तरह के भार को न केवल प्रदर्शन के लिए सख्त आवश्यकताएं हैं, बल्कि दोष सहिष्णुता के लिए भी है, क्योंकि ग्राफ के साथ कोई भी समस्या पूरी साइट के काम को पंगु बना सकती है। एक लंबे समय के लिए, हम तीखे ठिकानों और कैश की एक क्लासिक योजना पर रहते थे। लेकिन उसे डेटा स्थिरता और गलती सहिष्णुता दोनों के साथ बहुत सारी समस्याएं थीं।

रिपोर्ट में, हम नए ग्राफ़ आर्किटेक्चर के लिए संक्रमण के बारे में विस्तार से बात करेंगे, पुराने संस्करण और इसके उपयोग के दौरान आने वाली समस्याओं के बारे में एक कहानी के साथ शुरू करें, फिर नए ग्राफ़ आर्किटेक्चर में गोता लगाएँ और प्रवास के दौरान हमें आश्चर्यचकित करें।

कुशल, विश्वसनीय माइक्रोसिस्टर्स । ओलेग अनास्तासिव, मुख्य अभियंता

समय: शाम 5 बजे।
स्थान: सिंगापुर हॉल

Odnoklassniki में, उपयोगकर्ता अनुरोधों को 200 से अधिक प्रकार की अद्वितीय सेवाओं द्वारा प्रदान किया जाता है। इन सेवाओं में से कई JVM संयोजन व्यवसाय तर्क की तकनीक का उपयोग करती हैं और कैसंड्रा ने दोष सहिष्णु डेटाबेस का वितरण किया। यह हमें अत्यधिक भरी हुई सेवाओं का निर्माण करने की अनुमति देता है, जो उन पर प्रति सेकंड लाखों ऑपरेशनों के साथ सैकड़ों अरबों रिकॉर्ड का प्रबंधन करती हैं।

इस रिपोर्ट में, हम इस बारे में बात करेंगे कि व्यावसायिक तर्क और डेटाबेस के संयोजन के दौरान क्या फायदे दिखाई देते हैं; चर्चा करें कि सेवाओं की विश्वसनीयता और उपलब्धता को कैसे प्रभावित करता है; और यह भी चर्चा करें कि कैसे इस तकनीक ने हमारी सेवाओं के प्रदर्शन में काफी सुधार किया है।

लेकिन सभी डेटाबेस इसके लिए उपयुक्त नहीं हैं। हम इस बात की विस्तार से जाँच करेंगे कि कौन से डेटाबेस आपके अगले microservice में एम्बेड करने के लिए उपयुक्त हैं, और कौन से नहीं हैं।

8 नवंबर

मशीनों का उदय ठीक है । प्लेटफॉर्म टीम में लीड डेवलपर लियोनिद तलालाव हैं

समय: 10:00 बजे
स्थान: केप टाउन हॉल

सहपाठियों में कई डेटा केंद्रों में स्थित 6,000 से अधिक सर्वर शामिल हैं। उनमें से लगभग आधे हमारे बादल, एक-बादल का हिस्सा हैं, जिसके बारे में हमने पहले ही दो साल पहले हाईलाड ++ पर बात की थी।

10,000 से अधिक कंटेनरों का प्रबंधन करते समय, विशिष्ट कार्य उत्पन्न होते हैं, जिसके कार्यान्वयन को मैन्युअल रूप से बहुत अधिक समय लगेगा और अनिवार्य रूप से मानवीय त्रुटियों को जन्म देगा। इसलिए, हम क्लाउड में सभी प्रक्रियाओं को स्वचालित करने का प्रयास करते हैं ताकि मानव भागीदारी को कम से कम किया जा सके। हमने इस पूर्ण स्वचालन को "मशीनों का उदय" कहा।

रिपोर्ट में, हम इस तरह के विषयों पर विचार करेंगे:
- सभी कंटेनरों पर सुरक्षा पैच का लेआउट। उसी समय, हम सीखेंगे कि 1 सेकंड में डॉक की छवि परतों को कैसे बदलना है;
- क्लाउड में संचालन के दौरान वितरित राज्य-सेवाओं की उपलब्धता सुनिश्चित करना;
- बादल में विखंडन की समस्या। हम आपको बताएंगे कि प्लेसमेंट एल्गोरिदम को बदलकर एक मिलियन डॉलर कैसे बचाएं।

लाखों उपयोगकर्ताओं के साथ एक टीसीपी सुई से यूडीपी में स्थानांतरण । अलेक्जेंडर टोबोल, वीडियो और टेप प्लेटफार्मों के विकास के प्रमुख

समय: दोपहर 2 बजे।
स्थान: मुख्य हॉल (कांग्रेस हॉल)

अलेक्जेंडर बताएगा:

• Odnoklassniki ने टीसीपी से यूडीपी में लाखों उपयोगकर्ताओं को प्रत्यारोपित किया, 3/4 ठीक एंड्रॉइड उपयोगकर्ता पहले से ही नेटवर्क संचार के लिए यूडीपी का उपयोग करते हैं
• वे उत्पाद क्लाइंट के आंकड़ों के अनुसार उपयोगकर्ताओं को सामग्री वितरण के 30% तक त्वरित कैसे करते हैं
• नेटवर्क प्रोटोकॉल के निर्माण और नेटवर्क के परीक्षण और मॉडलिंग के तरीकों के बारे में

इसके अलावा, ओके न केवल विभिन्न नेटवर्क पर टीसीपी और क्विक परीक्षणों के परिणामों को साझा करेगा, बल्कि नेटवर्क एमुलेटर का स्रोत कोड भी होगा, जिस पर इस तरह के परीक्षण आयोजित किए जाते हैं।

200 टीबी + एलिस्टिक्सखोज क्लस्टर । पेट्र ज़ैतसेव, सिस्टम एडमिनिस्ट्रेटर, एलीस्टैचर्च विशेषज्ञ

समय: शाम 4 बजे।
स्थान: मुख्य हॉल (कांग्रेस हॉल)

रिपोर्ट का उद्देश्य: विशेष रूप से बड़ी मात्रा में लॉग को संग्रहीत करने के लिए एलिटेसर्च क्लस्टर के नुकसान और वास्तुकला के बारे में बात करना।

रिपोर्ट में, मैं इस बारे में बात करूंगा कि हमने ओडनोक्लासनिक परियोजना के हिस्से के रूप में डेवलपर्स के लिए लॉग का भंडारण और पहुंच कैसे व्यवस्थित की।

प्रारंभ में, उच्च मांगें सेवा पर रखी गईं। हर कोई समझता था कि संसाधित डेटा की मात्रा बड़ी होगी, दोष सहिष्णुता की भी आवश्यकता थी, और शिखर लोड प्रति सेकंड 2 मिलियन पंक्तियों तक बढ़ सकता है। इन कारणों से, यह कार्य पूरी तरह से गैर-तुच्छ हो गया, जिसमें "नुकसान" और व्यापक विशेषताएं शामिल थीं।

मैं इस समस्या को हल करने के लिए हमारे "घुमावदार" पथ के इतिहास का वर्णन करूंगा, साथ ही आपको बताऊंगा कि हम किस क्लस्टर वास्तुकला में आए थे और कौन से निर्णय पहली नज़र में "पैर में गोली मार" सबसे अप्रत्याशित क्षण में सही लग रहे थे।

हमारे पास 4 डेटा सेंटर, लोचदार के लिए 500 इंस्टेंसेस, 200TB + डेटा, चरम पर 2 मिलियन लाइन प्रति सेकंड और हर कीमत पर 100% सर्विस अपटाइम आवश्यकताएं थीं।

हम इसे कैसे महसूस कर पाए, आपको हमारी रिपोर्ट पर पता चलेगा!