HighLoad ++ 2018 के साथ सर्वश्रेष्ठ रिपोर्ट

दोस्तों, हमने ओन्टिको कंपनी के साथ सहमति व्यक्त की है कि हम अपने यूट्यूब चैनल पर उनके सम्मेलनों से सर्वश्रेष्ठ रिपोर्ट प्रकाशित करेंगे और उन्हें आपके साथ साझा करेंगे। इसलिए हम न केवल ज्ञान फैलाना चाहते हैं, बल्कि अपने पाठकों और दर्शकों को पेशेवर रूप से विकसित करने में भी मदद करना चाहते हैं। Highload ++ 2018 में बनाई गई 15 सर्वश्रेष्ठ रिपोर्टों में से एक का चयन करें।

टारेंटूल प्रतिकृति: कॉन्फ़िगरेशन और उपयोग

जार्ज किरिचेंको, Mail.ru समूह


टारेंटूल प्रतिकृति का उपयोग लोड संतुलन के लिए सर्वर या क्लस्टरिंग सर्वर का बैकअप लेकर उच्च उपलब्धता प्रदान करने के लिए किया जाता है, और अपग्रेड ऑपरेशन करने के लिए भी इसका उपयोग किया जा सकता है। टारेंटूल के हाल के संस्करणों में कई अतिरिक्त विशेषताएं हैं जो क्लस्टर में प्रतिकृति को कॉन्फ़िगर करना और उपयोग करना आसान बनाती हैं।

रिपोर्ट ने डिवाइस के मूल सिद्धांतों और टारनटूल में अतुल्यकालिक प्रतिकृति की विशेषताओं की जांच की। हम राज्य वेक्टर की आंतरिक संरचना पर ध्यान केंद्रित करते हैं - vclock। वे डेटा स्थिरता सुनिश्चित करने और नई सुविधाओं पर ध्यान केंद्रित करने के तरीकों पर चर्चा करते हैं। कॉन्फ़िगरेशन के मूल सिद्धांतों, उनकी प्रयोज्यता और सबसे आम त्रुटियों पर विचार किया जाता है, और कॉन्फ़िगरेशन और ऑपरेशन के साथ समस्याओं को हल करने के तरीकों पर चर्चा की जाती है।

रूस में इंटरनेट ब्लॉक करने के तकनीकी पहलू। चुनौतियाँ और संभावनाएँ

फिलिप क्यूलिन, डीप फॉरेस्ट


तालों का तकनीकी विवरण। जैसा कि अब ताला तंत्र व्यवस्थित है। कौन, क्या, कहाँ, कब और कैसे। यह इतना संगठित क्यों है। क्यों ILV पूरे नेटवर्क को अवरुद्ध कर रहा है। तकनीकी दृष्टिकोण से वर्तमान लॉकिंग तंत्र की समस्या क्या है। आज के विनियामक ढांचे में न्यूनतम बदलावों के ढांचे के भीतर हमें किस दिशा में एक तकनीकी दृष्टिकोण से आगे बढ़ना चाहिए।

ग्रेडिएंट बूस्टिंग (लाइट जीबीएम) का उपयोग करके ऑनलाइन स्टोर की बिक्री की भविष्यवाणी करना

अलेक्जेंडर अलेक्सेत्सेव, OZON.RU


यह रिपोर्ट एक स्वचालित गोदाम पुनःपूर्ति प्रणाली के बारे में है। सिस्टम का मस्तिष्क बिक्री पूर्वानुमान के लिए एमएल है: एक कार्य को सेट करना और एक हानि फ़ंक्शन चुनना, विशेषताओं के साथ काम करना, डेटा सेट उत्पन्न करना, एक मॉडल चुनना, लाइट जीबीएम सीखने की प्रक्रिया के नुकसान, परिणामों का मूल्यांकन करना। सिस्टम कंकाल - स्पार्क / Hadoop: डेटा की दैनिक डिलीवरी / सत्यापन, सिस्टम की विश्वसनीयता में वृद्धि। माल की खरीद की व्यावसायिक वास्तविकताएं: आपूर्तिकर्ता चयन, बीमा स्टॉक, आपूर्तिकर्ताओं की सेवा के स्तर के साथ संघर्ष।

अलेक्जेंडर ने विपणन अभियान की योजना की कीमत और उनके प्रभाव पर माल की मांग की लोच का आकलन करने के लिए प्रशिक्षित लाइट जीबीएम मॉडल के उपयोग के बारे में भी बताया। विभिन्न प्रकार के सामानों के लिए कीमतों पर मांग की निर्भरता के विभिन्न प्रकार के कार्य और मुख्य कार्य से "पक्ष" प्रभाव के रूप में बहुत अधिक प्राप्त हुए।

हम अपने लुआ कार्यान्वयन की स्थिरता पर कैसे काम करते हैं

एंटोन सोलातोव, IPONWEB


IPONWEB 10 वर्षों से व्यावसायिक तर्क का वर्णन करने के लिए लुआ का उपयोग कर रहा है। 2015 में, उन्होंने LuaJIT को त्याग दिया और तब से अपनी भाषा के कार्यान्वयन के साथ काम कर रहे हैं। तकनीकी स्टैक का यह घटक व्यवसाय के लिए महत्वपूर्ण है, इसलिए, इसकी स्थिरता पर विशेष ध्यान दिया जाता है।

एंटोन ने बताया कि कैसे उन्होंने स्क्रैच से कार्यान्वयन के लिए एक परीक्षण आधार बनाया; मैंने कई मामलों की जांच की जब परीक्षण के तहत प्रणाली की जटिलता से पहले परीक्षण शक्तिहीन हो गए, और नतीजतन, युद्ध सर्वर पर कुछ अचानक "और" अनियमित रूप से टूट गया। ऐसी त्रुटियों को ठीक करने में उन्हें जो अनुभव प्राप्त हुआ है, वह LuaJIT के साथ काम करने के लिए लागू किया जा सकता है। और अंत में, एंटोन ने उन टूल और ट्रिक्स को साझा किया, जो उनकी कंपनियां डिबगिंग के दौरान उपयोग करती हैं।

उच्च-लोड प्रोजेक्ट में पंक्ति स्तर सुरक्षा का स्थान

अलेक्जेंडर टोकरेव, डेटाआर्ट


अत्यधिक भरी हुई परियोजना के लिए पंक्ति स्तर की सुरक्षा को व्यवस्थित करने के लिए कहां और कैसे सबसे अच्छा है, इस पर एक रिपोर्ट। उन्होंने अत्यधिक लोड की गई उद्यम परियोजना में पंक्ति स्तर की सुरक्षा को लागू करने के तरीके का वर्णन किया (4000 उपयोगकर्ता, एक ही समय में 10000 अनुरोध, एक ही समय में लेन-देन और ओलप लोड)। उन्होंने Oracle DBMS में पंक्ति स्तर सुरक्षा के लिए तीन कार्यान्वयन तकनीकों का विश्लेषण किया, और इसे डेटाबेस में सुरक्षा क्यों चुना गया, और एप्लिकेशन सर्वर पर नहीं। उन्होंने चुनावों की समस्याओं और भविष्य की योजनाओं के बारे में बात की।

हमने कैसे इंटेल DPDK और उपसर्ग पेड़ों के साथ अपना नेटफिल्टर बनाया

अलेक्जेंडर समोइलोव, सुरक्षा कोड


लिनक्स नेटफिल्टर खुले और वाणिज्यिक दोनों तरह के आईटीयू की एक बड़ी मात्रा के केंद्र में है। यह एक सिद्ध, विश्वसनीय और हाल ही में, यहां तक ​​कि काफी उत्पादक समाधान है। लेकिन आधुनिक वास्तविकताओं में, जब दर्जनों गीगाबिट ट्रैफिक को अक्सर आईटीयू के माध्यम से पारित करना पड़ता है, और फ़िल्टरिंग नियमों की संख्या एक हजार से अधिक हो सकती है, लिनक्स नेटफिल्टर अड़चन है।

अलेक्जेंडर ने बात की कि वे कैसे लिनक्स नेटवर्क सबसिस्टम को फिर से लिखते हैं, जो तेजी से बदल गया है - स्टेटफुल और स्टेटलेस फ़िल्टरिंग, सेशन ट्रैकिंग, नैट और रूटिंग के दर्जनों गीगाबिट्स, प्रबंधन करने में आसान - सबमिशन को अच्छी तरह से ज्ञात iproute2 और nftables उपयोगिताओं की आज्ञाओं को समझने के लिए सिखाया, संख्या की परवाह किए बिना। फ़िल्टरिंग नियम।

वीशर्ड - टारेंटूल में क्षैतिज स्केलिंग

व्लादिस्लाव शपीलेवा, टारनटूल


2018 तक, टारनटूल डीबीएमएस के क्षैतिज स्केलिंग का एकमात्र साधन शार्द था - एक मॉड्यूल जो शार्पिंग को लागू करता है, क्षैतिज स्केलिंग का एक विशेष मामला। शार्प प्राथमिक कुंजी से फ़ंक्शन द्वारा पैनापन करता है, क्लस्टर टोपोलॉजी को बदलने, पुनर्संतुलन का समर्थन करता है। इसी समय, उनके पास तीन महत्वपूर्ण कमियां हैं जिन्होंने एक महत्वपूर्ण परियोजना में शारद के उपयोग को रोक दिया।

वर्ष की शुरुआत में, नए वीचर्ड मॉड्यूल का विकास पूरा हो गया था - यह शार्किंग का एक वैकल्पिक कार्यान्वयन है। इसमें, पुनर्संतुलन चरणों में किया जाता है, आप संबंधित डेटा की स्थानीयता सुनिश्चित करने के लिए एक मनमाना शार्प फ़ंक्शन निर्दिष्ट कर सकते हैं, शार्ड फ़ंक्शन की गणना का परिणाम प्रत्येक रिकॉर्ड में संग्रहीत होता है और पुनर्गणना नहीं होती है। व्लादिस्लाव ने वीएसएचआर के आंतरिक उपकरण के बारे में बात की, इसके उप-प्रणालियों और उपयोग के उदाहरणों के साथ कार्यान्वयन के बारे में, और वीएसडी 0.2 की नई विशेषताओं के बारे में।

BBM के 150M + उपयोगकर्ता Oracle को डाउनटाइम के बिना माइग्रेशन को स्थगित कर देता है

अलवारो हर्नांडेज़, ओन्ग्रेस (अंग्रेजी में बात करें)


BBM (ब्लैक बेरी मैसेंजर) पाठ, आवाज और वीडियो संचार के कार्यों के साथ दुनिया के सबसे बड़े त्वरित दूतों में से एक है, इसके ग्राहकों की संख्या 150 मिलियन से अधिक है। उन्होंने डीबीएमएस ओरेकल के ऑन-प्रिमाइसेस पर काम किया। हमने इसे GCP पर चलने वाले PostgreSQL को वास्तविक रूप से बिना किसी डाउनटाइम के वास्तविक समय प्रतिकृति के साथ स्थानांतरित करने में मदद की। अलवारो ने बिना डाउनटाइम के Oracle से PostgreSQL की ओर पलायन करने के लिए प्रक्रिया और नुकसान, तकनीक, तकनीक और सर्वोत्तम प्रथाओं का विस्तार से वर्णन किया। आज, बहुत से लोग इस तरह के प्रवास में रुचि रखते हैं, लेकिन इसके लिए उच्च योग्यता और भागीदारी की आवश्यकता होती है जिसमें यह कई कठिनाइयों का सामना करता है।

एक आधुनिक परमाणु ऊर्जा संयंत्र की अत्यधिक भरी हुई वितरित नियंत्रण प्रणाली

वादिम पोडोल्नी, भौतिक साधन


इस रिपोर्ट से, आप परमाणु ऊर्जा संयंत्रों के लिए वितरित नियंत्रण प्रणाली के नए मंच और दुनिया में सबसे जटिल स्वचालन सुविधाओं के प्रबंधन के बारे में जानेंगे। परमाणु ऊर्जा संयंत्रों की विभिन्न तकनीकी प्रक्रियाओं के लिए जिम्मेदार 150 से अधिक विशेष उप-प्रणालियों के काम का वास्तविक समय नियंत्रण। सेंसर से 100K से अधिक डेटा स्रोत और परिकलित मापदंडों के 500K तक। शारीरिक प्रक्रियाओं की 5 किस्में।

कुछ विचलन के साथ, पूरी प्रणाली उपयोगी निदान जानकारी के विशाल DDoS- स्रोत में बदल जाती है, जो वस्तु के सामान्य नियंत्रण में हस्तक्षेप करती है। आप सीखेंगे कि हम ऐसी समस्याओं का "हल" कैसे करते हैं, ऐसे सिस्टम के हार्डवेयर और सॉफ़्टवेयर आर्किटेक्चर के बारे में जानें, जैसे बैकअप और प्रतिकृति, क्यों डेटा अतिरेक और तकनीकी विविधता की आवश्यकता होती है। भार प्रबंधन कैसे प्रदान किया जाता है, QoS कैसे काम करता है। और अगर सामान्य ऑपरेशन सिस्टम बंद हो जाता है, तो क्या होगा, उदाहरण के लिए, यह फुकुशिमा में था।

4K मिलियन ऑनलाइन स्ट्रीमिंग प्लेटफॉर्म

अलेक्जेंडर टोबोल, सहपाठियों


ओडनोक्लासनिकि में सेवा वीडियो - वीडियो दृश्यों के लिए रनेट में दूसरी साइट: प्रतिदिन 600 मिलियन बार देखा गया। स्ट्रीमिंग प्लेटफॉर्म ओके अब आपको 4K में पेशेवर प्रसारण करने की अनुमति देता है, आपके फोन से FullHD तक स्ट्रीम करता है और उपयोगकर्ताओं को 3 Tb / s से अधिक ट्रैफिक देता है।

अलेक्जेंडर के बारे में बताया:

• लाखों ऑनलाइन के लिए 4K वीडियो स्ट्रीमिंग पाइपलाइन;
  
• सामग्री वितरण प्रणाली वास्तुकला
  
• 4K वितरण के लिए टीसीपी ट्यूनिंग;
  
• कैसे और क्यों आपको ffmpeg को त्यागने और GPU पर वीडियो काटने की आवश्यकता है;
  
• यदि कैपेसिटी खत्म हो जाए और उपयोगकर्ता आते रहें तो क्या करें;
  
• टीसीपी पर समस्याओं की स्ट्रीमिंग;
  
• वीडियो स्ट्रीमिंग का भविष्य।
  

लिनक्स IO में हालिया परिवर्तन DBA दृष्टिकोण से स्टैक हैं

इल्या कोस्मोडेमेन्स्की, डेटा एग्रेट


डेटाबेस के मौजूद होने के बाद से मैं / O प्रदर्शन समस्याएँ डेटाबेस व्यवस्थापकों के दैनिक एजेंडे में हैं। लिनक्स, शायद सबसे लोकप्रिय डेटाबेस ऑपरेटिंग सिस्टम है, जिसने पिछले कुछ वर्षों में IO स्टैक को ओवरहाल किया है।

इल्या ने बात की कि क्या हो रहा है, क्यों IO स्टैक को तत्काल सुधार की आवश्यकता है, और यह डेटाबेस के लिए क्या पैदा कर सकता है। नए NVMe और blk-mq ड्राइवरों को कैसे बेहतर बनाया जाएगा। एक उपयोगी ज्ञापन के रूप में, इल्या ने नई गुठली में I / O सबसिस्टम के प्रदर्शन को अधिकतम करने के लिए PostgreSQL और लिनक्स सेटिंग्स की एक चेकलिस्ट प्रस्तावित की।

वास्तुकला और काम पर पूछे जाने वाले प्रश्न VKontakte

एलेक्सी अकुलोविच, वीके


एलेक्सी ने बहुत सारे विषयों और सवालों को उठाया, जो लोगों ने "बाहर से।"

उदाहरण के लिए:

• हमारे सर्वर के इंटरैक्शन की सामान्य वास्तुकला।
  
• क्या VKontakte में "नियमित" PHP है, कहाँ और क्यों। और किन अन्य परमाणु हथियारों का उपयोग किया जाता है?
  
• सेकंड में हजारों सर्वरों पर कोड अपडेट कैसे करें।
  
• लगातार ब्रेकिंग सर्वर के साथ मेम्कच क्लस्टर्स की दोष सहिष्णुता।
  
• क्यों VKontakte का अपना इंजन (DB) है, उनमें से कितने हैं, और वे उनके साथ कैसे रहते हैं।
  
• कैसे स्नैपशॉट से बिनलॉग भिन्न होता है, और "DELETE को कैसे रोल करें"।
  
• आप इस सब की निगरानी कैसे कर सकते हैं।
  

फेसबुक डीएनएस

ओलेग ओबलुखोव, फेसबुक


ओलेग ने इस बारे में बात की कि फेसबुक कैसे लोड को संतुलित करता है, और DNS बुनियादी ढांचे का इससे क्या लेना-देना है, कैसे संसाधन रिकॉर्ड फेसबुक के वैश्विक बुनियादी ढांचे में आते हैं, और कैसे कंपनी डॉगफूडिंग संगठन में DNS का उपयोग करती है।

डेटाबेस और KubernetesDevOps और ऑपरेशन

दिमित्री स्टोलिरोव, फ्लेंट


दिमित्री ने अपने अनुभव को साझा किया और विशिष्ट उदाहरणों के साथ बताया कि किन मामलों में यह डेटाबेस (और, सामान्य रूप से, राज्यव्यापी अनुप्रयोगों) को कुबेरनेट्स में रखने के लिए समझ में आता है, और जिसमें यह अनुचित, या यहां तक ​​कि हानिकारक और खतरनाक है।

---

यह चयन हमारे Technostream Youtube चैनल पर है । हमने इसे विभिन्न शैक्षिक सामग्रियों को साझा करने के लिए बनाया है, जिसमें हमारी शैक्षिक प्रौद्योगिकी परियोजनाओं के व्याख्यान भी शामिल हैं। हमने पहले ही टेक्नस्ट्रीम के बारे में हैबे पर लिखा है, इसलिए यदि आपने इसके बारे में नहीं सुना है, तो इसे पढ़ें । और अक्सर वापस आते हैं, कुछ दिलचस्प लगातार वहां दिखाई देता है।