हाइड्रा के 19 प्रमुख। शानदार कार्यक्रम की समीक्षा

हाइड्रा सम्मेलन 11-12 जुलाई को सेंट पीटर्सबर्ग में होगा, जो समानांतर और वितरित प्रणालियों के विकास के लिए समर्पित है। हाइड्रा की विशेषता यह है कि यह शांत वैज्ञानिकों (जो आमतौर पर केवल विदेशी वैज्ञानिक सम्मेलनों में पाया जा सकता है) और प्रसिद्ध अभ्यास इंजीनियरों, विज्ञान और अभ्यास के चौराहे पर एक बड़े कार्यक्रम में शामिल होता है।

पिछले कुछ वर्षों में हाइड्रा हमारे सबसे महत्वपूर्ण सम्मेलनों में से एक है। वह एक बहुत ही गंभीर तैयारी, वक्ताओं और रिपोर्टों के चयन से पहले थी। पिछले हफ्ते , कंपनी के निदेशक JUG.ru समूह, अलेक्सी फेडोरोव ( 23derevo ) के साथ एक हब्रोनव्यूव , इस बारे में जारी किया गया था ।

हम पहले से ही तीन महत्वपूर्ण प्रतिभागियों के बारे में बात कर चुके हैं , वितरित प्रणालियों के सिद्धांत के संस्थापक - लेस्ली लामपोर्ट, मौरिस हर्लिची और माइकल स्कॉट। यह पूरे कार्यक्रम के बारे में अधिक बात करने का समय है!

प्रेरणा

यदि आप प्रोग्रामिंग कर रहे हैं, तो किसी तरह आप मल्टीथ्रेडिंग और वितरित कंप्यूटिंग के साथ काम कर रहे हैं। संबंधित क्षेत्रों के विशेषज्ञ सीधे उनके साथ काम करते हैं, लेकिन स्पष्ट रूप से वितरण हर जगह से हमें दिखता है: किसी भी मल्टी-कोर कंप्यूटर या वितरित सेवा में कुछ ऐसा होता है जो समानांतर में गणना करता है।

कई सम्मेलन हैं जो लागू प्रोग्रामिंग के विभिन्न पहलुओं को प्रकट करते हैं। स्पेक्ट्रम के दूसरी तरफ, हमारे पास विशेष वैज्ञानिक स्कूल हैं जो व्याख्यान के प्रारूप में, जटिल सिद्धांत के विशाल संस्करणों को प्रकट करते हैं। उदाहरण के लिए, SPTDC स्कूल सेंट पीटर्सबर्ग में हाइड्रा के समानांतर चलता है। हाइड्रा में, हमने एक साथ कठोर अभ्यास, और विज्ञान, और उनके जंक्शन पर सब कुछ लाने की कोशिश की।

इस बारे में सोचें: हम एक अद्भुत समय में रहते हैं जब आप विज्ञान और इंजीनियरिंग के क्षेत्र के संस्थापकों से मिल सकते हैं, जिसमें हम लगे हुए हैं। भौतिकवादी न्यूटन या आइंस्टीन से नहीं मिलेंगे - ट्रेन छोड़ दिया। लेकिन अभी भी हमारे आस-पास रहने वाले लोग हैं जिन्होंने वितरित प्रणालियों के सिद्धांत की नींव बनाई, लोकप्रिय प्रोग्रामिंग भाषाओं के साथ आए, और पहली बार यह सब काम कर रहे प्रोटोटाइप में सन्निहित किया। इन लोगों ने अपना काम आधा नहीं छोड़ा है, अभी वे विश्व प्रसिद्ध विश्वविद्यालयों और कंपनियों में आवश्यक कार्यों में लगे हुए हैं, और आज तक के ज्ञान और अनुभव के सबसे बड़े स्रोत हैं।

दूसरी ओर, उनके साथ मिलने का अवसर आमतौर पर विशुद्ध रूप से सैद्धांतिक रहता है: हम में से कुछ लगातार रोचेस्टर विश्वविद्यालय के किसी भी कार्यक्रम में सार्वजनिक कार्यक्रमों की निगरानी कर सकते हैं, फिर यूएसए और माइकल स्कॉट के व्याख्यान के लिए वापस आ सकते हैं। सामान्य रूप से सभी हाइड्रा प्रतिभागियों का दौरा करने के लिए एक छोटे से राज्य में होगा, खर्च किए गए समय के रसातल की गिनती नहीं (हालांकि यह एक दिलचस्प खोज की तरह लगता है)।

दूसरी ओर, हमारे पास बहुत से शीर्ष इंजीनियर हैं जो अभी वितरित प्रणालियों की तत्काल समस्याओं पर काम कर रहे हैं, और उनके पास निश्चित रूप से कुछ बताने के लिए है। लेकिन यहाँ समस्या है - वे काम करते हैं , और उनका समय महंगा है। हां, यदि आप Microsoft, Google या JetBrains के कर्मचारी हैं, तो किसी आंतरिक कार्यक्रम में प्रसिद्ध वक्ताओं में से एक से मिलने की संभावना नाटकीय रूप से बढ़ जाती है, लेकिन सामान्य रूप से - नहीं, हर दिन ऐसा नहीं होता है।

इस प्रकार, हाइड्रा सम्मेलन एक महत्वपूर्ण कार्य को पूरा करता है जो हम में से अधिकांश खुद नहीं कर सकते हैं - एक ही स्थान पर और एक ही समय में उन लोगों को साथ लाता है जिनके विचार या संचार आपके जीवन को बदल सकते हैं। मैं मानता हूं कि सभी को वितरित प्रणाली, कुछ जटिल मूलभूत चीजों की आवश्यकता नहीं है। आप अपने बाकी जीवन के लिए PHP में CRUDs को प्रोग्राम कर सकते हैं और पूरी तरह से खुश रह सकते हैं। लेकिन इसे किसकी जरूरत है यह आपका मौका है।

हैबे पर हाइड्रा सम्मेलन की पहली घोषणा के बाद काफी समय बीत चुका है। इस समय के दौरान, बहुत सारे काम किए गए हैं - और अब, हमारे पास लगभग सभी रिपोर्टों की एक सूची है। कोई सुस्त एकल-थ्रेडेड एल्गोरिदम, सिर्फ शुद्ध वितरित कट्टर! आइए सामान्य शब्दों के साथ समाप्त करें, और देखें कि अब हमारे पास क्या है।

Keynouty

Keynotes सम्मेलन के दिनों को शुरू और समाप्त होता है। आमतौर पर उद्घाटन मुख्य का अर्थ सम्मेलन की सामान्य भावना और दिशा निर्धारित करना है। समापन मुख्य पंक्ति एक रेखा खींचती है और बताती है कि सम्मेलन के दिनों में अर्जित ज्ञान और कौशल के साथ कैसे रहना है। शुरुआत और अंत: वह जो सबसे अच्छी तरह से याद किया जाएगा, और सामान्य रूप से, इसका महत्व है।

क्लिफ क्लिक - H2O ने K / V एल्गोरिथम वितरित किया

जावा दुनिया में क्लिफ एक किंवदंती है। 90 के दशक के अंत में, पीएचडी थीसिस के लिए, उन्होंने कॉम्बिंग एनालिसिस, कॉम्बिनेशन ऑप्टिमाइज़ेशन नामक एक काम लिखा, जो कुछ समय बाद हॉटस्पॉट जेवीएम सर्वर कंपाइलर का आधार बन गया। दो साल बाद, उन्होंने पहले से ही जेवीएम पर सन माइक्रोसिस्टम्स में काम किया और दुनिया को दिखाया कि जेआईटी को अस्तित्व का अधिकार है। पूरी कहानी यह है कि जावा क्लिफ क्लिक से आए सबसे तेज और सबसे तेज अनुकूलन के साथ सबसे तेज आधुनिक रनटाइम्स में से एक है। बहुत शुरुआत में, यह माना जाता था कि अगर स्टेटिक कंपाइलर को कुछ मिलता है, तो आप जिट करने की कोशिश भी नहीं कर सकते। क्लिफ और टीम के काम के लिए धन्यवाद, सभी नई भाषाओं को डिफ़ॉल्ट JIT संकलन के विचार के साथ बनाया जाना शुरू हुआ। बेशक, यह एक व्यक्ति के लिए एक नौकरी नहीं थी, लेकिन क्लिफ ने इसमें बहुत महत्वपूर्ण भूमिका निभाई।

ओपनिंग कीनोट में, क्लिफ अपने अन्य प्रयासों के बारे में बात करेंगे - H20 , औद्योगिक अनुप्रयोगों के लिए वितरित और स्केलेबल मशीन लर्निंग के लिए एक इन-मेमोरी प्लेटफॉर्म। या बल्कि, इसके अंदर कुंजी-मूल्य जोड़े के वितरित भंडारण के बारे में। यह बहुत तेज़ रिपॉजिटरी है जिसमें बहुत सारे दिलचस्प गुण हैं (सटीक सूची विवरण में है ) जो आपको बड़े डेटा स्ट्रीमिंग के गणित में समान समाधान का उपयोग करने की अनुमति देता है।

एक और बात क्लिफ देगा द अज़ुल हार्डवेयर ट्रांजेक्शनल मेमोरी अनुभव । उनकी जीवनी का एक और हिस्सा अज़ुल में दस साल का काम है , जहां उन्होंने हार्डवेयर और अज़ुल तकनीक के ढेर में बहुत सी चीजों को अपडेट और सुधार किया है: जेआईटी कंपाइलर्स, रनटाइम, थ्रेड मॉडल, एरर हैंडलिंग, स्टैक वर्क, हार्डवेयर इंटरप्ट, क्लास लोडिंग और इतने पर। इस तरह की चीजें - ठीक है, आप बात करते हैं।

सबसे दिलचस्प हिस्सा तब शुरू हुआ जब उन्होंने बड़े व्यवसाय के लिए हार्डवेयर बनाया - जावा चलाने के लिए एक सुपर कंप्यूटर। यह एक विशेष रूप से अभिनव चीज थी, जिसे विशेष रूप से जावा के लिए तेज किया गया था, जिसमें विशेष आवश्यकताएं हैं - कम-गड्ढे कचरा संग्रह के लिए पढ़ने के लिए मेमोरी बाधाएं, बॉर्डर चेकिंग के साथ सरणियां, आभासी कॉल ... सबसे अच्छी प्रौद्योगिकियों में से एक हार्डवेयर ट्रांजेक्शनल मेमोरी है। 864 में से किसी भी कोर के सभी L1 लेन-देन लेखन में भाग ले सकते हैं, जो कि जावा में ताले के साथ काम करने के लिए विशेष रूप से महत्वपूर्ण है (सिंक्रनाइज़ेशन ब्लॉक समानांतर में काम कर सकते हैं, जब तक कि कोई वास्तविक मेमोरी संघर्ष न हो)। लेकिन एक सुंदर विचार कठोर वास्तविकता में दुर्घटनाग्रस्त हो गया - और इस रिपोर्ट में, क्लिफ बताएंगे कि एचटीएम और एसटीएम बहु-थ्रेडेड कंप्यूटिंग की व्यावहारिक जरूरतों के लिए बहुत उपयुक्त क्यों नहीं हैं।

माइकल स्कॉट - दोहरी डेटा संरचनाएं

माइकल स्कॉट रोचेस्टर विश्वविद्यालय में कंप्यूटर विज्ञान के एक प्रोफेसर हैं, जिनके साथ भाग्य ने पहले ही उन्हें 34 वर्षों के लिए जोड़ा था, और विस्कॉन्सिन के होम विश्वविद्यालय - मैडिसन में, वह पांच साल के लिए डीन थे। वह समानांतर और वितरित प्रोग्रामिंग और भाषा डिजाइन के क्षेत्र में अनुसंधान में लगे हुए हैं और छात्रों को यह सिखाते हैं।

पूरी दुनिया माइकल को पाठ्यपुस्तक "प्रोग्रामिंग लैंग्वेज प्रैग्मेटिक्स" के लिए धन्यवाद देती है, जिसका अंतिम संस्करण 2015 में अपेक्षाकृत हाल ही में जारी किया गया था। उनका काम "शेयर्ड-मेमोरी मल्टीप्रोसेसर पर स्केलेबल सिंक्रोनाइज़ेशन के लिए एल्गोरिदम" ने दिक्क्स्ट्रा पुरस्कार जीता , जो वितरित कंप्यूटिंग के क्षेत्र में सबसे प्रसिद्ध है और रोचेस्टर विश्वविद्यालय के ऑनलाइन पुस्तकालय में खुले तौर पर निहित है। आप उन्हें "सिंपल, फास्ट, और प्रैक्टिकल नॉन-ब्लॉकिंग और ब्लॉकिंग कॉन्ट्रैक्ट क्यू क्यू एल्गोरिदम" से समान माइकल-स्कॉट एल्गोरिथ्म के लेखक के रूप में भी जान सकते हैं।

जावा दुनिया के लिए, यह एक विशेष मामला है: डौग ली के साथ मिलकर, उन्होंने उन गैर-अवरुद्ध एल्गोरिदम और तुल्यकालिक कतारें विकसित कीं, जो जावा लाइब्रेरी चलाते हैं। यह वही है जो दोहरी डेटा संरचनाएं मुख्य रूप से होगा - जावा एसई 6 में इन संरचनाओं की शुरूआत ने java.util.concurrent.ThreadPoolExecutor के प्रदर्शन को सुधारने के लिए 10 बार अनुमति दी। यदि आप अग्रिम में रुचि रखते हैं कि ये "दोहरी डेटा संरचनाएं" क्या हैं, तो इसके बारे में एक संगत कार्य है।

मौरिस हेरलहि - ब्लॉकचिन्स और वितरित कंप्यूटिंग का भविष्य

मौरिस हर्लिची दो दिक्जस्त्र पुरस्कारों की विजेता हैं। पहला वेट-फ्री सिंक्रोनाइज़ेशन (ब्राउन यूनिवर्सिटी) के लिए है, और दूसरा, हाल ही में, ट्रांसेक्शनल मेमोरी: लॉक-फ्री डेटा स्ट्रक्चर्स (वर्जीनिया टेक यूनिवर्सिटी) के लिए आर्किटेक्चरल सपोर्ट है । दिक्जस्त्र पुरस्कार उन कार्यों के लिए दिया जाता है, जिनका महत्व और प्रभाव कम से कम दस वर्षों तक ध्यान देने योग्य है, और, जाहिर है, मौरिस क्षेत्र के सबसे प्रसिद्ध विशेषज्ञों में से एक है। वह वर्तमान में ब्राउन विश्वविद्यालय में प्रोफेसर के रूप में काम करता है और लंबाई में एक पूरे पैराग्राफ के लिए कई उपलब्धियां हैं।

इस समापन के मुख्य बिंदु पर, मौरिस वितरित कंप्यूटिंग के क्लासिक्स के संदर्भ में ब्लॉकचैन वितरित प्रणालियों के सिद्धांत और अभ्यास के बारे में बात करेंगे और यह कई संबंधित समस्याओं को सरल करता है। यह रिपोर्ट विशेष रूप से सम्मेलन के विषय पर है - खनन प्रचार के बारे में बिल्कुल नहीं, बल्कि इसके बारे में कि कैसे हमारा ज्ञान विभिन्न प्रकार के कार्यों को लागू करने के लिए आश्चर्यजनक रूप से प्रभावी और उपयुक्त हो सकता है।

जुलाई 2017 में, मौरिस SPTDC स्कूल में रूस आए, JUG.ru रैली में भाग लिया, और रिकॉर्डिंग को YouTube पर देखा जा सकता है:

मुख्य कार्यक्रम

अगला कार्यक्रम में शामिल रिपोर्टों की एक छोटी समीक्षा होगी। कुछ रिपोर्टें यहाँ विस्तार से वर्णित हैं, और कुछ छोटी हैं। मुख्य रूप से अंग्रेजी-भाषी रिपोर्टों में वैज्ञानिक कागजात, विकिपीडिया पर शर्तों और इतने पर लिंक की आवश्यकता के लिए लंबे विवरण प्राप्त किए गए थे। पूरी सूची सम्मेलन की वेबसाइट पर देखी जा सकती है । साइट पर सूची अपडेट और पूरक होगी।

लेस्ली लामपोर्ट - क्यू एंड ए

लेसली लैमपोर्ट वितरित कंप्यूटिंग में मौलिक काम के लेखक हैं। LaTeX का मतलब Lamport TeX है। यह पहली बार था जब उन्होंने 1979 में लगातार सुसंगतता की अवधारणा शुरू की, और उनके लेख "कैसे एक मल्टीप्रोसेसर कंप्यूटर बनाने के लिए जो सही ढंग से मल्टीप्रोसेस प्रोग्राम को निष्पादित करता है" ने दिक्जस्ट्रा पुरस्कार जीता।

यह प्रारूप के संदर्भ में कार्यक्रम का सबसे असामान्य हिस्सा है, क्योंकि यह एक रिपोर्ट भी नहीं है, बल्कि एक प्रश्न और उत्तर सत्र है। जब दर्शकों का एक महत्वपूर्ण हिस्सा पहले से ही परिचित है (या परिचित हो सकता है) "लैम्पपोर्ट सिद्धांत", अपने स्वयं के लेखों और रिपोर्टों के आधार पर सभी प्रकार के कार्यों के साथ, प्रत्यक्ष संचार पर सभी उपलब्ध समय बिताना महत्वपूर्ण है।

यह विचार सरल है - आप YouTube पर दो रिपोर्टें देखते हैं: "प्रोग्रामिंग को कोडिंग से अधिक होना चाहिए" और "यदि आप प्रोग्राम नहीं लिख रहे हैं, तो प्रोग्रामिंग भाषा का उपयोग न करें" और कम से कम एक प्रश्न और लेस्ली उत्तर तैयार करें।

इन दो वीडियो में से पहला वीडियो हम पहले ही हब्रस्टा में बदल चुके हैं । यदि आपके पास वीडियो देखने के लिए एक घंटा नहीं है, तो आप पाठ में यह सब जल्दी से पढ़ सकते हैं।

नोट: यूट्यूब पर लेस्ली लामपोर्ट के बहुत अधिक वीडियो हैं। उदाहरण के लिए, एक उत्कृष्ट टीएलए + पाठ्यक्रम है । इस पूरे पाठ्यक्रम का ऑफ़लाइन संस्करण लेखक के होमपेज पर है , और YouTube पर उसने इसे मोबाइल उपकरणों पर आसानी से देखने के लिए अपलोड किया है।

मार्टिन क्लेपमैन - वितरित सहयोग के लिए उपयोगकर्ता उपकरणों में डेटा समन्वयित करना

मार्टिन क्लेपमैन कैम्ब्रिज विश्वविद्यालय के एक शोधकर्ता हैं, जो सीआरडीटी पर काम कर रहे हैं और एल्गोरिदम का औपचारिक सत्यापन कर रहे हैं। 2017 में प्रकाशित मार्टिन की पुस्तक डिजाइनिंग डेटा-इंटेंसिव एप्लिकेशन बहुत सफल साबित हुई और इसे डेटा स्टोरेज और प्रोसेसिंग के क्षेत्र में बेस्टसेलर सूची में शामिल किया गया। केविन स्कॉट, माइक्रोसॉफ्ट में सीटीओ, ने एक बार कहा था : “यह पुस्तक विकास इंजीनियरों के लिए एक होनी चाहिए। "यह सिद्धांत और व्यवहार के संयोजन वाला एक दुर्लभ संसाधन है, जो डेवलपर्स को बेहतर डिज़ाइन और बुनियादी ढांचे और डेटा प्रसंस्करण प्रणालियों को लागू करने में मदद करता है।" कुछ ऐसा ही कहा था कफका के निर्माता और सीईओ कंफ्लुएंट, जे क्रेप्स ने।

शैक्षणिक अनुसंधान में संलग्न होने से पहले, मार्टिन ने उद्योग में काम किया और दो सफल स्टार्टअप की सह-स्थापना की:

• Rapportive, आपके ईमेल से संपर्कों की सामाजिक प्रोफ़ाइल प्रदर्शित करने के लिए समर्पित, जिसे लिंक्डइन ने 2012 में खरीदा था;
• Go Test It, विभिन्न ब्राउज़रों में वेबसाइटों की स्वचालित रूप से जाँच करने के लिए एक सेवा है, जिसे RedGate ने 2009 में खरीदा था।

सामान्य तौर पर, मार्टिन, हालांकि हमारे keynoters की तुलना में कम प्रसिद्ध थे, पहले से ही वितरित कंप्यूटिंग के विकास और उद्योग में कुछ योगदान देने में सक्षम थे।

इस रिपोर्ट में, मार्टिन अपने अकादमिक शोध के करीब एक विषय पर बात करेंगे। Google डॉक्स और सह-संपादन दस्तावेज़ों के लिए एक समान सोफे में, "सह-संपादन" का अर्थ प्रतिकृति का कार्य है: प्रत्येक उपयोगकर्ता के पास सामान्य दस्तावेज़ की अपनी प्रतिकृति होती है, जिसे वे फिर संशोधित करते हैं, और सभी परिवर्तन नेटवर्क के माध्यम से अन्य प्रतिभागियों को भेजे जाते हैं। अन्य प्रतिभागियों के संबंध में दस्तावेज़ की अस्थायी असंगति में ऑफ़लाइन परिणाम के दस्तावेज़ों में परिवर्तन, और पुन: सिंक्रनाइज़ेशन के लिए संघर्ष से निपटने की आवश्यकता होती है। बस इसके लिए, कंफर्ट -फ्री रेप्लिकेटेड डेटा टाइप्स (CRDT) हैं, वास्तव में - एक नई चीज, जिसका सार केवल 2011 में तैयार किया गया था। इस रिपोर्ट में चर्चा की गई है कि तब से सीआरडीटी दुनिया में क्या हुआ है, नवीनतम उपलब्धियां क्या हैं, सामान्य रूप से स्थानीय-पहले अनुप्रयोगों को बनाने के दृष्टिकोण और विशेष रूप से ओपन सोर्स लाइब्रेरी ऑटोमेगर के उपयोग पर चर्चा करता है।

अगले सप्ताह हम मार्टिन के साथ एक बड़े इंटरव्यू हैबे पर प्रकाशित करेंगे, यह दिलचस्प होगा।

पेड्रो रामलहेटे - प्रतीक्षा-मुक्त डेटा संरचनाएँ और प्रतीक्षा-मुक्त लेनदेन

पेड्रो सिस्को में काम कर रहा है और पिछले दस वर्षों से समानांतर एल्गोरिदम विकसित कर रहा है, जिसमें सिंक्रोनाइज़ेशन मैकेनिज्म, लॉक-फ्री और प्रतीक्षा-मुक्त डेटा संरचनाएं और वह सब कुछ शामिल है जिसकी आप इस विषय पर कल्पना कर सकते हैं। उनके वर्तमान शोध और इंजीनियरिंग के हित यूनिवर्सल कंस्ट्रक्शंस, सॉफ्टवेयर ट्रांसेक्शनल मेमोरी, परसेंट मेमोरी और इसी तरह की तकनीकों पर केंद्रित हैं जो सही, मापनीय और दोष-सहिष्णु अनुप्रयोगों के कार्यान्वयन को सक्षम करते हैं। उन्होंने यह भी संक्षिप्तता ब्लॉग के लेखक, व्यापक रूप से संकीर्ण क्षेत्रों में जाना जाता है।

अधिकांश बहु-थ्रेडेड अनुप्रयोग अब समानांतर डेटा संरचनाओं पर काम करते हैं, अभिनेताओं के बीच संदेश कतारों का उपयोग करने के साथ शुरू होता है और कुंजी-मूल्य भंडारण में अनुक्रमित डेटा संरचनाओं के साथ समाप्त होता है। जावा JDK में, वे कई वर्षों से सफलतापूर्वक काम कर रहे हैं, और C ++ में उन्हें धीरे-धीरे जोड़ा जा रहा है।

समानांतर डेटा संरचना को लागू करने का सबसे सरल तरीका एक अनुक्रमिक (एकल-थ्रेडेड) कार्यान्वयन है जिसमें विधियों को म्यूटेक्स द्वारा संरक्षित किया जाता है। यह किसी भी जून के लिए सुलभ है, लेकिन स्केलिंग और प्रदर्शन के साथ स्पष्ट समस्याएं हैं। उसी समय, लॉक-फ़्री और प्रतीक्षा-मुक्त डेटा संरचनाएं न केवल त्रुटियों से बेहतर सामना करती हैं, बल्कि एक अधिक सफल प्रदर्शन प्रोफ़ाइल भी हैं - हालांकि, उनके विकास के लिए एक विशिष्ट आवेदन के लिए गहन विशेषज्ञता और अनुकूलन की आवश्यकता होती है। कोड की एक गलत लाइन सब कुछ तोड़ने के लिए पर्याप्त है।

इस तरह के डेटा संरचनाओं को डिजाइन और कार्यान्वित करने में भी एक गैर-विशेषज्ञ कैसे बना सकता है? यह ज्ञात है कि किसी भी अनुक्रमिक एल्गोरिथ्म को एक सार्वभौमिक डिज़ाइन या ट्रांसेक्शनल मेमोरी का उपयोग करके थ्रेड-सुरक्षित बनाया जा सकता है। एक के लिए, वे इस कार्य में प्रवेश के लिए सीमा कम कर सकते हैं। हालांकि, दोनों समाधान अक्षम कार्यान्वयन का नेतृत्व करते हैं। पेड्रो इस बारे में बात करेंगे कि कैसे वे इन डिजाइनों को अधिक कुशल बनाने में कामयाब रहे और उनका उपयोग उनके एल्गोरिदम के लिए कैसे किया जा सकता है।

हेइडी हॉवर्ड - वितरित आम सहमति

मार्टिन की तरह हीदी हॉवर्ड, कैंब्रिज विश्वविद्यालय में एक वितरित सिस्टम शोधकर्ता हैं। उसकी विशेषज्ञता स्थिरता, गलती सहिष्णुता, प्रदर्शन और वितरित आम सहमति है। वह फ्लेक्सिबल पाक्सोस नामक पैक्सोस एल्गोरिथ्म को सामान्य करने के लिए जाना जाता है ।

याद रखें कि पैक्सोस अविश्वसनीय कंप्यूटरों के एक नेटवर्क में आम सहमति समस्या को हल करने के लिए प्रोटोकॉल का एक परिवार है, जो लेस्ली लामपोर्ट के काम पर आधारित थे। इस प्रकार, हमारे कुछ वक्ता मूल रूप से हमारे अन्य वक्ताओं द्वारा प्रस्तावित कार्यों पर काम कर रहे हैं - और यह अद्भुत है।

कई मेजबानों के बीच आम सहमति खोजने की क्षमता - संबोधन, नेता चयन, अवरुद्ध या समन्वय के लिए - आधुनिक वितरित प्रणालियों में एक बुनियादी मुद्दा है। पैक्सोस अब सर्वसम्मति खोजने की समस्याओं को हल करने का मुख्य तरीका है, और विभिन्न व्यावहारिक जरूरतों के लिए एल्गोरिथ्म का विस्तार और अनुकूलन करने के लिए इसके चारों ओर बहुत सारे शोध किए जा रहे हैं।

इस रिपोर्ट में, हम Paxos के सैद्धांतिक आधार को संशोधित करेंगे, प्रारंभिक आवश्यकताओं को कमजोर करेंगे और एल्गोरिथ्म को सामान्य करेंगे। हम देखेंगे कि पैक्सोस, वास्तव में आम सहमति दृष्टिकोणों की एक विशाल श्रेणी के बीच केवल एक ही विकल्प है, और स्पेक्ट्रम में अन्य बिंदु भी अच्छे वितरित सिस्टम के निर्माण के लिए बहुत उपयोगी हैं।

एलेक्स पेट्रोव - क्षणिक प्रतिकृति और सस्ते कोरम के साथ अपने भंडारण की लागत को कम करें

एलेक्स डेटाबेस और भंडारण प्रणालियों में एक विशेषज्ञ है, और हमारे लिए अधिक महत्वपूर्ण बात, कैसंड्रा में एक कमिटेटर है । ओ'रेली के साथ मिलकर, वह वर्तमान में डेटाबेस डेटाबेस की पुस्तक पर काम कर रहा है।

अंततः संगति के साथ सिस्टम के लिए (रूसी शब्दावली में - "लंबे समय में स्थिरता"), एक नोड गिरने के बाद या नेटवर्क को विभाजित करने के बाद, निम्नलिखित दुविधा को हल किया जाना चाहिए: या तो अनुरोधों को पूरा करना जारी रखना, स्थिरता का त्याग करना, या उन्हें पूरा करने से इनकार करना और उपलब्धता का त्याग करना। इस तरह की प्रणाली में, कोरम ओवरलैपिंग नोड्स के ओवरलैपिंग करते हैं और गारंटी देते हैं कि कम से कम एक नोड में सबसे हाल का मूल्य होगा एक अच्छा सीमा समाधान हो सकता है। आप नवीनतम मानों के साथ प्रतिक्रिया जारी रखने के लिए कुछ नोड्स में विफलताओं और कनेक्शन के नुकसान से बच सकते हैं।

हालांकि, सब कुछ एक कीमत पर आता है। कोरम प्रतिकृति योजना का मतलब है एक बढ़ी हुई भंडारण लागत: आपको समस्या के समय उपलब्ध प्रतियों की पर्याप्त संख्या की गारंटी के लिए एक साथ कई नोड्स पर अनावश्यक डेटा संग्रहीत करने की आवश्यकता होती है। यह पता चलता है कि आप सभी प्रतिकृतियों का सारा डाटा स्टोर नहीं कर सकते हैं। आप नोड्स के केवल भाग पर डेटा रखकर भंडारण पर लोड को कम कर सकते हैं, और विफलता प्रसंस्करण परिदृश्यों के लिए विशेष नोड्स (क्षणिक प्रतिकृति) का उपयोग कर सकते हैं।

रिपोर्ट के पाठ्यक्रम में, हम गवाह रेप्लिकास , स्पैनर और मेगास्टॉर द्वारा इस्तेमाल की जाने वाली प्रतिकृति योजना और अपाचे कैसेंड्रा में ट्रांसिएंट रिप्लेसमेंट और सस्ते कोरम नाम के तहत इस अवधारणा को लागू करेंगे ।

दिमित्री व्युकोव - गोराउटाइन्स उजागर

दिमित्री एक Google डेवलपर है जो C / C ++ और गो - एड्रेस / मेमोरी / थ्रेडसनिटाइज़र के गतिशील परीक्षण पर काम कर रहा है, और लिनक्स कर्नेल के लिए इसी तरह के उपकरणों पर। गो में एक स्केलेबल गोरोइन शेड्यूलर, नेटवर्क पोलर और समानांतर कचरा कलेक्टर है। वह मल्टीथ्रेडिंग में एक विशेषज्ञ है, एक दर्जन नए गैर-अवरुद्ध एल्गोरिदम के लेखक और इंटेल ब्लैक बेल्ट के मालिक हैं।

अब थोड़ी ही रिपोर्ट के बारे में। गो को गोरोइटिन (हल्के धागे) और चैनलों (एफआईएफओ कतारों) के रूप में मल्टीथ्रेडिंग के लिए देशी समर्थन है। इन तंत्रों के लिए धन्यवाद, उपयोगकर्ताओं के लिए आधुनिक मल्टीथ्रेडेड एप्लिकेशन लिखना बहुत आसान और सुखद है, और यह जादू जैसा दिखता है। जैसा कि हम समझते हैं, यहां कोई जादू नहीं है। इस रिपोर्ट में, दिमित्री गो शेड्यूलर के काम की पेचीदगियों में तल्लीन हो जाएगा और इस "जादू" के कार्यान्वयन के रहस्यों को दिखाएगा। सबसे पहले, वह अनुसूचक के मुख्य घटकों का अवलोकन करेगा, आपको बताता है कि यह कैसे काम करता है। इसके अलावा, हम कुछ पहलुओं पर बारीकी से विचार करेंगे, जैसे कि पार्किंग / अनपैकिंग रणनीति और ब्लॉकिंग सिस्टम कॉल की प्रोसेसिंग। अंत में, दिमित्री अनुसूचक में संभावित सुधारों के बारे में थोड़ी बात करेंगे।

दिमित्री बुगाचेन्को - संभावना स्केच और अधिक का उपयोग करके वितरित विश्लेषण का तेजी से विकास

दिमित्री ने विश्वविद्यालय और वैज्ञानिक समुदाय के साथ संपर्क खोए बिना, लगभग 9 वर्षों तक आउटसोर्सिंग में काम किया। Odnoklassniki में बड़ा डेटा विश्लेषण उनके लिए वास्तविक, मांग वाले उत्पादों के विकास के साथ सैद्धांतिक प्रशिक्षण और वैज्ञानिक नींव को संयोजित करने का एक अनूठा मौका था।

वितरित ग्राफ़ विश्लेषण था और एक कठिन काम बना हुआ है: जब किसी पड़ोसी के शीर्ष के कनेक्शन के बारे में जानकारी प्राप्त करना आवश्यक हो जाता है, तो डेटा को अक्सर मशीनों के बीच डिस्टिल्ड करना पड़ता है, जिससे निष्पादन समय में वृद्धि होती है और नेटवर्क के बुनियादी ढांचे पर भार पड़ता है। इस रिपोर्ट में, हम देखेंगे कि आप एक सामाजिक नेटवर्क में दोस्ती के ग्राफ की समरूपता जैसे संभावित डेटा संरचनाओं या तथ्यों का उपयोग करके महत्वपूर्ण प्रसंस्करण गति कैसे प्राप्त कर सकते हैं। यह सब अपाचे स्पार्क कोड उदाहरण द्वारा सचित्र है।

डेनिस रिस्तसोव - क्षणिक प्रतिकृति और सस्ते कोरम के साथ अपने भंडारण की लागत को कम करें

डेनिस एक कॉस्मॉस डीबी डेवलपर है, सर्वसम्मति एल्गोरिदम में और वितरित लेनदेन में स्थिरता मॉडल की जाँच करने के क्षेत्र में एक विशेषज्ञ है। अब वह माइक्रोसॉफ्ट में काम करता है, और इससे पहले वह अमेज़न और यैंडेक्स में वितरित सिस्टम में लगा हुआ था।

इस रिपोर्ट में, हम पिछले कुछ वर्षों में आविष्कार किए गए वितरित लेनदेन प्रोटोकॉल से परिचित होंगे, जिसे सशर्त अद्यतन (तुलना और सेट) का समर्थन करने वाले किसी भी डेटा स्टोर के शीर्ष पर क्लाइंट की तरफ से लागू किया जा सकता है। लब्बोलुआब यह है कि जीवन दो-चरण की प्रतिबद्धताओं के साथ समाप्त नहीं होता है, लेनदेन को किसी भी डेटाबेस के शीर्ष पर जोड़ा जा सकता है - आवेदन स्तर पर, लेकिन विभिन्न प्रोटोकॉल (2PC, Percolator, RAMP) में अलग-अलग ट्रेडऑफ़ हैं और हमें मुफ्त में नहीं दिए गए हैं।

एलेक्सी ज़िनोविएव - सभी एमएल एल्गोरिदम नहीं वितरित स्वर्ग में जाते हैं

अलेक्सी ( ज़लेसलाव ) हमारे लंबे समय के स्पीकर हैं और अन्य सम्मेलनों में कार्यक्रम समितियों के सदस्य हैं। ईपीएएम सिस्टम में ट्रेनर का अभ्यास करना, और 2012 के बाद से हडोप / स्पार्क और अन्य बिगडेट्स के साथ दोस्त हैं।

इस रिपोर्ट में, अलेक्सी अपाचे स्पार्क एमएल, अपाचे महाउट, अपाचे फ्लिंक एमएल के साथ काम करने और अपाचे इग्नाइट एमएल बनाने के अनुभव के आधार पर वितरित निष्पादन के लिए क्लासिक मशीन लर्निंग एल्गोरिदम को अपनाने की समस्याओं के बारे में बात करेंगे। एलेक्सी इन रूपरेखाओं में वितरित एमएल-एल्गोरिदम के कार्यान्वयन के बारे में भी बात करेंगे।

और अंत में - यांडेक्स से दो रिपोर्टें यैंडेक्स डेटाबेस के बारे में।

व्लादिस्लाव कुज़नेत्सोव - यैंडेक्स डेटाबेस - हम गलती सहिष्णुता कैसे प्रदान करते हैं

व्लादिस्लाव एक वितरित मंच समूह में एक यैंडेक्स डेवलपर है। यैंडेक्स डेटाबेस एक क्षैतिज रूप से स्केलेबल जियो-वितरित दोष-सहिष्णु डीबीएमएस है जो निरंतरता से समझौता किए बिना डिस्क, सर्वर, रैक और डेटा केंद्रों की विफलता का सामना कर सकता है। दोष सहिष्णुता सुनिश्चित करने के लिए, एक स्वामित्व वितरित सर्वसम्मति एल्गोरिथ्म का उपयोग किया जाता है, साथ ही साथ कई तकनीकी समाधानों पर चर्चा की जाती है, जो रिपोर्ट में विस्तार से चर्चा की जाती है। रिपोर्ट DBMS के आधार पर आवेदन समाधान के डेवलपर्स और डेवलपर्स दोनों के लिए ब्याज की हो सकती है।

Semyon Checherinda - YDB में वितरित लेनदेन

Semyon - Yandex में एक वितरित मंच के एक समूह में एक डेवलपर, YDB स्थापना के बहु-किरायेदार उपयोग की संभावना पर काम कर रहा है।

यांडेक्स डेटाबेस ओएलटीपी अनुरोधों के लिए डिज़ाइन किया गया है और एक लेनदेन प्रणाली के लिए एसीआईडी ​​आवश्यकताओं को पूरा करता है। रिपोर्ट में, हम YDB लेनदेन प्रणाली के अंतर्निहित लेनदेन योजना एल्गोरिथ्म पर विचार करेंगे। हम विश्लेषण करेंगे कि कौन सी संस्थाएं लेन-देन में भाग लेती हैं, जो लेनदेन को एक वैश्विक आदेश प्रदान करती हैं, लेनदेन की विश्वसनीयता, विश्वसनीयता और एक सख्त अलगाव स्तर कैसे प्राप्त किया जाता है। एक सामान्य समस्या के उदाहरण का उपयोग करते हुए, हम दो-चरण की प्रतिबद्ध और निर्धारक लेनदेन का उपयोग करके लेनदेन के कार्यान्वयन पर विचार करते हैं। हम उनके मतभेदों पर चर्चा करते हैं।

आगे क्या है?

सम्मेलन कार्यक्रम नई रिपोर्टों से भरा हुआ है। विशेष रूप से, हम Jetnrains से निकिता कोवल ( ndkoval ) और Odnoklassniki से ओलेग अनास्तासिव ( m0nstermind ) से एक रिपोर्ट की उम्मीद करते हैं। निकिता कोटलिन टीम में कॉरटाइन्स के लिए एल्गोरिदम में लगी हुई है, और ओलेग ओडनोक्लास्निक मंच में अत्यधिक लोड सिस्टम के लिए वास्तुकला और समाधान विकसित कर रहा है। इसके अलावा, उम्मीदवारों के साथ एक और सशर्त खाली स्लॉट है, जिसके लिए कार्यक्रम समिति अभी काम कर रही है।

हाइड्रा सम्मेलन 11-12 जुलाई को सेंट पीटर्सबर्ग में आयोजित किया जाएगा। टिकट आधिकारिक वेबसाइट पर खरीदे जा सकते हैं। हम ऑनलाइन टिकटों की उपलब्धता पर ध्यान आकर्षित करते हैं - यदि किसी कारण से आप इन दिनों सेंट पीटर्सबर्ग में नहीं रह सकते हैं।

मुझे हाइड्रा पर मिलो!