यैंडेक्स क्लाउड को खोलता है। नए प्लेटफॉर्म का आर्किटेक्चर

आज Yandex.Cloud सभी के लिए उपलब्ध हो गया है। अब कोई भी उपयोगकर्ता क्लाउड पर जा सकता है और अपनी जरूरत के संसाधनों को तैनात कर सकता है, यांडेक्स प्रौद्योगिकियों तक पहुंच प्राप्त कर सकता है। उदाहरण के लिए, मशीनी अनुवाद और भाषण मान्यता और संश्लेषण के लिए।

आज मैं आपको Yandex.Cloud से परिचित कराना चाहता हूं और बताता हूं कि यह अंदर कैसे व्यवस्थित है। कटौती के तहत आप हमारे मंच के इतिहास, टीम और वास्तुकला के बारे में थोड़ा जानेंगे।

थोड़ा सा इतिहास

इस तथ्य के बावजूद कि यैंडेक्स क्लाउड प्लेटफॉर्म पहली बार सार्वजनिक रूप से इतने लंबे समय से पहले नहीं दिखाया गया था, परियोजना लंबे समय से कंपनी के भीतर विकसित हो रही है और कई चरणों में जीवित रहने में कामयाब रही है, और इसके आधार पर गठित कई तकनीकों ने यैंडेक्स के आंतरिक बुनियादी ढांचे में समय की परीक्षा पास की है। विकास पिछले साल शुरू हुआ, और पहले बाहरी उपयोगकर्ताओं ने अप्रैल 2018 में मंच का परीक्षण शुरू किया। यह एक बंद मोड था, जिसमें लगभग 100 कंपनियों ने भाग लिया था - विभिन्न आकारों की वेब सेवाएं, सास डेवलपर्स और निगम। सितंबर में, हमने एक सार्वजनिक साइट खोली थी, लेकिन आप केवल प्रतीक्षा सूची के माध्यम से ही क्लाउड में प्रवेश कर सकते थे, और अब, दिसंबर में, सभी के लिए उपयोग खुला हो गया है।

बहुत शुरुआत में, जब उत्पाद विकास योजना तैयार की जा रही थी, तो क्लाउड के पास क्या विशेषताएं होनी चाहिए और किन तकनीकों पर आधारित होना चाहिए, इसके बारे में कई रणनीतिक निर्णय लेने के लिए आवश्यक था: यह किस ओपन-सोर्स समाधान का उपयोग करना उचित होगा, जिसे यांडेक्स यांडेक्स आंतरिक प्रौद्योगिकी स्टैक से लिया जा सकता है, और क्या सार्वजनिक मंच के लिए विशेष रूप से विकसित किया जाना चाहिए। सबसे महत्वपूर्ण मुद्दों में से एक ओपनस्टैक से संबंधित था।



इस समय तक, कई वर्षों तक कई हजार मेजबानों के ओपनस्टैक पर एक क्लस्टर सफलतापूर्वक यैंडेक्स में काम कर रहा था। क्लाउड बनाने के लिए इस तकनीक का उपयोग करना संभव समाधानों में से एक होगा, खासकर जब से यह बाजार में मंच के प्रवेश को काफी तेज कर देगा। हालांकि, कई चर्चाओं और गर्म बहस के बाद, हमारे अपने विकास के पक्ष में निर्णय लिया गया। पेशेवरों और विपक्षों को व्यक्त किया गया था, लेकिन निम्नलिखित तर्क निर्णायक हो गए।

सबसे पहले, ओपनस्टैक निजी एकल-किरायेदार बादलों के लिए एक समाधान है। यह ऐतिहासिक रूप से स्केलेबल मल्टी-टेनेंट प्लेटफार्मों के निर्माण के लिए डिज़ाइन नहीं किया गया है। दूसरा बिंदु: यह तकनीक हाइपरकॉन्वर्ड आर्किटेक्चर के साथ खराब रूप से संगत है (जब सभी हार्डवेयर संसाधन एक बड़े पूल का निर्माण करते हैं, और एक वर्चुअल इन्फ्रास्ट्रक्चर पहले से ही इस पर बनाया गया है)। खैर, तीसरा - हमने ओपनस्टैक के समर्थन और संशोधन के साथ सभी कठिनाइयों का अनुभव किया जो क्लस्टर के संचालन के दौरान पहचाने गए थे, और हमारे भविष्य के उपयोगकर्ताओं के ग्राहक अनुभव को जोखिम में नहीं डालना चाहते थे। बेशक, हमारे द्वारा पूछे गए सवालों के कोई असमान जवाब नहीं थे, लेकिन एक सूचित निर्णय लेना आवश्यक था। पसंद किया गया था, और मंच अपने तरीके से चला गया।

यह साथ के वास्तुशिल्प दृष्टिकोणों को ध्यान देने योग्य है, जो शुरुआत में भी रखे गए थे। एकीकृत हार्डवेयर संसाधनों के एकल पूल का उपयोग करना मूलभूत निर्णयों में से एक है। यह दृष्टिकोण आपको प्लेटफ़ॉर्म को आसानी से स्केल करने की अनुमति देता है और दर्द रहित रूप से उपलब्ध संसाधनों की मात्रा बढ़ाता है। इसके अलावा, हमने यह निर्धारित किया कि मंच स्वयं-होस्टिंग के सिद्धांत पर बनाया जाएगा। यही है, सभी क्लाउड सेवाओं, जिनमें सेवा वाले भी शामिल हैं, को एकल हाइपरकॉन्वर्ड इन्फ्रास्ट्रक्चर के शीर्ष पर "लाइव" होना चाहिए। इसका अर्थ है कि Yandex.Cloud में समर्पित प्रबंधन सर्वर नहीं हैं। सभी प्लेटफ़ॉर्म सेवाओं को बाहरी उपयोगकर्ताओं के समान वर्चुअल मशीनों पर तैनात किया गया है।



स्व-होस्टिंग आपको बहुत लचीले ढंग से क्लाउड की संरचना का प्रबंधन करने और स्वचालित रूप से न्यूनतम लागत के साथ अतिरिक्त बुनियादी ढांचे को जोड़ने की अनुमति देता है - एक सर्वर से पूरे डेटा सेंटर में हजारों मशीनों के साथ। इसके अलावा, हम अपने उपयोगकर्ताओं के समान शर्तों के तहत काम करते हैं, जिसका अर्थ है कि हम पूरे ग्राहक अनुभव का अनुभव कर सकते हैं।

और मंच पर अंतर्निहित तीसरा सिद्धांत: सभी सेवाओं के लिए मेटाडेटा और सिस्टम जानकारी के एकल भंडार की उपलब्धता। इसके लिए, आंतरिक विकास का उपयोग किया जाता है - यैंडेक्स डेटाबेस (YDB, ClickHouse के साथ भ्रमित नहीं होना), जो आपको डेटा को बहुत विश्वसनीय, कुशल और लचीला रखने की अनुमति देता है। इस प्रकार, मेटाडेटा रिपॉजिटरी अन्य सभी Yandex.Cloud सेवाओं के लिए मूल आंतरिक सेवा बन गई है।

आपने शायद ध्यान दिया कि मंच के संगठन के मूल सिद्धांत एक-दूसरे से निकटता से संबंधित हैं और बड़े पैमाने पर वास्तुकला और बाद के तकनीकी समाधानों का निर्धारण करते हैं। यह हमें एक स्केलेबल प्लेटफ़ॉर्म बनाने का अवसर प्रदान करता है जो हमें लंबी अवधि में सभी मौजूदा और भविष्य के क्लाउड सेवाओं के विकास की योजना बनाने की अनुमति देगा।

आर्किटेक्चर

सामान्य तौर पर, वास्तुकला इस तरह दिखता है:



क्लाउड का मूल पहले से ही साझा मेटाडेटा स्टोरेज (भंडारण परत) है। YDB एक विशेष प्रतिकृति तंत्र का उपयोग करके क्लाउड पर उपलब्ध सभी हार्डवेयर स्टोरेज को कवर करता है। एक समान तंत्र नेटवर्क ब्लॉक स्टोरेज (एनबीएस) पर लागू होता है। YDB के साथ मिलकर, वे एक सामान्य डेटा संग्रहण प्रणाली बनाते हैं, जिसका उपयोग क्लाउड में अन्य सभी सेवाओं द्वारा किया जाता है।



Yandex Compute Cloud सर्विस स्टोर के ऊपर बनाई गई है। यह आपको आभासी मशीनों का प्रबंधन करने की अनुमति देता है जो मंच के बाहरी उपयोगकर्ताओं और आंतरिक घटकों दोनों द्वारा उपयोग की जाती हैं। हाइपरविजर KVM है , और एमुलेटर QEMU है । परिणामस्वरूप, वर्चुअियो ड्राइवरों को डिवाइस वर्चुअलाइजेशन के लिए चुना गया था। वर्चुअल मशीन और हार्डवेयर इन्फ्रास्ट्रक्चर के संयोजन का एक महत्वपूर्ण हिस्सा शेड्यूलर है। यह वह है जो निर्धारित करता है कि किस भौतिक सर्वर पर अगली वर्चुअल मशीन तैनात की जाएगी।



साथ में, ये घटक प्लेटफॉर्म का IaaS हिस्सा हैं, जिसमें Yandex वर्चुअल प्राइवेट क्लाउड सर्विस भी शामिल है। नेटवर्क सेवा खुले स्रोत OpenContrail परियोजना पर आधारित है।

इस स्तर का एक अन्य महत्वपूर्ण घटक स्नैपशॉट तंत्र है। यह आपको चित्र और डिस्क चित्र लेने की अनुमति देता है।



एक उच्च स्तर सभी Yandex.Cloud उपयोगकर्ताओं के लिए सुलभ अधिकांश भाग के लिए मंच सेवाएं है। ये क्लाउड में डेटाबेस के प्रबंधन के लिए सेवाएं हैं, जिनमें से गुच्छों को वर्चुअल मशीनों पर क्लिक किया जाता है (ClickHouse, Managed डेटाबेस के लिए MongoDB और PostgreSQL); S3 संगत ऑब्जेक्ट संग्रहण अनुवाद और संश्लेषण और भाषण मान्यता सेवाओं के साथ-साथ।

दो अन्य महत्वपूर्ण सेवाएं हैं जो क्लाउड की सभी परतों को कवर करती हैं। ये बिलिंग और पहचान और अभिगम प्रबंधन (IAM) हैं। पहला चार्ज और खपत संसाधनों के भुगतान के साथ सभी कार्यों के लिए जिम्मेदार है। दूसरा कार्यान्वयन भूमिका आधारित अभिगम नियंत्रण: संसाधनों तक पहुंच : प्रत्येक उपयोगकर्ता को एक या एक अन्य भूमिका सौंपी जा सकती है जो अनुमत कार्यों का वर्णन करता है। उदाहरण के लिए, संपादक की भूमिका आपको संसाधनों को बनाने, हटाने और संपादित करने की अनुमति देती है, लेकिन यह आपको उन तक पहुंच को नियंत्रित करने की अनुमति नहीं देता है।

यह यैंडेक्स.क्लाउड डिवाइस का एक सामान्य विवरण है, लेकिन यह आपको यह समझने की अनुमति देता है कि एक बड़े मंच के विभिन्न भागों एक-दूसरे के साथ कैसे बातचीत करते हैं। यदि आप प्लेटफ़ॉर्म की संरचना में गहरा गड्ढा करना चाहते हैं, तो मैं आपको सलाह देता हूं : क्लाउड कॉन्फ्रेंस रिकॉर्डिंग के बारे में देखें । इस घटना पर विशेष ध्यान नेटवर्क और यैंडेक्स डेटाबेस को दिया गया था।

टीम

अंत में - टीम के बारे में कुछ शब्द। पिछले एक साल में, यह काफी बढ़ गया है और लगातार बढ़ रहा है । अब इसमें पहले से ही 150 से अधिक लोग शामिल हैं, बड़ी संख्या में ऐसे समूहों की गिनती नहीं कर रहे हैं जो सीधे यैंडेक्स का हिस्सा नहीं हैं। लेकिन, जिनकी उपलब्धियों का उपयोग मंच में भी किया जाता है। विशेषज्ञों का एक महत्वपूर्ण हिस्सा, ज़ाहिर है, डेवलपर्स हैं। उन्हें उन इकाइयों में विभाजित किया गया है जो एक या किसी अन्य क्षेत्र में लगी हुई हैं: वर्चुअल मशीन, क्लाउड डेटाबेस, बिलिंग, नेटवर्क, आदि। क्लाउड सुरक्षा के मुद्दों में विशेषज्ञता वाला एक अलग समूह है और इसमें सब कुछ संग्रहीत है। खैर, और, ज़ाहिर है, समर्थन, उपयोगकर्ताओं द्वारा उठाए गए सवालों के तुरंत जवाब देने के लिए तैयार है।

मेरे लिए यही सब है निकट भविष्य में, हम अपने मंच की विभिन्न सेवाओं के साथ काम करने के विवरण पर कई लेख प्रकाशित करेंगे। इस बीच, आप Yandex.Cloud से परिचित हो सकते हैं। प्रत्येक नए उपयोगकर्ता को मंच से परिचित होने के लिए 4000 रूबल प्राप्त होंगे। यह राशि 1 टेराबाइट के ऑब्जेक्ट फ़ाइल भंडारण के साथ मानक LAMP बंडल के आधार पर एक महीने के भीतर क्लाउड में एक मध्यम आकार की वेब परियोजना को रखने के लिए पर्याप्त है; या मशीन अनुवाद को अपने मोबाइल एप्लिकेशन या वेबसाइट से जोड़कर 9 मिलियन से अधिक डेटा की एक सरणी का अनुवाद करने के लिए।