मैं कैसे बाधित Yandex.Cloud आभासी मशीनों का उपयोग कर सकता हूं और बड़े पैमाने पर समस्याओं को हल करने पर बचा सकता हूं

आज हम यैंडेक्स के इस तरह के एक उपयोगी फीचर के बारे में बात करना चाहते हैं। बाधित वर्चुअल मशीनों के रूप में। यह एक विशेष विकल्प है जिसे आप कम कीमत पर कंप्यूटिंग संसाधनों का उपयोग करने के लिए वर्चुअल मशीन बनाते समय चुन सकते हैं। रुकावट वाली आभासी मशीनों के बारे में ऐसा क्या खास है, क्यों वे नियमित की तुलना में सस्ती हैं, और किन मामलों में उनका उपयोग करना उचित है?



Yandex.Cloud की क्षमता, और अधिक सटीक रूप से, Yandex Compute Cloud बुनियादी ढांचे की सेवा, उपयोगकर्ताओं द्वारा उपयोग किए जाने वाले की तुलना में काफी अधिक है। डिफ़ॉल्ट रूप से, यह माना जाता है कि उपयोगकर्ताओं को मनमाने ढंग से स्केल करने में सक्षम होना चाहिए। कम से कम इन कारणों से, अन्य पहलुओं को ध्यान में रखे बिना, क्लाउड प्लेटफॉर्म के उपलब्ध संसाधन वर्तमान मांग से काफी अधिक हैं। यह इन मुफ्त क्षमताओं पर है जो आभासी मशीनों को बाधित करते हैं।

मुख्य सीमाएँ

संक्षेप में, बाधित वर्चुअल मशीनों की प्रकृति को निम्नानुसार वर्णित किया जा सकता है: सेवा कम कीमत पर अपने मुफ्त कंप्यूटिंग संसाधनों का उपयोग करने की पेशकश करती है, बशर्ते कि इन संसाधनों को किसी भी समय वापस बुलाया जा सके।

सामान्य तौर पर, बाधित वर्चुअल मशीनें नियमित वर्चुअल मशीनों की तरह काम करती हैं, लेकिन उनकी कई सीमाएँ हैं:

• वे एक सेवा स्तर समझौते (SLA) द्वारा कवर नहीं किए जाते हैं।
• बनाने और चलाने की क्षमता की गारंटी नहीं है।
• उन्हें किसी भी समय रोकने के लिए मजबूर किया जा सकता है। एक स्टॉप की संभावना छोटा है, लेकिन गैर-शून्य है, यह समय के साथ बदल सकता है और अलग-अलग यैंडेक्स में भिन्न हो सकता है । उपलब्धता के अनुरूप ।
• एक बाधित वर्चुअल मशीन को सामान्य नहीं बनाया जा सकता है, लेकिन एक नियमित रूप से बाधित होता है। संबंधित ध्वज एक बार सेट किया गया है और परिवर्तित नहीं होता है।
• मशीन को निश्चित रूप से 24 घंटे से अधिक नहीं की अवधि में रोका जाएगा।

व्यवहार में, अधिकांश मामलों में, बाधित वर्चुअल मशीन सेवा की शर्तों द्वारा प्रदान किए गए सभी 24 घंटों में काम करती हैं। एक नियम के रूप में, एक मजबूर स्टॉप केवल तब होता है जब बड़ी संख्या में साधारण वर्चुअल मशीनें एक विशिष्ट उपलब्धता क्षेत्र में थोड़े समय में बनाई जाती हैं: एक नया उपयोगकर्ता गंभीर जरूरतों के साथ प्रकट होता है या वर्तमान उपयोगकर्ता बड़े पैमाने पर स्केल किए जाते हैं।

उसी समय, एक रुकी हुई आभासी मशीन को फिर से शुरू किया जा सकता है: डिस्क पर सभी डेटा स्वचालित और मैनुअल शटडाउन दोनों के दौरान सहेजे जाते हैं।

मामलों का उपयोग करें

बाधित वर्चुअल मशीनों के लिए सीमाएं एक तार्किक प्रश्न उठाती हैं: अगर संसाधनों को किसी भी समय रद्द किया जा सकता है तो उन्हें कैसे लागू किया जाए? एक स्पष्टीकरण के रूप में, यहां कुछ संभावित उपयोग के मामले हैं।

बैच प्रसंस्करण

बैच प्रसंस्करण में बड़ी संख्या में संसाधन-गहन कार्यों का समानांतर निष्पादन शामिल है। यह फ़ाइल स्वरूपों, छवि प्रसंस्करण और मान्यता, ETL संचालन का रूपांतरण हो सकता है। लब्बोलुआब यह है कि बैच प्रसंस्करण में एक नौकरी कतार है और काम प्रक्रियाओं (निष्पादकों) का एक पूरा सेट है जो कतार से नौकरी प्राप्त करते हैं। यदि एक व्यक्तिगत निष्पादक एक बाधित मशीन पर चल रहा है, तो कार्य बस अगले निष्पादक को स्थानांतरित कर दिया जाएगा। दूसरे शब्दों में, एक या कई आभासी मशीनों को रोकने से प्रक्रिया और प्रसंस्करण के परिणाम पर महत्वपूर्ण नकारात्मक प्रभाव नहीं पड़ेगा।



जब बैच प्रोसेसिंग डेटा, हम दर्जनों वर्चुअल मशीनों का उपयोग करने के बारे में बात कर रहे हैं। रुक-रुक कर चलने वाली मशीनों का उपयोग बहुत ही ध्यान देने योग्य बचत प्रदान करता है। अब 32 कोर के साथ उत्पादक बंद आभासी मशीनों के मुख्य उपभोक्ताओं में से एक लंबे समय तक Yandex.Cloud ग्राहक, सिस्मोटेक है। सीस्मोटेक भूकंपीय डेटा को संसाधित करता है, जो गैस और तेल क्षेत्रों की खोज के लिए आवश्यक हैं। भूकंपीय अन्वेषण में बड़ी मात्रा में सूचनाओं के साथ काम करना शामिल है। डेटा को बैच विधि में संसाधित किया जाता है। कंपनी एक साथ 60 से अधिक बाधित मशीनों का उपयोग करती है: 2000 वीसीपीयू तक और 4000 जीबी रैम।

Hadoop पर प्रोजेक्ट

Hadoop का उपयोग सैकड़ों और हजारों कम लागत वाले नोड्स के समूहों पर चलने वाले वितरित कार्यक्रमों को विकसित करने और निष्पादित करने के लिए किया जाता है। Hadoop द्वारा प्रदान किए गए विफल नोड्स पर फ़ाइल प्रतिकृति और कार्यों के स्वचालित पुनरारंभ के लिए तंत्र, वितरित मशीनों की विफलताओं के लिए एक वितरित प्रणाली की स्थिरता सुनिश्चित करता है। इसीलिए, जहां हाडोप का उपयोग किया जाता है, वहां कम से कम नोड्स के हिस्से को आसानी से बाधित वर्चुअल मशीन पर तैनात किया जा सकता है। यदि वे जल्दी बंद हो जाते हैं, तो कार्य अन्य नोड्स में भेजे जाएंगे।

वेब सेवाएँ विफलता

क्लस्टर का उपयोग करके वेब सेवा की निरंतर उपलब्धता सुनिश्चित की जा सकती है। क्लस्टर में दो या अधिक सर्वर होते हैं। वेब सेवाओं के लिए आवेदन में इसका एक कार्य चोटी के भार के समय स्थिर संचालन सुनिश्चित करना है। विशिष्ट उदाहरण: ऑनलाइन शॉपिंग साइट या स्पोर्ट्स साइट जहां ट्रैफ़िक वृद्धि विशिष्ट तिथियों से जुड़ी होती है। दुकानों के लिए, ये पारंपरिक छुट्टियां या छूट की अवधि हो सकती हैं, और खेल-संबंधी साइटों के लिए, वे उन घटनाओं के दिन हो सकते हैं जब लाइव प्रसारण प्रकाशित किए जाते हैं, समीक्षा और फोटो रिपोर्ट प्रकाशित की जाती हैं। ऐसे क्षणों में, यातायात की मात्रा में काफी वृद्धि हो सकती है।

क्लस्टर को विभिन्न नोड्स को ट्रैफ़िक वितरित करके आगंतुकों की आमद से सामना करना होगा। तीव्र, लेकिन अल्पकालिक लोड वृद्धि की अवधि के लिए, बंद आभासी मशीनों पर सर्वर को जोड़कर दोष सहिष्णुता प्रदान की जा सकती है। यह विकल्प सस्ता है और अपना काम अच्छी तरह से करता है। एक शर्त का पालन करना महत्वपूर्ण है: इस तरह के क्लस्टर को हाइब्रिड होना चाहिए, अर्थात, साधारण वर्चुअल मशीन शामिल करें। इस मामले में, यहां तक ​​कि बाधित मशीनों के अप्रत्याशित ठहराव से भी सेवा विफलता नहीं होगी।

कुबेरनेट्स में परियोजनाएं

कुबेरनेट्स बड़ी संख्या में नोड्स में कंटेनरयुक्त अनुप्रयोगों की तैनाती, स्केलिंग और प्रबंधन को स्वचालित करता है। कुबेरनेट्स के निर्माण खंड को कहा जा सकता है जो मुख्य संस्थाओं में से एक है (फली)। पॉड एक नोड पर एक या कई कंटेनरों का प्रक्षेपण प्रदान करता है। प्रत्येक चूल्हे के लिए एक नोड कुबेरनेट्स अनुसूचक द्वारा चुना और सौंपा गया है। यदि चल रहे चूल्हा के साथ एक अलग नोड विफल हो जाता है, तो शेड्यूलर स्वचालित रूप से इसे एक नोड में स्थानांतरित कर देगा जो सामान्य मोड में चल रहा है। स्वास्थ्य को बनाए रखने की इस योजना से पता चलता है कि नोड्स के हिस्से को बंद आभासी मशीनों में होस्ट किया जा सकता है।

निरंतर एकीकरण परीक्षण

निरंतर एकीकरण का अभ्यास परियोजना की लगातार विधानसभा और परीक्षण पर आधारित है। इस मामले में, मुख्य रूप से स्वचालित परीक्षण का उपयोग किया जाता है। योजनाबद्ध रूप से, यह इस तरह दिखता है: एक आभासी मशीन पर एक परीक्षण वातावरण बनाया जाता है, आवेदन का अंतिम निर्माण उस पर अपलोड किया जाता है, स्वचालित परीक्षण किया जाता है, परीक्षण के परिणाम अपलोड किए जाते हैं, वर्चुअल मशीन को हटा दिया जाता है। एक नियम के रूप में, परीक्षण में कई दस मिनट लगते हैं, कम अक्सर कई घंटे।

परंपरागत रूप से, निरंतर एकीकरण के कमजोर बिंदु को एकीकरण प्रक्रिया का समर्थन करने के लिए महत्वपूर्ण लागत माना जाता है और कंप्यूटिंग संसाधनों की उच्च मांग है। इस दृष्टिकोण से और स्वचालित परीक्षणों के समय सीमा को ध्यान में रखते हुए, बंद आभासी मशीनें निरंतर एकीकरण के लिए उपयुक्त से अधिक दिखती हैं। वे बहुत सस्ते हैं, और परीक्षण के समय कार के तुरंत रुकने की संभावना गायब हो जाती है। इसके अलावा, यहां तक ​​कि अगर कार को अभी भी रोका गया है, तो व्यवसाय के दृष्टिकोण से नुकसान कम से कम होगा।

अन्य Yandex.Cloud सेवाओं के साथ संयोजन के रूप में उपयोग करें

Yandex Instance Group सेवा आपको बाधित वर्चुअल मशीनों के एक पूरे समूह की स्थिति की स्वचालित रूप से निगरानी करने की अनुमति देती है। वह स्वतंत्र रूप से दिए गए विशेषताओं के साथ वर्चुअल मशीन बना सकता है, समूह में आवश्यक संख्या में मशीनों को बनाए रख सकता है और अगर वे रुकते हैं तो बाधित उदाहरणों को पुनरारंभ कर सकते हैं। इससे कोई फर्क नहीं पड़ता कि कोई जबरदस्ती बंद हुआ है या शुरू होने के 24 घंटे बीत चुके हैं। केवल एक चीज महत्वपूर्ण है: यदि उपलब्ध संसाधन हैं तो पुनरारंभ होगा। यैंडेक्स इंस्टेंस ग्रुप बाधित वर्चुअल मशीनों के साथ काम करना अधिक सुविधाजनक बनाता है, लेकिन यह गारंटी नहीं दे सकता है कि नि: शुल्क क्षमताएं आवश्यक रूप से एक विशिष्ट उपलब्धता क्षेत्र में मौजूद होंगी।

आर्थिक प्रदर्शन

जैसा कि हमने उल्लेख किया है, रुकावट वाली आभासी मशीनें कंप्यूटिंग संसाधनों का उपयोग करने की लागत को कम कर सकती हैं। यैंडेक्स के अंदर, हमने कई साल पहले एक समान फ़ंक्शन पर काम करना शुरू किया था। कंप्यूटिंग कार्यों को गारंटीकृत निष्पादन योग्य और रुकावट में विभाजित करने के लिए, काफी निवेश की आवश्यकता थी। लेकिन यह व्यर्थ नहीं था: अंत में, हमने सर्वर के बुनियादी ढांचे के उपयोगी उपयोग के स्तर को 30-40% से बढ़ाकर 70-80% कर दिया।



अब एक बटन के क्लिक पर सभी Yandex.Cloud उपयोगकर्ताओं के लिए समान क्षमताएं उपलब्ध हैं। एक सरल उदाहरण: यदि आप उपयोग किए गए आभासी मशीनों के आधे को एक सौ प्रतिशत कर्नेल लोड के साथ बाधित प्रारूप में स्थानांतरित करते हैं, तो आप बजट का 35-40% तक बचा सकते हैं।

कम कीमत पर, सीपीयू और रैम संसाधन उपलब्ध हैं। डिस्क स्थान और आईपी पते नियमित दरों पर भुगतान किए जाते हैं। यहाँ कैस्केड झील के मंच के लिए एक सरल गणना दिखाई गई है।



यदि आप चाहें, तो आप कैलकुलेटर का उपयोग करके विभिन्न मोड में वर्चुअल मशीनों का उपयोग करने की लागत की तुलना कर सकते हैं।

हम आशा करते हैं कि हम थोड़ा स्पष्टता लाने में सक्षम थे और कुछ उपयोगी उदाहरण दे सकते हैं जिनमें आप कार्य करने में गुणवत्ता खोए बिना कंप्यूटिंग संसाधनों की लागत को कम करने के लिए रुकावट वाली आभासी मशीनों का उपयोग कर सकते हैं।

Habré पर क्लाउड के बारे में अन्य प्रकाशन

• वितरित संदेश कतारबद्ध सेवा वास्तुकला
• नेटवर्क लोड बैलेंसर आर्किटेक्चर
• एमपीएलएस हर जगह है। Yandex.Cloud नेटवर्क इन्फ्रास्ट्रक्चर कैसा है
• कैसे डाउनटाइम के बिना डेटाबेस पैमाने पर करने के लिए। तीन मेजबान उदाहरण
• यैंडेक्स क्लाउड को खोलता है। नए प्लेटफॉर्म का आर्किटेक्चर