बिग डेटा के लिए दूसरी बार बिलिंग, मार्केटप्लेस और सैंडबॉक्स: क्लाउड में पर्यावरण परीक्षण क्या कर सकता है?

किसी भी सॉफ्टवेयर डेवलपमेंट कंपनी को परीक्षण वातावरण की आवश्यकता होती है जो उत्पादन वातावरण के करीब हो। यह बॉक्सिंग सॉफ्टवेयर के लिए विशेष रूप से सच है, जिसमें एक लंबा रिलीज चक्र है।
परीक्षण वातावरण के निर्माण की कई समस्याओं को क्लाउड में उनके स्थान द्वारा हल किया जाता है। हम अपने क्लाउड-आधारित Mail.Ru Cloud Solutions (MCS) प्लेटफ़ॉर्म पर परीक्षण विकल्पों के बारे में बात करेंगे। लेकिन हम जो कुछ भी बताते हैं उसका हिस्सा किसी भी बादल के लिए सच है।

परीक्षण वातावरण स्थापित करने में कठिनाइयाँ

इससे पहले कि हम क्लाउड में परीक्षण के वातावरण की क्षमताओं के बारे में बात करें, हम उन कठिनाइयों के बारे में बात करेंगे जो कंपनियों को सॉफ्टवेयर के परीक्षण में सामना करती हैं।

विभिन्न गिट शाखाओं - विभिन्न वातावरण

सॉफ्टवेयर विकास में शामिल अधिकांश कंपनियां संस्करण नियंत्रण प्रणालियों का उपयोग करती हैं। सबसे आम एक Git है , जिसका उपयोग 87% डेवलपर्स ( ट्विटर पर रोडकोड पोल) द्वारा किया जाता है।

गिट में सबसे अच्छा अभ्यास तथाकथित फीचर-शाखाएं हैं, जब रिपॉजिटरी में प्रत्येक नई कार्यक्षमता के लिए एक अलग शाखा आवंटित की जाती है। यह दृष्टिकोण डेवलपर्स को "अपनी कोहनी को धक्का नहीं" देने और परिवर्तनों को अधिक स्वतंत्र बनाने की अनुमति देता है, लेकिन व्यक्तिगत सुविधाओं के लिए कई समर्पित वातावरणों की तैनाती की आवश्यकता होती है।

कम्प्यूटिंग संसाधनों का अवमूल्यन

25% भौतिक सर्वर ऐसे हैं जो बिजली का उपभोग करते हैं लेकिन कुछ उपयोगी नहीं करते हैं। और कई आईटी विशेषज्ञ यह नहीं कह सकते हैं कि उनकी कंपनी में स्थापित 15-30% सर्वर क्या कर रहे हैं।

तो यहाँ है। परीक्षण वातावरण के लिए ऑन-प्रिमाइसेस हार्डवेयर किसी भी अन्य से अलग नहीं है और, एक नियम के रूप में, खराब तरीके से निपटारा। और यह अन्यथा नहीं हो सकता। जब आप सर्वर उपकरण के बेड़े को खरीदते हैं, तो आपको संसाधनों की बढ़ती खपत और परीक्षण वातावरण की संख्या के मामले में आश्वस्त किया जाता है। नतीजतन, परीक्षण वातावरण रात में और सप्ताहांत में "बस के मामले में" निष्क्रिय होते हैं, और आप बस उपभोग की गई बिजली और शीतलन के लिए भुगतान करते हैं।
आपके निजी क्लाउड में वर्चुअलाइजेशन का सरल अनुप्रयोग अनैच्छिक स्केलेबिलिटी और उपकरणों के अंडरटाइजेशन की समस्या को हल नहीं करता है।

सेटिंग में कठिनाई

परीक्षण और विकास का वातावरण केवल कुछ आभासी मशीनें नहीं हैं। आमतौर पर, इसमें एक एप्लिकेशन सर्वर, एक डेटाबेस सर्वर, प्लस संदेश कतार सर्वर और कैश सर्वर शामिल होते हैं।

डेवलपर्स के लिए अपने दम पर इस तरह के बुनियादी ढांचे को उठाना और कॉन्फ़िगर करना मुश्किल है, अगर उनके पास उचित विशेषज्ञता नहीं है, तो इसमें कई दिन लग सकते हैं। अनुभवी प्रशासकों के लिए, यह आसान है, लेकिन आम तौर पर दिलचस्प नहीं है। साथ ही, नौकरशाही लागू की जाती है, और परीक्षण वातावरण बनाने के लिए संसाधनों को आवंटित करने की प्रक्रिया में लंबा समय लग सकता है।

एक और समस्या यह है कि एक पूर्णकालिक सिस्टम प्रशासक अक्सर विशिष्ट परीक्षण वातावरण को तैनात करने में विशेषज्ञता नहीं रखता है, और कंपनी को बाहर से महंगे सलाहकारों को आकर्षित करने के लिए मजबूर किया जाता है। एक उदाहरण Hadoop, Spark, HDFS या Airflow पर आधारित बड़े डेटा के लिए सैंडबॉक्स है। इस तरह के वातावरण की तैनाती बिगडाटा क्षेत्र में एक विशेषज्ञ से कम से कम एक सप्ताह और एक साधारण सिस्टम प्रशासक से कम से कम एक महीने लगती है। कुबेरनेट क्लस्टर के साथ एक समान कहानी: उत्पादन कॉन्फ़िगरेशन के करीब एक परीक्षण क्लस्टर का निर्माण करने में कम से कम कई दिन लगते हैं।

नतीजतन, कंपनी को तीसरी पार्टी की ओर मुड़ने के लिए मजबूर किया जाता है - सलाहकारों को आकर्षित करने के लिए। हालांकि, बड़े डेटा पर विशेषज्ञों को ढूंढना काफी मुश्किल है , और इस तरह के सिस्टम के प्रशासक लगभग उंगलियों पर गिने जा सकते हैं। हां, एक DevOps इंजीनियर परीक्षण वातावरण को तैनात करने के सभी कार्यों को संभाल सकता है, लेकिन हर कंपनी के पास नहीं है, और इस क्षेत्र में एक अच्छा विशेषज्ञ ढूंढना बिगडाटा विशेषज्ञ से आसान नहीं है। वास्तव में, 2016 में, नौकरी की खोज साइट वास्तव में। Com ने कहा कि कंपनियां किसी अन्य विशेषज्ञों की तुलना में लंबे समय तक DevOps इंजीनियर की तलाश में थीं।

कैसे बादल इन समस्याओं को हल करता है

खपत संसाधनों और तत्काल स्केलिंग के लिए दूसरा-केवल बिलिंग

क्लाउड सेवाओं का सबसे स्पष्ट प्लस किसी भी अवधि के लिए किसी भी कॉन्फ़िगरेशन (एक सर्वर या संपूर्ण क्लस्टर) के क्लाउड इन्फ्रास्ट्रक्चर को किराए पर लेने की क्षमता है। हमारे Mail.Ru Cloud Solutions (MCS) प्लेटफ़ॉर्म पर, बिलिंग प्रति सेकंड है - आपको केवल उन कंप्यूटिंग संसाधनों के लिए भुगतान करने की आवश्यकता है जो वास्तव में उपयोग किए गए थे।

नंगे धातु, निजी क्लाउड और अधिकांश रूसी क्लाउड प्रदाताओं के विपरीत, MCS रुकी हुई आभासी मशीनों (RAM, CPU) के लिए संसाधन नहीं लेता है: आपको केवल उपयोग किए गए डिस्क स्थान के लिए भुगतान करने की आवश्यकता है। उदाहरण के लिए, 20 सीपीयू, 40 जीबी रैम और 1 टीबी एचडीडी के एक परीक्षण कॉन्फ़िगरेशन की कीमत 24,800 ₽ / महीना है, और डिस्क स्थान की कीमत 7,000 configuration / महीना है। उदाहरण के लिए, यदि आप 21:00 बजे इस तरह के वातावरण को रोकने के लिए स्वचालन उपकरणों का उपयोग करते हैं और 9:00 बजे तैनात करते हैं, तो आप 15 900 a का भुगतान करेंगे - एक राउंड-द-क्लॉक किराये के मुकाबले डेढ़ गुना कम।

हमारे अनुभव में, ऑन-प्रिमाइसेस के बुनियादी ढांचे में परीक्षण की तुलना में क्लाउड में परीक्षण से कुल बचत 60-70% तक पहुंच सकती है।

ऊपर और नीचे क्लाउड में संसाधनों को तुरंत स्केल करने की क्षमता आपको सही समय पर केवल वातावरण को जल्दी से तैनात करने और पट्टे की क्षमताओं का लगभग 100% उपयोग करने की अनुमति देती है। परीक्षण वातावरण के परिनियोजन समय को कई-कई दिनों या महीनों तक घटाया जाता है, जिसकी तुलना ऑन-प्रिमाइसेस के साथ की जाती है।

डेवलपर्स द्वारा स्वयं आवंटित किए गए संसाधन

स्वयं-सेवा पोर्टल्स का उपयोग करके, डेवलपर्स क्लाउड में परीक्षण वातावरण को कॉन्फ़िगर कर सकते हैं और प्रशासकों से संपर्क किए बिना उनके लिए संसाधन आवंटित कर सकते हैं। यहां तक ​​कि यह सरल क्रिया किसी उत्पाद के समय-से-बाज़ार को कई हफ्तों तक छोटा कर सकती है।

परीक्षण वातावरण को स्वचालित रूप से बनाने और नष्ट करने के लिए एपीआई

क्लाउड आपको एक उचित समय मॉडल पर अल्पकालिक वातावरण बनाने की अनुमति देता है। REST API और CLI का उपयोग करके , आप परीक्षण वातावरण को थोक में रोक सकते हैं, रोक सकते हैं, अपडेट कर सकते हैं और उन्हें हटा सकते हैं। इस तरह, आप परीक्षण वातावरण के लिए पूर्ण जीवन चक्र को कॉन्फ़िगर कर सकते हैं और सैकड़ों वातावरण को स्वस्थ रख सकते हैं। तत्काल क्लाउड स्केलिंग और सेकंड-बाय-सेकंड बिलिंग के लिए धन्यवाद, लचीलापन और कम परिचालन लागत हासिल की जाती है।


क्लाउड परीक्षण वातावरण का एक और लाभ CI / CD टूल के साथ एकीकरण है। इन समाधानों (उदाहरण के लिए, जेनकिंस) में प्लगइन्स होते हैं जो आपको बिल्ड के दौरान एमसीएस क्लाउड में गतिशील रूप से परीक्षण वातावरण बनाने की अनुमति देते हैं। आप कार्यात्मक या प्रतिगमन परीक्षण चलाने से ठीक पहले एक परीक्षण वातावरण को सक्रिय कर सकते हैं। यदि परीक्षण सफल होते हैं, तो पर्यावरण स्वचालित रूप से ढह जाएगा, अगर कुछ गलत है - पर्यावरण को बचाया जाएगा ताकि डेवलपर्स पुन: कनेक्ट होने के कारण को पुन: कनेक्ट कर सकें और समझ सकें।

परीक्षण वातावरण के लिए पूर्वनिर्मित भवन ब्लॉक

Mail.Ru क्लाउड सॉल्यूशन प्लेटफ़ॉर्म पर त्वरित रूप से परीक्षण वातावरण परिनियोजित करें
Paa में मदद करता है, उदाहरण के लिए, Kubernetes कंटेनर और क्लाउड में डेटाबेस। कुबेरनेट्स सैकड़ों अनुप्रयोगों के साथ एक सेवा सूची विकसित कर रहा है।

कैटलॉग से, आप कुछ ही मिनटों में ActiveMQ, RabbitMQ, Kafka क्लस्टर, लॉग मॉनिटरिंग और विश्लेषण प्रणाली, विभिन्न CMS और डेटाबेस को तैनात कर सकते हैं। लोकप्रिय डॉकर हब के विपरीत, जिसमें केवल व्यक्तिगत एप्लिकेशन टेम्पलेट शामिल हैं, कुबेरनेट्स सेवा कैटलॉग में उच्च-स्तरीय टेम्पलेट हैं जो एकीकरण को सरल बनाते हैं। टेम्पलेट्स से, आप उन वर्चुअल मशीन को कॉन्फ़िगर करने की आवश्यकता के बिना पूर्व-कॉन्फ़िगर किए गए एप्लिकेशन घटकों (संदेश कतार, सेवा खोज, डेटाबेस, एप्लिकेशन सर्वर, CI / CD टूल, कैशिंग सर्वर, ब्लॉकचैन टूल और बहुत कुछ) को तैनात कर सकते हैं, जिस पर वे तैनात किए गए हैं।


Kubeapps बाज़ार में उपलब्ध अनुप्रयोग।

बिग डेटा के लिए सैंडबॉक्स

MCS पर, आप बड़े डेटा अनुप्रयोगों के लिए परीक्षण वातावरण तैनात कर सकते हैं। PaS सेवा बिग डेटा का उपयोग करके , आप Hadoop, Spark, HBase और Airflow के क्लस्टर बना सकते हैं। परिनियोजन प्रक्रिया पूरी तरह से स्वचालित है, और यह स्व-कॉन्फ़िगरेशन की तुलना में सप्ताह का समय बचाता है।

यहां एक अतिरिक्त लाभ दूसरी से दूसरी बिलिंग और तत्काल स्केलिंग है। कम समय के लिए एक्स्टेंसिबल टेस्ट वातावरण बनाने की क्षमता एक विश्लेषणात्मक आईटी बुनियादी ढांचे को बनाए रखने की कंपनी की लागत को कम करती है। ऑन-प्रिमाइसेस की तुलना में बचत 80% तक पहुंच सकती है।

इंफ्रास्ट्रक्चर-ए-कोड के साथ एकीकरण

VMWare पर आधारित मालिकाना समाधानों के विपरीत, MCS क्लाउड प्लेटफ़ॉर्म ओपनस्टैक ओपन सॉफ़्टवेयर के आधार पर बनाया गया है, जिसमें विभिन्न उपकरणों के साथ पूर्ण एकीकरण है: टेराफॉर्म, अंसिबल, कठपुतली, बावर्ची।

Terraform, Infrastructure-as-Code (IaC) की भावना में बनाया गया है, जब अवसंरचना स्थापित करने की प्रक्रिया डेवलपर्स के लिए एक कोडिंग और अधिक परिचित के रूप में व्यवस्थित होती है। टेराफॉर्म एक निजी क्लाउड में उपयोग करना मुश्किल है क्योंकि इसमें वीएमवेयर के साथ पूर्ण एकीकरण का अभाव है। MCS क्लाउड में, कंपनियां टेराफॉर्म के साथ काम करने के लिए तैयार उदाहरणों का उपयोग कर सकती हैं (वे इस GitHub रिपॉजिटरी में हैं )।


टेराफॉर्म का उपयोग करके एक परीक्षण वातावरण बनाना।

मुझे याद करो

• क्लाउड में परीक्षण आईटी उद्योग में एक प्राकृतिक अभ्यास बन रहा है और पहले से ही कई प्रकार के संगठनों द्वारा लागू किया जा रहा है: राज्य विश्वविद्यालयों से लेकर बड़ी आईटी कंपनियों तक ।
• क्लाउड में भवन परीक्षण वातावरण एपीआई के माध्यम से तत्काल स्केलिंग और स्वचालन की संभावना के कारण पैसे बचाने में मदद करता है, जो किराए के बुनियादी ढांचे का लगभग 100% उपयोग प्रदान करते हैं।
• क्लाउड प्लेटफ़ॉर्म पर अतिरिक्त सेवाएं और कुबर्नेटेस कंटेनर पर टेम्पलेट तैयार किए गए बिल्डिंग ब्लॉक हैं जिन्हें कॉन्फ़िगर करने की आवश्यकता नहीं है।
• ऐसी सेवाएँ जिन्हें कॉन्फ़िगर करना मुश्किल है, जैसे बिग डेटा प्रोसेसिंग टूल, पूर्व-कॉन्फ़िगर किए गए टेम्प्लेट के रूप में क्लाउड में किराए पर लेना आसान है। आप सेटिंग में डाइविंग न करके सप्ताह बचाएंगे।
• MCS OpenStack पर बनाया गया है और पूरी तरह से Terraform और अन्य DevOps टूल के साथ एकीकृत है।

इन सभी टूल्स को Mail.Ru Cloud Solutions प्लेटफ़ॉर्म में मुफ्त में आज़माया जा सकता है। नवंबर के अंत तक, ILOVEHABR प्रोमो कोड के साथ इस लिंक का उपयोग करते हुए , आप अपने खाते में 1000 रूबल जोड़ सकते हैं और परीक्षण-परीक्षण-परीक्षण कर सकते हैं।