Google क्लाउड प्लेटफ़ॉर्म पर पलायन (Google क्लाउड प्लेटफ़ॉर्म - GCP)

[2 का भाग 1]

हाइक ब्लॉग 12 दिसंबर 2012 को दिखाई दिया, और तब बहुत कम पाठक थे। 2016 तक, हम 100 मिलियन पंजीकृत उपयोगकर्ताओं और 40 बिलियन मासिक पदों पर पहुंच गए हैं। लेकिन इस तरह की वृद्धि ने हमारे बुनियादी ढांचे को बढ़ाने की समस्या को उजागर किया है। इसे खत्म करने के लिए, हमें सस्ती कीमत पर एक उच्च-प्रदर्शन मंच की आवश्यकता थी। 2016 और 2017 में, हमने काम में कई रुकावटों का सामना किया, हमें तत्काल इसके साथ कुछ करना था, इसलिए हमने विभिन्न विकल्पों पर विचार करना शुरू किया।

हमें एक क्लाउड प्लेटफ़ॉर्म की आवश्यकता थी जो एक स्केलेबल और विश्वसनीय क्लाउड वातावरण में एप्लिकेशन को जल्दी से बना, परीक्षण और तैनात कर सके। पहली नज़र में, ऐसा लग सकता है कि सभी प्रमुख क्लाउड प्लेटफ़ॉर्म कई मामलों में समान हैं, लेकिन उनके कई बुनियादी अंतर हैं।

हम इस प्रकाशन को 2 भागों में विभाजित करेंगे:

1. जीसीपी चुनने का कारण
2. डाउनटाइम के बिना जीसीपी पर स्विच करें

अवधारणा का प्रमाण

हमने अवधारणा की शुद्धता साबित करके शुरू किया, जिसमें हमने Google क्लाउड क्लाउड प्लेटफॉर्म द्वारा दी जाने वाली सेवाओं के साथ मौजूदा बुनियादी ढांचे की संगतता की जांच की, और भविष्य के विकास के लिए तत्वों की भी योजना बनाई।

अवधारणा सत्यापन के लिए मुख्य क्षेत्र:

⊹ लोड बैलेंसर
Machine कम्प्यूटिंग मशीन
⊹ नेटवर्किंग और फायरवॉल
⊹ सुरक्षा
⊹ क्लाउड उपलब्धता
⊹ बड़ा डेटा
⊹ बिलिंग

इस अवधारणा की पुष्टि में वर्चुअल मशीन / नेटवर्क / लोड बैलेंसर की बैंडविड्थ की जांच और जाँच के साथ-साथ स्थिरता, मापनीयता, सुरक्षा, निगरानी, ​​चार्जिंग, बड़े डेटा और मशीन सीखने की सेवाएं शामिल थीं। जून 2017 में, हमने Google क्लाउड क्लाउड प्लेटफ़ॉर्म पर संपूर्ण अवसंरचना को स्थानांतरित करने का एक महत्वपूर्ण निर्णय लिया।

हम एक क्लाउड प्लेटफ़ॉर्म चुनना चाहते थे जो हमारे सामने आने वाली अनगिनत चुनौतियों का सामना कर सके:

⊹ लोड बैलेंसर:

हमारे पास रोज़ाना लाखों सक्रिय उपयोगकर्ता कनेक्शनों को संभालने के लिए स्थानीय HAProxy क्लस्टर के प्रबंधन से जुड़ी कई समस्याएं थीं। ग्लोबल लोड बैलेंसर (GLB) ने हमारी कई समस्याओं को हल कर दिया है।

ग्लोबल जीसीपी लोड बैलेंसिंग का उपयोग करते हुए, "प्री-वार्मिंग" की आवश्यकता के बिना, एक एकल आईपी एड्रेस एक जीपीसी सर्वर जैसे कि प्रबंधित उदाहरण समूह (एमआईजी) के लिए प्रति सेकंड 1 मिलियन अनुरोधों को अग्रेषित कर सकता है। हमारे समग्र प्रतिक्रिया समय में 1.7-2 गुना सुधार हुआ है क्योंकि जीएलबी एक पूल कार्यान्वयन का उपयोग करता है जो आपको कई स्रोतों में यातायात वितरित करने की अनुमति देता है।

Uting कम्प्यूटिंग मशीन:

कंप्यूटरों में खुद को कोई बड़ी समस्या नहीं थी, लेकिन हमें सस्ती कीमत पर एक उच्च-प्रदर्शन मंच की आवश्यकता थी। Google वर्चुअल मशीनों के कुल थ्रूपुट में 1.3-1.5 गुना की वृद्धि हुई, जिससे वर्चुअल मशीन इंस्टेंसेस की कुल संख्या को कम करने की अनुमति मिली।

Redis परीक्षण 6 प्रतियों (8 कोर, 30 जीबी प्रत्येक) के क्लस्टर के साथ आयोजित किए गए थे। नीचे दिए गए परिणामों के आधार पर, हम निष्कर्ष निकालते हैं कि जीसीपी अधिकांश REDIS संचालन के लिए 48% (औसत) प्रदर्शन सुधार और विशिष्ट REDIS संचालन के लिए 77% तक प्रदान करता है।

redis-benchmark -h -p 6379 -d 2048 -r 15 -q -n 10000000 -c 100

Google कंप्यूट इंजन (GCE) क्लाउड कंप्यूटिंग सेवा ने निम्नलिखित का उपयोग करके हमारे बुनियादी ढांचे के प्रबंधन में अतिरिक्त लाभ प्रदान किए हैं:

● प्रबंधित संस्थान समूह (एमआईजी): एमआईजी हमें प्रत्येक क्षेत्र के लिए संसाधनों को आवंटित करने के बजाय, बहु-ज़ोन सुविधाओं के साथ एक मजबूत वातावरण में एप्लिकेशन सेवाओं को बनाए रखने में मदद करता है। एमआईजी स्वचालित रूप से सभी उदाहरणों के इष्टतम संचालन को सुनिश्चित करने के लिए एक समूह में निष्क्रिय उदाहरणों की पहचान करता है और उन्हें सही करता है।

● डायनेमिक माइग्रेशन: डायनेमिक माइग्रेशन वर्चुअल मशीन के इंस्टेंस को तब भी बनाए रखने में मदद करता है, जब कोई होस्ट सिस्टम विफल होता है, जैसे सॉफ्टवेयर या हार्डवेयर अपडेट करते समय। अपने पिछले क्लाउड पार्टनर के साथ काम करते हुए, हमें एक शेड्यूल्ड मेंटेनेंस इवेंट के बारे में एक सूचना मिली और एक वर्चुअल मशीन पर स्विच करने के लिए वर्चुअल मशीन को रोकने और शुरू करने के लिए मजबूर किया गया।

● कस्टम वर्चुअल मशीनें: GCP के ढांचे के भीतर, हम प्रोसेसर की प्रोसेसिंग पावर और विशिष्ट वर्कलोड के लिए आवश्यक मेमोरी की मात्रा के साथ अपनी खुद की वर्चुअल मशीन बना सकते हैं।

⊹ नेटवर्किंग और फायरवॉल:

कई नेटवर्क और फ़ायरवॉल नियमों को प्रबंधित करना आसान नहीं है और जोखिम भरा हो सकता है। GCP नेटवर्क VPC डिफ़ॉल्ट रूप से वैश्विक है और अतिरिक्त कॉन्फ़िगरेशन के बिना और नेटवर्क बैंडविड्थ को बदले बिना अंतर संचार प्रदान करता है। फ़ायरवॉल नियम टैग नियम नाम का उपयोग करने वाली परियोजनाओं के लिए VPC लचीलापन प्रदान करते हैं।

कम विलंबता और उच्च बैंडविड्थ वाले नेटवर्क के लिए, हमें इन उदाहरणों पर 10 Gbit / s और सक्रिय विस्तारित नेटवर्क के बैंडविड्थ के साथ महंगे उदाहरणों का चयन करने के लिए मजबूर किया गया था।

⊹ सुरक्षा:

किसी भी क्लाउड सेवा प्रदाता के लिए सुरक्षा सबसे महत्वपूर्ण पहलू है। अतीत में, अधिकांश सेवाओं के लिए सुरक्षा या तो अनुपलब्ध थी, या केवल एक अतिरिक्त विकल्प था।

Google क्लाउड सेवाएं डिफ़ॉल्ट रूप से एन्क्रिप्ट की जाती हैं। GCP डेटा की सुरक्षा के लिए एन्क्रिप्शन के कई स्तरों का उपयोग करता है। एन्क्रिप्शन के कई स्तरों का उपयोग बैकअप डेटा के लिए सुरक्षा प्रदान करता है और आपको एप्लिकेशन आवश्यकताओं के आधार पर सबसे अच्छा दृष्टिकोण चुनने की अनुमति देता है, उदाहरण के लिए, आइडेंटिटी-एवेयर प्रॉक्सी सेवा का उपयोग करना और डिफ़ॉल्ट रूप से निष्क्रिय डेटा को एन्क्रिप्ट करना।

इसके अलावा, GCP आधुनिक प्रोसेसर (मेल्टडाउन, स्पेक्टर) के विशाल बहुमत में हाल ही में विनाशकारी निष्पादन-आधारित भयावह कमजोरियों को बंद करता है। Google ने रेटपॉलिन नामक बाइनरी संशोधन की एक नई विधि विकसित की है , जो आपको इस समस्या को दरकिनार करने और उपयोगकर्ताओं के लिए अदृश्य रूप से संपूर्ण कामकाजी बुनियादी ढांचे में बदलाव करने की अनुमति देता है।

⊹ क्लाउड उपलब्धता:

GCP संसाधनों की उपलब्धता अन्य क्लाउड समाधान प्रदाताओं से भिन्न होती है, क्योंकि नियंत्रण कक्ष सहित अधिकांश GCP संसाधन या तो क्षेत्रीय या क्षेत्रीय होते हैं। हमें अलग-अलग प्रोजेक्ट्स के लिए अलग-अलग प्रोजेक्ट्स के लिए कई VPC का प्रबंधन करना था, जिन्हें निजी कनेक्शन के लिए VPC या VPN कनेक्शन की आवश्यकता होती है। हमें एक अलग खाते में छवि की एक प्रति भी रखनी थी।

Google क्लाउड में, अधिकांश संसाधन या तो वैश्विक या क्षेत्रीय हैं। इस तरह के संसाधनों में नियंत्रण कक्ष (जहां हम एक स्क्रीन पर हमारी परियोजना के सभी आभासी मशीनों को देख सकते हैं), डिस्क चित्र, भंडारण डेटा के लिए कंटेनर (महाद्वीप के भीतर कई क्षेत्र), वीपीसी (लेकिन अलग-अलग सबनेट क्षेत्रीय हैं), वैश्विक भार संतुलन, प्रकाशन शामिल हैं। और सदस्यता, आदि

⊹ बड़ा डेटा:

हम पूरी तरह से प्रबंधित बीक्यू प्रणाली के लिए एक अखंड, कठिन-से-प्रबंधन विश्लेषणात्मक कॉन्फ़िगरेशन से चले गए, जिससे तीन क्षेत्रों में सुधार हुआ:

● 50 गुना तक क्वेरी प्रसंस्करण गति बढ़ गई।

● स्वचालित स्केलिंग के साथ पूरी तरह से प्रबंधित डाटा प्रोसेसिंग सिस्टम।

● डाटा प्रोसेसिंग का समय घंटे से घटाकर 15 मिनट कर दिया गया है।

⊹ चार्ज:

अलग-अलग क्लाउड सेवा प्रदाताओं की तुलना करना कठिन था, क्योंकि कई सेवाएं समान या तुलनीय नहीं थीं, विभिन्न उपयोग परिदृश्यों के लिए भिन्न और अद्वितीय विशिष्ट परिदृश्यों पर निर्भर थीं।

GCP लाभ:

● लंबे समय तक उपयोग की छूट: कुछ थ्रेसहोल्ड तक पहुंचने पर वर्चुअल मशीनों के बढ़ते उपयोग के साथ लागू। हम स्वचालित रूप से कार्यभार पर 30% तक की छूट प्राप्त कर सकते हैं जो कि अधिकांश लेखांकन महीने के दौरान किए जाते हैं।

● प्रति मिनट बिलिंग: जीसीई में एक आभासी मशीन आवंटित करते समय, न्यूनतम 10 मिनट के लिए शुल्क लिया जाता है, जिसके बाद आभासी मशीन के वास्तविक उपयोग के लिए प्रति मिनट बिलिंग शुरू होती है। यह लागत में एक महत्वपूर्ण कमी प्रदान करता है, क्योंकि हमें पूरे घंटे का भुगतान नहीं करना पड़ता है, भले ही मशीन की आवृत्ति एक घंटे से कम चल रही हो।

● सुपीरियर उपकरण, कम उदाहरण: हमने पाया है कि लगभग सभी स्तरों और अनुप्रयोगों के लिए, GCP का उपयोग करके, आप समान प्रदर्शन के साथ समान कार्यभार लेकिन कम उदाहरणों के साथ प्रदर्शन कर सकते हैं।

● अतिरेक के बजाय प्रतिबद्धता: एक अन्य कारक वर्चुअल मशीन के उदाहरण के लिए GCP का दृष्टिकोण है। AWS में, वर्चुअल मशीन की आवृत्ति को कम करने का प्राथमिक तरीका 1-3 साल की अवधि के लिए आरक्षित इंस्टेंस खरीदना है। यदि वर्कलोड को वर्चुअल मशीन के कॉन्फ़िगरेशन को बदलने की आवश्यकता है या हमें इस उदाहरण की आवश्यकता नहीं है, तो हमें इसे कम कीमत पर आरक्षित इंस्टेंसेस के लिए बाजार में बेचना होगा। जीसीपी में एक "कमिटमेंट कमिटमेंट डिस्काउंट" है जो प्रोसेसर और मेमोरी संसाधनों को जमा करते समय लागू होता है, इससे कोई फर्क नहीं पड़ता कि हम किस वर्चुअल मशीन का उपयोग करते हैं।

निष्कर्ष:

इस विस्तृत विश्लेषण के आधार पर, हमने GCP पर स्विच करने का निर्णय लिया और संक्रमण योजना और जाँचकर्ताओं पर काम करना शुरू कर दिया। अगले लेख में, हम इस परियोजना के कार्यान्वयन के दौरान हमने जो कुछ सीखा, उसके बारे में बात करेंगे।