पिज्जा एक सेवा के रूप में: कैसे अमेज़ॅन रेडशिफ्ट में चला गया

नमस्ते, मेरा नाम विक्टोरिया है, और मैं CROC Cloud Services में मार्केटिंग के लिए जिम्मेदार हूं। अब हम नियमित रूप से क्लाउड मिटैप्स होस्ट करते हैं। मुझे हाल ही में दिमित्री एनोशिन का सबसे अच्छा प्रदर्शन मिला, जो अब अमेज़ॅन पर काम करती है, और मैं इसे साझा करना चाहता हूं।

मुझे इस बात का अहसास था कि बड़ी वाणिज्यिक कंपनियों ने दुनिया के उन सभी संभावित आंकड़ों को इकट्ठा करने का फैसला किया है जिन तक वे पहुंच सकते हैं। एक ओर, यह उन्नत एनालिटिक्स, बिक्री में वृद्धि और उत्पादों के आकर्षण में बदल जाता है। दूसरी ओर, डेटा इतना बोल्ड और व्यापक हो गया है कि सीडी-रोम वाले ट्रकों के बारे में चुटकुले लंबे समय से आम हैं।

आइए देखें कि आपको क्लाउड पर माइग्रेट करने की आवश्यकता क्यों हो सकती है, और अमेज़ॅन को आंतरिक बुनियादी ढांचे को Redshift और NoSQL DynamoDB को स्थानांतरित करने से क्या मिला। आइए एसएमपी और एमपीपी, ईटीएल और ईएलटी की अवधारणाओं के बीच अंतर का विश्लेषण करें और समझने की कोशिश करें कि बड़े डेटा के लिए बादलों की आवश्यकता क्यों है।

ठीक है, यदि आप जानते हैं कि हाल के वर्षों में उद्योग में क्या हुआ है, तो विशिष्ट मामले पर सही स्क्रॉल करें। कट के नीचे आओ, मैंने प्रदर्शन के मुख्य बिंदुओं का सारांश तैयार किया।

प्रत्येक प्रकाश बल्ब से टेलीमेट्री

बड़ी कंपनियों में अपने उपयोगकर्ताओं के आसपास एकीकृत पारिस्थितिकी तंत्र के गठन की दिशा में बहुत ही ध्यान देने योग्य प्रवृत्ति है। यही है, आप जाग गए, अपने दाँत ब्रश करने के लिए चले गए और एक ही समय में आप एक मल्टीमीडिया दर्पण में समाचार के माध्यम से देखते हैं। एलेक्सा कॉलम में सुबह में पेप्पी संगीत शामिल है और आज की बैठकों की याद दिलाता है। यहां आप होम डिलीवरी के साथ ताजी कॉफी ऑर्डर करते हैं, क्योंकि पुराना पहले से ही चल रहा है। आप कार में आते हैं, और फिर एलेक्सा, जो कार मल्टीमीडिया सिस्टम के साथ एकीकृत होती है और सड़क पर जारी रहती है। साथ ही स्मार्ट ब्रेसलेट, हेडफोन, फोन में एप्लिकेशन और हजारों अन्य जानकारी के स्रोत।

यह एक ही समय में थोड़ा भयावह भविष्य है जो तेजी से सभी दिशाओं से आ रहा है, कंपनियों से अंत उपभोक्ता के लिए अतिरिक्त मूल्य बनाने का प्रयास। आपको इस बात से सहमत होना चाहिए कि यह कब अच्छा है, उदाहरण के लिए, अमेज़ॅन की-इन-कार कार्यक्रम के अनुसार, आपकी खरीदारी सीधे पार्किंग स्थल में कार ट्रंक तक पहुंचाई जाएगी। मैं अब कनाडा में रहता हूं, और इस तरह के एकीकरण जीवन को बहुत अधिक आरामदायक बनाते हैं। कंपनी के लिए, यह बिक्री लक्ष्यीकरण, मांग पूर्वानुमान, रसद अनुकूलन और बहुत कुछ के संदर्भ में बहुत मूल्यवान डेटा है। फायदे का सौदा।

एक समस्या। जैसा कि मैंने पहले ही कहा, एक मजबूत भावना है कि कंपनियां अक्सर भविष्य में उन्हें मुद्रीकृत करने की उम्मीद में डेटा को अत्यधिक पैमाने पर एकत्र करती हैं। और ये टेराबाइट्स हैं। वास्तव में खराब संरचित जानकारी की टेराबाइट्स जो लगातार कंपनी के सर्वर, भक्षण नेटवर्क, कंप्यूटिंग और भंडारण संसाधनों पर बहती हैं। यही कारण है कि संसाधनों के इष्टतम उपयोग और कंप्यूटिंग की गति सुनिश्चित करने की समस्या इतनी महत्वपूर्ण है। और आपको व्यवसाय विश्लेषकों को एक सामान्य इंटरफ़ेस देने की आवश्यकता है जो उन्हें क्लाउड इन्फ्रास्ट्रक्चर के निर्माण में विशेषज्ञ ज्ञान की आवश्यकता नहीं है। इसलिए, कई बड़ी कंपनियों ने बादलों की ओर रुख किया है।

कोई बादल नहीं है

क्लाउड टेक्नॉलॉजी बज़-शब्द है, जो सभी को बहुत पसंद आया। नहीं, कोई शक नहीं, वह कंपनी के वित्तीय वक्तव्यों और आधिकारिक प्रस्तुतियों में ठोस दिखता है। फिर भी, लोहे के स्तर पर, ये सभी अच्छे पुराने सर्वर हैं जो दुनिया भर के डेटा केंद्रों में स्थित हैं। हालांकि, क्लाउड कंप्यूटिंग को एक सुविधाजनक वर्चुअलाइजेशन कंसोल से अधिक की आवश्यकता है। बादलों की मुख्य विशेषता संसाधनों का पूरी तरह से गतिशील प्रबंधन और आवश्यक होने पर उनकी स्वचालित स्केलिंग है:

• गणना।
• भंडारण।
• नेटवर्क संसाधन और परिवहन।
• डेटाबेस।

जब आपके पास ऐसा बुनियादी ढांचा होगा, तो आप अपने संसाधनों का पूरी तरह से उपयोग करेंगे, जो बड़े पैमाने पर व्यावसायिक मामलों में महत्वपूर्ण बचत का परिणाम हो सकता है।

छोटी कंपनियों के लिए, यह दृष्टिकोण बहुत आकर्षक भी हो सकता है। कल्पना करें कि आप अगले साल अपने बुनियादी ढांचे के लिए नया लोहा खरीदने की योजना बना रहे हैं। उसी समय, आपके लिए सटीक लोड की भविष्यवाणी करना बहुत मुश्किल है, जो कई कारकों से भिन्न हो सकता है। उदाहरण के लिए, आपका उत्पाद काफी अचानक बेतहाशा लोकप्रिय हो जाता है, क्योंकि हैबे पर एक सफल प्रकाशन के कारण, ग्राहकों की एक पूरी भीड़ आप में भीड़ जाती है और बेतहाशा निराश होती है क्योंकि आपने इस तरह के चरम भार की योजना नहीं बनाई थी। और जब आप अधिक मांग की मांग करते हैं, तो अतिरिक्त स्थिति हो सकती है, अतिरिक्त क्षमता खरीद सकते हैं और परिणामस्वरूप, बेकार उपकरण प्राप्त करते हैं, जो वास्तव में कंपनी के टर्नओवर से बहुत जरूरी धन निकालता है। पूरी तरह से लोहे की क्षमता की खरीद पर एक शर्त लगभग हमेशा एक अत्यंत अक्रिय प्रक्रिया है, और यह निश्चित रूप से तेजी से बाजार में अनुकूलन क्षमता में खो देता है।

क्लाउड के लिए विशेष या पूर्ण प्रवास ऐसी स्थितियों के लिए उपयुक्त है, जो एक प्रकार के संधारित्र के रूप में कार्य करता है जो शिखर खपत स्पाइक्स को सुचारू करता है। या यहां तक ​​कि पूरी तरह से आपको बुनियादी ढांचा प्रदान करता है।

बादलों के प्रकार

वास्तव में, उनके व्यवसाय मॉडल के आधार पर, कंपनियां आमतौर पर क्लाउड सिस्टम के निर्माण के तीन रूपों में से एक के साथ आती हैं। एक छोटा व्यवसाय आमतौर पर सार्वजनिक बादलों का उपयोग करता है और उचित विशेषज्ञों पर बचाता है, इसके उत्पाद पर ध्यान केंद्रित करता है। अपने आप में विशेष रूप से बड़े एक सामान्य लक्ष्य और ब्रांड द्वारा जुड़ी कई अलग-अलग कंपनियों के समान हैं। इसलिए, वे अक्सर निजी बादलों का निर्माण करते हैं, जिससे इष्टतम संसाधन उपयोग प्राप्त होता है। भाग हाइब्रिड मॉडल का उपयोग करता है, जो आपको स्थानीय स्तर पर विशेष रूप से संवेदनशील, कानूनी रूप से संरक्षित डेटा को संसाधित करने और मामूली कार्यों को स्थानांतरित करने की अनुमति देता है। एक सेवा के रूप में पिज्जा:



मुझे हमेशा यह चित्रण पसंद आया, जो आपकी कंपनी के बुनियादी ढाँचे के प्रतिनिधि के वेंडर की डिग्री को अच्छी तरह दिखाता है।

पारंपरिक ऑन-प्रिमाइसेस विकल्प भोजन खरीदना, ओवन को पहले से गरम करना और स्वयं पिज्जा बनाना है। आदर्श! लेकिन आपको सभी उपकरण, सामग्री और बहुत कुछ करने की आवश्यकता है।

IaaS एक इन्फ्रास्ट्रक्चर रेंटल विकल्प है। आपने सभी उपकरणों के साथ एक रसोईघर किराए पर लिया, अपने उत्पादों को लाया और एक महान पिज्जा पकाया। विशेष रूप से प्रशिक्षित लोग वसा से ओवन धो लेंगे, और आपको चाकू और अन्य trifles के तेज के बारे में चिंता करने की आवश्यकता नहीं है।

सेवा के रूप में PaaS एक मंच है। यह सेवा आपको नंगे बुनियादी ढांचे के अलावा कुछ अतिरिक्त उपहार भी प्रदान करती है। उदाहरण के लिए, अमेज़ॅन रेडशिफ्ट - एक डेटा वेयरहाउस के रूप में, जो आपको डीबीए को बचाने और उत्पाद पर ध्यान केंद्रित करने की अनुमति देता है। हमारे पिज्जा उदाहरण में, यह हो सकता है, उदाहरण के लिए, एक तैयार आकार का आटा जो केवल पिघलाया जा सकता है, सुगंधित सॉस के साथ फैलता है, मशरूम के साथ छिड़का जाता है, निविदा बेकन के स्लाइस और कसा हुआ परमेसन।

अंतिम विकल्प सास है। इस मामले में, आपको सबसे अधिक तैयार उत्पाद मिलता है जिसके आधार पर आप अपना व्यवसाय बनाते हैं। उदाहरण के लिए, किसी अन्य सार्वजनिक प्लेटफ़ॉर्म पर आधारित ब्लॉग चलाएं। हमारे उदाहरण में, यह घर पर तैयार पिज्जा ऑर्डर करने के लिए सबसे महंगा, लेकिन सरल विकल्प होगा।

ट्रक डेटा। हिम मोबाइल

"शून्य" वर्षों के समय से एक पुरानी दाढ़ी वाला किस्सा है: "ट्रक ड्राइवरों की एक टीम ओडेसा से कीव तक 100,000 सीडी रातोंरात वितरित करने में सक्षम थी। इस प्रकार, वे महंगी केबलों के उपयोग के बिना 500 किमी से अधिक की दूरी पर प्रति सेकंड 2.43 टेराबाइट्स की डेटा ट्रांसफर दर तक पहुंच गए। "



उस समय यह सिर्फ एक मजाक था। हालांकि, प्रत्येक मोबाइल फोन, ऑडियो, वीडियो और अन्य टेलीमेट्री से फ़ोटो की निरंतर स्ट्रीम के आधुनिक संस्करणों के साथ, यह पूरी तरह से अनमनीय हो जाता है और वास्तविक समस्या में बदल जाता है। जब आपके पास डेटा सेंटर के लिए सीधे किराए पर मोटी ऑप्टिकल लिंक नहीं होती है, तो बड़ी मात्रा में डेटा को क्लाउड पर ले जाना एक बहुत बड़ी समस्या हो सकती है। अमेज़न की स्नोबॉल जैसी सेवाएं बचाव में आती हैं।


वे आपको ऐसे क्रूर संरक्षित मामले के साथ लाते हैं जो 50 टेराबाइट के हाई-स्पीड डिस्क और 10-गीगाबिट नेटवर्क इंटरफेस के साथ पैक किया गया है। फिर आप इसे सीधे अपने स्टोर से कनेक्ट करते हैं और अधिकतम गति पर सभी डेटा मर्ज करते हैं। चोरी या अन्य परेशानियों के मामले में, डेटा आपके सर्वर कक्ष को केवल एन्क्रिप्टेड रूप में छोड़ देता है। मामले में एक TPM मॉड्यूल है, और एन्क्रिप्शन कुंजी AWS कुंजी प्रबंधन सेवा (KMS) का उपयोग करके प्रबंधित की जाती हैं। एन्क्रिप्शन कुंजी डिवाइस पर ही संग्रहीत नहीं हैं।


विशेष रूप से उन्नत मामलों में, आप स्नोबॉल ट्रक - 100 पेटाबाइट्स की क्षमता वाला एक मोबाइल डेटा केंद्र कह सकते हैं। जब डेटा तराजू एक्सैबाइट्स तक पहुंचता है, तो एक 10-गीगाबिट कनेक्शन को डेटा ट्रांसफर के लिए 26 साल की आवश्यकता होगी। और इस तरह के सफेद ट्रक छह महीने के लिए डेटा को खींचने और छोड़ने में सक्षम होंगे।

अमेज़न ओरेकल से रेडशिफ्ट की ओर पलायन कर रहा है

जो हमारे पास था

मैं आपको उस मामले के बारे में थोड़ा बताऊंगा जो मैंने अमेज़न पर काम किया था। अमेज़ॅन जैसे प्रमुख व्यापारिक प्लेटफार्मों में काम का एक बहुत दर्दनाक हिस्सा है - प्राइम डेज़। ये पीक ब्लैक फ्राइडे की बिक्री और क्रिसमस की बिक्री हैं। इस बिंदु पर, सर्वर लोड के तहत पिघल रहे हैं, गोदामों में लोडर के साथ भीड़ है, और रसद सामानों के निरंतर प्रवाह के तहत घुट रहे हैं। यह बिक्री के दृष्टिकोण से बहुत महत्वपूर्ण समय है, और सेवा के प्रत्येक घंटे डाउनटाइम या दुर्गमता से भारी मात्रा में नुकसान होता है।

समस्या Oracle DB से आई है। डेटाबेस ने स्केलिंग के साथ समस्याओं का अनुभव करते हुए, एक साथ प्रश्नों की मात्रा को निर्यात करना बंद कर दिया। साइट लगभग ग्राहकों के हमले के तहत विकसित हुई, और डेटाबेस स्केलिंग के मामले में एक समस्या बन गई।

सावधानीपूर्वक विश्लेषण के बाद, वे इस निष्कर्ष पर पहुंचे कि पारंपरिक एसक्यूएल डेटाबेस इस परिमाण के ट्रेडिंग प्लेटफॉर्म के लिए एक बैकेंड के रूप में उपयुक्त नहीं हैं। साथ ही, लाइसेंस और समर्थन के मामले में ओरेकल भी बेहद महंगा है। परिणामस्वरूप, उनके क्लाउड प्लेटफ़ॉर्म पर माइग्रेट करने का निर्णय लिया गया, जो Redshift और NoSQL DynamoDB पर आधारित था।

डायनॉम्बडी डेटा केंद्रों के बीच तुल्यकालिक प्रतिकृति और डेटा अतिरेक को कम करने के लिए एक अत्यंत प्रभावी तंत्र के साथ एक आंतरिक विकास था, जिसने उनके भंडारण पर महत्वपूर्ण रूप से बचत करने की अनुमति दी थी। एक बहुत ही महत्वपूर्ण विशेषता ऑटो स्केलिंग थी - डेटा की आवश्यक मात्रा के लिए गतिशील डेटाबेस स्केलिंग। Hadoop के साथ महान एकीकरण पर भी काम किया गया है।

पारंपरिक डेटाबेस की मुख्य समस्या क्या है?



समस्या यह है कि ओरेकल के साथ पुराना संस्करण एसएमपी वास्तुकला को संदर्भित करता है, जिसमें केवल ऊर्ध्वाधर स्केलिंग शामिल है। यही है, आपके पास एक निश्चित मेमोरी के साथ एक शक्तिशाली मशीन है, तेजी से भंडारण का एक गुच्छा है, और सभी अनुरोध एक तरह से या किसी अन्य तरीके से प्रवाह करते हैं। यह एक क्लासिक ओरेकल मॉडल है जो अपने शक्तिशाली स्टैंड-अलोन सर्वर को वितरित करने पर केंद्रित है। इसी समय, कंपनी विशेष रूप से बादलों में विश्वास नहीं करती थी, और समानांतर कंप्यूटिंग को एक आशाजनक समाधान नहीं माना जाता था। और हमें एमपीपी की आवश्यकता थी - एक समानांतर वास्तुकला जो आपको कई अलग-अलग मशीनों के लिए अनुरोध को स्मूद करने और डेटा को तेज़ी से प्रोसेस करने की अनुमति देता है।

डेटाबेस में डेटा दर्ज करने के लिए एक और महत्वपूर्ण बिंदु है - ईटीएल बनाम ईएलटी-दृष्टिकोण।

ETL - एक्सट्रेक्ट -> ट्रांसफॉर्म -> लोड। यही है, हम पहले अपने स्रोतों से डेटा प्राप्त करते हैं, ध्यान से उन्हें संरचना करते हैं, और उसके बाद ही इसे हमारे गोदाम में भरते हैं। ईएलटी दृष्टिकोण में भंडारण में कच्चे शोर डेटा भरना और प्रसंस्करण पहले से ही इसके पक्ष में है। सिद्धांत रूप में, RedShift दोनों दृष्टिकोणों का समर्थन करता है, लेकिन ETL का एक फायदा है: फ़िल्टर किए गए डेटा तक पहुंच तेज़ और हेरफेर करना आसान है। यद्यपि एक ही समय में अधिक संसाधनों को कच्ची जानकारी के प्रारंभिक विश्लेषण पर खर्च किया जाता है। एक और अविश्वासी क्षण है। ईटीएल सामान्य रिपॉजिटरी तक पहुंचने से पहले संवेदनशील जानकारी को फ़िल्टर करके यूरोपीय कानून में जीडीपीआर के संदर्भ में जोखिम को कम करता है। यह डेटा तक अनधिकृत पहुंच के जोखिम को कम करता है। नई वास्तुकला में प्राथमिक डेटा प्रसंस्करण के लिए मुख्य उपकरण मैटलिन था। वहां पहले से ही एक अच्छा जीयूआई है, यह बहुत ही विन्यास योग्य है और पहले से ही अमेज़ॅन रेडशिफ्ट के अनुरूप विकल्प में आता है। उसके लिए धन्यवाद, यह प्रवेश सीमा को कम करने के लिए निकला। अब उत्पाद प्रबंधक हमारे डेटा इंजीनियरों की मदद के बिना एक दृश्य डिजाइनर के रूप में आने वाली डेटा धाराओं को कॉन्फ़िगर कर सकते हैं।



नतीजतन, हमें अपनी ज़रूरतों के हिसाब से पीक लोड्स में लचीलापन, स्केलिंग और स्मूथिंग मिली। उदाहरण के लिए, वे आगंतुकों के व्यवहार की भविष्यवाणी करने के लिए प्रति दिन 50 जीबी वेब सर्वर लॉग्स की समस्या को हल करने में सक्षम थे।



हमने झांकी भी पेश की, जिसने हमें एक्सेल में खराब कनेक्टेड तालिकाओं से एकल डैशबोर्ड पर स्विच करने की अनुमति दी, जो प्रबंधन के लिए सुविधाजनक है।

और मैं सिर्फ इस मामले में समझाता हूं: स्टोर पर एक ओरेकल ओएलटीपी (बैकएंड) है, एक ओरेकल डीडब्ल्यू है - एक विश्लेषणात्मक डेटा गोदाम। परियोजना दोनों चीजों के उद्देश्य से थी, लेकिन मैं विशेष रूप से Oracle DW के बारे में बात कर रहा हूँ! यही है, दिए गए आरेख और विवरण स्थानीय हैं, वे केवल अमेज़ॅन टीम की चिंता करते हैं। वही झांकी के लिए जाता है। जब मैं कहता हूं "हमने स्कोरबोर्ड को लागू किया है", मेरा मतलब है कि स्थानीय परियोजना, क्योंकि अमेज़ॅन में सब कुछ टीमों में विभाजित है, और हर कोई चुनता है कि क्या करना है और क्या लागू करना और उपयोग करना है।

बादलों, उनके आसपास कुछ अस्वास्थ्यकर प्रचार के बावजूद, पहले से ही वर्तमान वास्तविकता हैं। सबसे अधिक संभावना है, अधिकांश व्यावसायिक परियोजनाओं को किसी भी तरह इस तरह के बुनियादी ढांचे के आसपास बनाया जाएगा। हां, शायद हर कंपनी के पास ऐसे समाधान नहीं होंगे। लेकिन अब आगे के विकास के लिए इसके लायक योजना है, अन्यथा तेजी से बदलते बाजार मापदंडों और भयंकर प्रतिस्पर्धा का जवाब देना मुश्किल होगा।

यदि कोई क्लाउड एनालिटिक्स और आधुनिक समाधान के विषय में रुचि रखता है, तो यहां जाएं । मैं वहां उपयोगी सामग्री गिराता हूं।

हमारी बैठक में आओ

सीआरओसी क्लाउड सर्विसेज ने पहले ही उत्कृष्ट वक्ताओं द्वारा भाषणों की एक श्रृंखला पारित कर दी है, उदाहरण के लिए, एक माइटैप का विषय जीवन में एडब्ल्यूएस सेवाओं का व्यावहारिक उपयोग था। अगले साल हमने कई और कार्यक्रमों की योजना बनाई है, हम उनके बारे में विस्तार से बात करेंगे। घटनाओं का पालन करें।